GDDR 与 HBM 内存之间的区别

hardware - 这篇文章属于一个选集。

§ 7: 本文

什么是GDDR内存？
#

GDDR代表Graphics Double Data Rate ，是一种专门为显卡设计的内存。GDDR内存与大多数计算机使用的DDR内存相似，但它针对显卡的使用进行了优化。GDDR内存通常比DDR内存带宽更高，这意味着它可以一次传输更多数据。

GDDR6是GPU的最新内存标准，per-pin数据速率峰值为16Gb/s。GDDR6在包括NVIDIA RTX 6000 Ada和AMD Radeon PRO W7900在内的大多数GPU中使用，仍然用于2024年的GPU。

NVIDIA还与美光合作开发GDDR6X，这是GDDR6的继任者。我们这样说是因为除了从NRZ到PAM4的编码外，两者之间没有任何硬件变化，并且由于NVIDIA是唯一的用户，JEDEC行业标准化没有认可。DDR6X将per-pin带宽提高到21Gb/s。GDDR7是下一个应该被所有人广泛采用的GDDR标准。

截至2024年，GDDR6和GDDR6X的最大内存总线为384位。GDDR内存是焊接到GPU芯片周围的PCB上的单个芯片。

什么是HBM内存？
#

HBM代表高带宽内存，是一种专门为GPU开发的新型内存。

HBM内存旨在提供比GDDR内存更大的内存总线宽度，这意味着它可以一次传输更多数据。单个HBM内存芯片不如单个GDDR6芯片快，但这使得它比GDDR内存更节能，这对移动设备来说是一个重要的考虑因素。

HBM内存位于GPU封装内并堆叠——例如，HBM有四个DRAM（4-Hi）的堆栈，每个有两个128位通道，总宽度为1024位（4个2个通道128位）。由于HBM内存作为内存芯片模块内置在GPU芯片中，因此错误和空间更少。因此，单个GPU不容易像配备GDDR的GPU那样易于扩展内存配置。

最新采用最多的HBM内存是NVIDIA H100中的HBM3，具有5120位总线和超过2TB/s的内存带宽。HBM3也存在于竞争对手的AMD Instinct MI300X中，具有8192位总线和超过5.3TB/s的内存带宽。英伟达还在其GH200和H200中引入了新的HBM3e内存，作为第一批使用HBM3e的加速器和处理器，具有更大的内存带宽。这些配备HBM内存的硬件正在快速翻新。H100和MI300X等加速器GPU需要HBM的一个重要原因是多个GPU之间的互连性；为了相互通信，宽总线宽度和快速的数据传输速率对于减少将数据从一个GPU传输到另一个GPU的瓶颈至关重要。

GDDR与HBM内存
#

那么，哪种类型的内存更适合GPU？答案是，这取决于具体的场景。

配备GDDR内存的GPU通常是：

更容易访问，因为它们是主流的GPU类型
更便宜，因为GDDR直接焊接在PCB上，而不是GPU封装上。
大多数主流应用程序不会最大化内存带宽。
但GDDR通常消耗更多的能源，效率不那么高。

配备HBM内存的GPU通常是：

更不容易获得，更利基
非常昂贵，在H100等旗舰加速器中发现。
仅用于需要最多带宽的HPC和高利基工作负载
高效，并提供更大的总线宽度，以并行化每引脚速率。

大多数应用程序不需要HBM内存。对于利用大量数据的工作负载来说，更高的内存带宽是最重要的。仿真、实时分析、密集的人工智能训练、复杂的人工智能推理等工作负载都可以从使用更多的内存带宽中受益。

同样重要的是要考虑，如果工作负载相互并行，配备GDDR的最快GPU可以正常工作。NVIDIA RTX 6000 Ada是一款功能强大的旗舰GPU，非常适合中小型人工智能训练、渲染、分析、模拟和数据密集型工作负载，内存带宽为960GB/s。插槽具有多GPU设置的服务器或工作站，工作可以并行化和拆分，以获得更高的性能。

然而，像NVIDIA H100这样的HBM配备GPU可以显著提高企业部署的生产力（尽管成本很高）。更高的性能和更少的等待可以实现更快的突破。ChatGPT等部署利用H100集群协同工作，在给定时间为数百万用户执行实时推理和生成人工智能功能，处理提示并交付实时输出。

如果没有快速的高带宽内存和峰值性能，企业部署可能会变得非常缓慢，几乎无法使用。一个很好的例子是ChatGPT的发布月份。ChatGPT和OpenAI可能认为他们有足够的HBM启用的NVIDIA GPU来处理大量并发用户，但不知道他们新的生成式AI聊天机器人将有多受欢迎。他们不得不对并发用户数量设置上限，要求网站访问者在扩展基础设施时对服务保持耐心。然而，从这个角度来看，如果没有使用这些高带宽内存互连的GPU，ChatGPT甚至可能是不可能的。