在 2024 年 OCP 峰会上,我们看到了另一款 CXL 怪兽——Lenovo ThinkSystem SR860 V3。Lenovo网站上列出的该系统具有“64x 插槽中高达 16TB 的 TruDDR5 内存”。在 2024 年 OCP 峰会上,我们看到了这款怪兽,以及 Lenovo 如何在 CXL 和 Astera Labs Leo 的帮助下做到这一点。
Lenovo推出配备 128 个 128GB DDR5 DIMM 的 CXL 内存怪兽
具有四颗CPU插槽服务器的想法并不新鲜。然而,一个挑战是,使用 8 通道 Intel Xeon 时,DDR5 DIMM 插槽数量有限。每个 8 通道 Xeon 支持每通道 2 个 DIMM (2DPC),每颗CPU支持 16 根 DIMM。四个CPU插槽为我们提供多达 64 个 DDR5 SODIMM。用 128GB DDR5 RDIMM 填充这些DIMM插槽只能获得微不足道的 8TB 内存。对于某些应用场景来说,大型消费级 SSD 大小的内存容量根本不够用。
在 2024 年 OCP 峰会上,我们看到了 Lenovo 给出的解决方案,即在系统中添加另外 64 个 DIMM。
通过使用带有 Astera Labs Leo CXL 控制器的扩展板,Lenovo 能够为系统添加许多内存插槽。
更确切地说,最多 64 个 DDR5 DIMM 插槽。每个 Astera Labs Leo CXL 内存控制器最多可处理四个 DDR5 DIMM。
安装此选项后,机箱顶部将变成一个巨大的内存森林。四个 CPU 位于底部的主板上,每个 CPU 都有 16 个 DDR5 DIMM 插槽。在其上方,是这个 CXL 内存森林,还有另外 64 个 DIMM 插槽。
64 个 DIMM 直接连接到 Xeon CPU,然后通过 CXL 内存扩展连接 64 个额外的 DIMM 插槽。这样我们就有 128 个 DIMM 插槽。使用 128GB RDIMM,内存容量为 16TB。
这里的巧妙之处在于,具有四个 CPU 和 128 个 DIMM 的配置还可以支持四个双宽 GPU。
这使得这些系统非常庞大。
写在最后
对于需要大量内存容量的某些扩展工作负载,使用 CXL Type-3 内存等解决方案可以创建原本不可能实现的拓扑。最近的 AI 建设推迟了 CXL 的部署,但这些解决方案即将到来。更重要的是,借助 CXL 2.0(或真正的 CXL 3.1),愿景是未来可以将多个内存扩展架(如 Inventec 96 DIMM CXL 扩展盒)连接到 CXL 交换机,构建大量内存池,然后在不同系统之间分配和共享它们。