[2023存储技术日]AI时代的近存解决方案

回顾“内存墙”的组成，当存储容量不足时，带宽受到限制，这会致使数据传输延迟增加，从而导致系统工作更加困难，进而加大功耗和总持有成本（TCO）。

三星半导体提出“近存解决方案（Near Memory Solutions）”尝试解决这一问题。该方案的提出为存储容量的革新奠定了基础。当下，越来越多的人工智能应用程序深度学习算法采用GPT（Generative Pre-Trained Transformer）等大型语言模型驱动。随着数据呈指数级增长，存储器的传统作用正在从数据存储扩展到存内处理，使存储器发挥分担部分CPU和GPU处理的任务。简言之，当前存储器解决方案正在分担CPU与GPU数据处理工作负载。

2023年10月20日，三星存储器技术日（MTD）在加利福尼亚州圣克拉拉举行，展示了设备内存储空间与存内加速器领域的多项技术进步。这些设备旨在紧跟人工智能的发展与高达数十亿甚至逼近万亿级别的大型语言模型（LLM）训练的GPT参数。

三星半导体副总裁兼新业务规划主管JangSeok (JS) Choi介绍了存储器产品组合，并阐述了公司在新内存层次结构领域的愿景。他表示，加速存储器处理是跟上大型语言模型系统处理速度的关键。并补充道，业界不仅在努力跟上机器学习的步伐，还必需解决人工智能模型的推理问题。简言之，机器学习模型训练完毕后，推理模型会自动应用学习到的知识与新数据点，以预测新数据。而这也需要额外的存储容量、执行力及精度。

首先就是这些产品组合中的低功耗、高带宽、扩展粒度 (LHM：low-power, high-bandwidth, extended granularity ) 解决方案。LHM是一种专注于低功耗、高带宽的DRAM，具有在逻辑芯片顶部进行3D堆叠的能力。此外，该产品组合中还包括以“Icebolt”（HBM3）的形式提供给客户的高带宽存储器（HBM）DRAM。这一存储设备可以堆叠并提供低功耗、高带宽的存储。此外，这还是一款可堆叠12层10nm级16Gb DRAM，存储容量达24GB的AI加速器。Choi副总裁表示，这将是一种与众不同的人工智能推理解决方案。

与此同时，引入了存内计算（PIM）和近存计算（PNM）等技术。此外，作为概念证明而开发的HBM-PIM和CXL-PNM等解决方案使数据传输和处理更接近存储器，防止DRAM处理大型AI模型时出现瓶颈。

另外，该产品组合还开发了旨在提高CPU性能的 CXL（Compute Express Link）协议。 CXL DRAM（CMM-D）、CXP-PNM（CMM-DC）等均为存储器实验室预测的CXL内存扩展和计算解决方案。Choi副总裁预计，截至2026年，市场对CXL价值细分需求将高速增长。

Choi副总裁在主题演讲中重点指出，唯有深化与技术领域合作伙伴的协同创新，才能攻克AI时代的存储技术瓶颈。在本次技术日活动期间，Meta、Memverge、SAP HANA等合作方代表现场分享了与三星的联合研发案例。

技术副总裁Walter Jun系统解析了CMM产品线的核心技术路线，强调该技术对三星布局下一代存储市场具有战略意义。其着重说明了CXL技术的三大核心优势：采用开放标准接口实现设备互联、基于PCIe 5.0协议构建兼容性体系、通过内存容量与带宽的弹性扩展满足大数据处理需求。

存储解决方案实验室负责人Sungwook Ryu博士展示了实验室在存储器件领域的突破性进展，披露了两大重点攻关方向：一是开发能显著提升系统综合性能的被动式存储架构，二是实现从被动存储向主动存储的技术跨越，相关方案已集成DDR、CXL、NVMe等先进协议接口。

近存解决方案正在打造生成式预训练Transformer大语言模型处理的下一个前沿技术。该技术正在通过处理更多的数据，并将其放置在内存模组内和周围，重塑新人工智能时代的计算方式。

_{免责声明：
除非经特殊说明，本文中所涉及的数据均为三星内部测试结果，涉及的对比均为与三星产品相比较。}