九月存储峰会前瞻！AI大模型推理爆发到底需要怎样的超级带宽？

随着第五届全球存储器行业创新峰会在深圳召开，人工智能产业的关注焦点转移，大模型进入高频推理应用阶段，超长上下文交互让计算硬件遇到严重的数据传输阻碍。芯片生成每个字词都需要反复读取庞大模型参数，高带宽存储芯片是决定整个智能系统算力输出效率的核心底座。
为了打破传输限制，新一代高带宽内存将数据接口宽度提升到 2048 位，单颗芯片数据传输速率达到每秒 3TB。制造人员使用先进逻辑工艺制造底层芯片，降低运行工作电压，垂直堆叠 16 层的高密度封装让单颗芯片容量达到 64GB，在提升数据传输能力的同时改善能耗表现。
在单机芯片升级之外，新型互连总线标准支持多个计算节点共享远端内存资源，解决服务器内存闲置和容量不足的矛盾。近端极速存储和远端大容量共享池的分层架构，降低数据访问延迟，确保海量用户高并发请求及时完成处理，我国企业在接口芯片、核心模组和芯片封装制造环节推进测试验证，为新型计算基础设施提供支持。