AI应用加速落地,3DIC筑牢硬件底座

福古 2024-02-29 12:48:08

【东北电子·算力】AI应用加速落地,3D IC筑牢硬件底座

3D IC通过纵向堆叠芯片,具有高传输,低延迟等优点,是延续摩尔定律的重要方式,与2.5D堆叠共同成为AI应用(大模型训练,端侧应用)的硬件底座。据Yole预测,2022-2028年2.5D/3D堆叠先进封装市场增速达20%,2028年市场规模超200亿美元。

台积电、英特尔、三星均重点布局3D封装技术,较传统3D IC性能大幅提升,已在终端批量供应搭载3D封装技术的产品。AMD 3D V-Cache技术已批量应用于其多款产品,最高可实现约1.3GB的sram,极大提升运行速率。

大模型应用推理,CPU需要将大模型导入到DRAM/SRAM中才能运行,大内存就是大模型应用的硬件需求。百亿参数大模型在int 4的精度下就需要5GB运行内存。大模型推理的计算,不一定在云端,未来终端本地计算也有需求:AI手机、AI PC、AI Vision PRO、AI watch等。AI手机、PC需要大内存,未来终端内存会越来越大:8GB→16GB →24GB 等。仅考虑手机和PC端的DRAM,容量翻倍可带来约400亿美元纯增量!

内存带宽决定大模型每秒输出token数量,先进封装可在容量增大的同时,进一步提升内存带宽(堆叠更多控制器,实现多通道连接);苹果M2 ultra芯片也才用了InFO_LSI以及MCM技术,将8个LPDDR5内存与两颗CPU die集成于同一个ABF载板,最大内存可达192GB,内存带宽800GB/s不输比采用4颗HBM2的昇腾910内存带宽!先进封装、3D IC将是未来终端芯片支持大模型应用的关键技术!

训练端HBM+推理端DRAM双重促进下,先进封装材料有望迎来巨量市场规模!

重点关注内存DRAM产业链、长鑫产业链:

先进封装材料:德邦科技、联瑞新材、唯特偶、华海诚科

ic载板相关:兴森科技、深南电路、华正新材、方邦股份

长鑫产业链:深科技、精智达、佰维存储

存储模组:江波龙、德明利等

0 阅读:8

福古

简介:感谢大家的关注