本文致力于学术层面的产业研讨与科普分享，旨在加深读者在对应领域的认识。内容仅供理论参考，不构成任何实操建议或投资依据。请读者朋友理性研判，注意甄别。
引言：当算力芯片不再是唯一的瓶颈
人们在谈到有关的硬件设备的时候，一般都会把焦点放在半导体器件的制造工艺、处理器运算速度以及它们的理论最大性能等方面的技术参数上面。在这样的认识之下，有些读者认为用提高计算力的方法可以解决模型训练、自然语言处理等方面遇到的各种问题。但是在实际运行的智能计算中心里，隐藏在物理层面的一个技术限制开始显露出来，那就是高性能高带宽内存(HBM)对整个系统的性能影响越来越大。
用生物神经系统功能结构做类比的话，人工智能加速芯片上最主要的功能单元可以看作是模拟神经元的处理节点，高带宽存储（HBM）就相当于短期记忆模块，起着快速读取和缓存数据的作用。在复杂认知运算的过程中，人脑利用短期记忆来调用即时信息，以此提高整个过程的效率；在大规模机器学习的情形当中，模型参数以及它们之间的交互状态所形成的数据流也必须依靠有效的动态管理。在传统的内存带宽不能满足需求的时候，“内存墙”效应就会对计算性能产生重要影响，也就是由于数据获取延迟而造成的执行停顿，该问题已经成为阻碍高性能计算发展的一个主要障碍。
伴随着大模型产业的发展壮大，对于智算基础设施的需求也在不断增加，从而带动了人工智能加速计算芯片市场的快速发展。在这样的情况下，作为主要配套部件的大容量高带宽内存(HBM)出现严重的供应不足的问题。目前能够进行大规模生产供应的商用高端HBM供应商很少，而且这些供应商的产品会按照客户的优先级进行分配。多重外部不确定性的因素使获得优质的存储资源的战略风险更大。
本文研究的核心就是上面的现象。在此情况下，我国国产算力体系亟待解决的一个重要问题就是，怎样才能有效地解决高带宽内存(HBM)供给不足的问题呢？国内存储企业是否有足够的技术实力来推动HBM产品的研发和市场化进程？为了突破这个瓶颈，产业链上下游的企业应该如何开展协同创新来克服技术上的难题？本文将从HBM技术架构的角度出发来进行分析，并且对供需双方的核心矛盾做深入的探究，在产业链条上全方位地梳理出相关的参与者所承担的角色和功能，最后得出阻碍国产HBM发展的一些具体因素以及可能的解决办法。
第一章 技术本质：HBM为什么成为AI芯片的短期记忆中枢
1.1 传统内存架构的局限
在对HBM（高带宽存储器）架构设计思想进行详细讨论之前，要先了解传统内存方案所面临的一些主要问题。尤其是对于服务器、图形处理器等场合下的内存芯片来说，通常是用硬焊的方式将其固定于PCB之上，再依靠PCB上布设的铜线来完成与计算模块之间的信号传输。
该架构设计存在着明显的技术限制：一方面，由于芯片和内存之间过长的物理距离造成信号衰减的问题越来越严重，从而影响到数据传输质量以及稳定性；另一方面，仅仅通过增加引脚的数量来提高带宽的方法不能从根本上解决性能瓶颈问题，而且这样还会增大印刷电路板(PCB)面积的需求，并且还可能会引起能耗上升、信号延迟加长等问题。由于计算芯片算力的不断增长，传统的内存体系已经暴露出数据传输速度慢的问题，在核心单元进行运算的时候，经常要停下来等待其他操作完成，这样就大大影响了整个系统的性能表现。
在人工智能领域算力需求还未大范围普及的时候，传统的内存架构还是可以满足大部分应用场景的功能性需求的。对于图形渲染、通用服务器数据处理等任务来说，它们对于内存带宽的要求不高，并且可以被现有的硬件设备所满足。伴随着大规模深度学习模型训练和推理运算的发展，由于参数量急剧增加所引起的数据反复读取的需求也相应地提高了对于高带宽内存的要求。在这样的情况下，为了突破传统的内存性能的瓶颈，高带宽存储(High Bandwidth Memory，HBM)技术应运而生并且受到了大家的关注。
1.2 2.5D和3D先进封装、HBM的底座
HBM并不是简单的将传统的存储器进行叠加组合而成的，它是依靠2.5D、3D封装技术而产生的一个崭新的设计理念。该结构是以多层DRAM晶圆垂直堆叠为底层，并在各个层面之间用硅通孔、微缩金属凸点来实现互联，从而构成一个复杂的电气信号互相作用的网路。这样就可以打破传统的内存结构了。
从高带宽内存(High-Bandwidth Memory，HBM)的内部结构来分析的话，它的主要组成部分是由两种不同类型的芯片组成，一种是带有数据存储功能的核心芯片(C-die)，另一种则是负责底层通信和控制逻辑的基础芯片(B-die)。这两款芯片用到TSV技术来达到上下之间的高速信号互通。封装完成之后所有的存储单元都集中在底部基底层上，并且用微凸点的方式通过硅中介层实现物理上的连接。把高带宽内存模块集成到AI加速器的PCB上面，形成一个系统级封装的一体化方案。
该结构对计算芯片和存储器之间数据传输的方式进行了本质上的改变。传统的做法是依靠PCB板来实现远距离的数据传输，本结构则是把HBM内存采用垂直堆叠的方式整合在同一封装中，并且和其核心模块一起进行了高度集成的设计，大幅度地缩短了物理连接的距离，大幅度降低了信号的传播延迟，提高了整体的能量使用效率。由于通道数量进行优化升级之后，系统的带宽性能也有了很大的提高。
1.3 HBM三个方面的主要优点
堆栈式封装技术的HBM（高带宽内存）在很多方面都比传统的内存有着很大的优势。
一是有着很高的数据传输速度。目前主流的HBM3E DRAM单通道产品理论最大带宽已经突破了1.2TB/s大关，而下一代HBM4技术的带宽将会继续提升到2.0TB/s以上。和传统的显存相比，HBM系列在带宽性能上有了很大的提升，在一些特殊的应用场景下可以提高十几倍到几十倍不等。对于需要处理大量复杂的模型的大负载任务来说，充分的带宽资源就是打破内存墙障碍的重要因素，如果没有足够的带宽做保证，即使配置了高性能计算单元也无法使系统保持高效的工作状态。
二是具有很高的能源效率。通过TSV（硅通孔）工艺实现的三维垂直堆叠结构，和传统的GDDR显存相比，在同样的数据传输量的情况下，新的方案可以降低30%-50%的能量消耗。特别在大规模智算中心的情况下，由于涉及到几千甚至上万块加速卡，因此内存接口能耗优化对于整个系统的性能有着决定性的影响。该创新突破大幅度降低数据中心运行能耗的同时，也有效地解决了机柜温升的问题，并且极大地减少了长久以来数据中心运维中所消耗的能源以及需要付出的维护成本。
三是HBM模块具有体积小、数据传输时延短的特点是因为采用了多层垂直堆叠结构。和传统的内存技术相比，在PCB板上该存储器所占用的空间只有原来的三分之一左右。由于内部信号路径设计得到了改善，因此它的数据传输延迟也变得很小。在AI领域里，该类存储器可以很好地满足模型参数及中间结果的读写要求，并且通过减少计算单元空闲时间来大幅度提升整个硬件系统的性能。
1.4 HBM在模型训练和推理中起什么作用
在大规模模型实际使用过程中，不管是推理任务还是训练阶段，都要充分利用高带宽内存(HBM)的作用。
交互式的对话场景下，用户和大模型之间会有一问一答的互动过程，并且具有较强的推理性。经过深度训练的大模型参数被高效的保存在高带宽低延迟(HBM) 显存里，从而保证了实时响应能力和计算性能的提升。每次生成新的文本时，硬件模块会按照顺序调用模型权重信息并从历史对话中抽取Key-Value缓存，然后进行多轮复杂的计算；而产生的结果也会迅速回传到缓存系统中来为之后的迭代提供优化依据。如果系统的内存带宽不够用的话，就会引起数据读写延迟增大，从而使得计算节点空闲起来，最后就会影响整个系统的处理效率和响应速度了。
神经网络训练中最重要的一个部分就是模型训练，它主要是对大规模的数据进行参数优化的过程。典型的流程包括前向传播和反向传播两个重要的过程，在前向传播过程中，硬件设备用预先设置好的权重来处理输入的数据，经过多层非线性的变化之后产生出暂态的激活值，并把这些暂态的激活值存储到高速缓存模块（比如HBM）中；而在反向传播的过程中，则会重新加载权重以及中间的状态变量，然后根据损失函数来评价并改变参数的值。整个训练过程之中，数据流都是在计算单元和外部存储器之间不断地互相传输。
在模型训练和推理的时候，高带宽内存(HBM)传输速率、存储容量对于参数规模的限制以及整个硬件系统的性能都会产生很大的影响。即使人工智能专用芯片具有很强的运算能力，但是配套存储子系统带宽不够的话，也无法充分发挥出它的计算潜力以及达到预期的效果。
第二章 需求侧矛盾：智算扩张带来持续增长的HBM需求
2.1 云服务商算力基础设施持续扩容
目前国内很多云计算公司都在加快人工智能基础设施的建设。依靠自主研发的大规模预训练模型以及相关的技术革新来促进对外部客户的算力租赁业务的发展，上述的战略行动对于人工智能专用芯片需求的增加起到了明显的推动作用，并且促使了该市场的不断扩张。
算力采购并不是简单的硬件堆积或者服务器数量的增加，而和云计算服务商的人工智能战略密切相关。伴随各种各样的人工智能应用层出不穷，终端用户对于云上计算资源的需求越来越旺盛，从而推动云计算服务商不断扩大智能计算集群的规模。在这一过程中，单片AI加速卡一般都要配合高性能HBM存储模块使用来保证其正常工作，因此导致了云厂商对于HBM芯片的需求量也随之增加。
2.2 公共智算基础设施的建设会带来新的需求
在各个地区都推进一体化算力网络建设的过程中，公共智算中心的大规模布署也在逐渐展开。相关政策文件重点提出要建设大规模智算中心，计算卡的数量在数万到数十万之间，并加强硬件设备和国产自主芯片的兼容性研究以及适配工作。
公共智算中心给科研机构、中小企业提供算力支持，算力需求和商业云服务互相促进，使高带宽存储器(HBM)市场发展迅速。随着智能化应用场景的不断扩大，在各种智能场景中对于HBM等核心元器件的需求也会不断增长，并且呈逐渐增加的趋势。
2.3 单卡存储配置的提高加大了供应缺口
由于人工智能专用芯片技术的迅速发展，单个图形处理单元所配置的高带宽内存容量也得到了很大的提高。目前国际上领先的公司正在把新的计算加速器产品的HBM存储容量由第三代逐渐增加到第四代，依靠多款不同的产品来达到全方位的性能优化。相比之下，在训练型人工智能芯片设计上，国内企业一般都采用了大容量HBM方案，有些型号的实际存储容量已经达到了144GB-196GB左右。
为了达到性能要求，每个图形处理单元都要整合多颗高性能高带宽存储器(HBM)裸芯片。如果国产GPU芯片的大规模商用化应用能够实现的话，对于HBM器件的需求就会大大增加。由于全球HBM产能有限并且主要集中在几家供应商手中，因此这些供应商一般会优先保证与自己有着长久合作关系客户的产品供应稳定，在高端市场上的供需矛盾尤其明显。由于外部因素的影响，我国算力产业所存在的结构性失衡问题更加突出，从而导致核心资源短缺的问题更为严重。虽然市场需求在不断增加，但是由于目前供应链弹性不够，所以这就成为了阻碍行业发展的主要问题之一。
第三章 供给侧格局、全球HBM产业链图和生产情况
3.1 SK海力士：公司为全球HBM领域技术水平最先进的公司
SK海力士已经在高带宽内存(HBM)的技术方面建立了明显的优势和战略布局，并且在研发和产业化的过程当中一直处在行业的领先位置。由于公司在动态随机存取存储器(DRAM)领域有着丰富的经验和持续的技术革新，所以公司可以高效的把HBM产品系列从设计做到量产，并把大部分生产能力都集中在主要客户上，通过签署长期合作合同来加强供应链体系的稳定性和可靠性。
企业在实施产能扩张战略的时候，把新一代高带宽存储(HBM)产品的大规模生产作为重点来抓。由于目标客户的集中性较强，在现有的供应链体系下，替代供应商很难快速建立起稳定的产品供应体系，这也在一定程度上加重了全球市场上该类产品的供应短缺问题。
3.2 三星：庞大DRAM产能支撑HBM迭代
三星是全球最大的动态随机存取存储器（DRAM）生产商，目前正致力于第四代高带宽内存（HBM）技术的研发。公司已经决定增加第四代HBM的月产量，并优先调配生产资源来满足重要客户对个性化产品的需求。就市场定位而言，新一代HBM产品市场份额的增长势头将会一直延续下去。因为目标客户主要是高性能计算领域的人工智能芯片领军企业，所以也在一定程度上限制了它在其他可能的应用市场中的供应能力。
3.3 美光：全球HBM市场的参与者之一
美光科技参与了高带宽内存(HBM)技术的研发和市场推广，并持续加大高性能存储产品方面的投资力度。公司技术开发的方向同三星、海力士等世界上主要的存储器厂家高度一致，资源的配置上重点向HBM及高端产品领域进行战略性的倾斜。
目前全球高带宽存储器(HBM)市场非常集中，三星、SK海力士和美光这三家外国公司占主要市场份额。在可以预见的短期内由于产能扩张受阻和供应链瓶颈的影响，市场供给紧张的情况很难很快得到改善。实际供应量一般都大大少于客户开始时下订单的数量。
3.4 由海外供应格局对国内算力产业所造成的影响
目前全球高带宽内存(HBM)市场的产能大部分掌握在几个国外企业手里，并且这些企业会优先保证核心客户的需求。由于受到国际贸易规则改变等因素的影响，国内企业获得高性能HBM产品的难度明显增加，并且今后还会继续恶化。
该供应链结构中所存在的主要问题就是：即使国内的人工智能芯片设计取得了突破并且完成了流片工作，但是假如高带宽存储器(HBM)的供应出现短缺的话，那么它在硬件适配以及加速卡产业化的应用潜能就会受到很大的限制，从而影响到大规模智算中心的建设。目前的情况说明国内计算能力产业链上需要加强HBM模块的研发和生产投入来弥补存储器件技术自主可控的短板。
第四章 国产产业链支撑潜力：从晶圆制造到先进封装
4.1 DRAM晶圆制造：国产HBM的基础底座
在HBM产品的制作当中，DRAM存储器晶圆的制作就是其中最重要的部分。长鑫存储技术有限公司已经完成了该款芯片的研发和量产工作，目前有多个12英寸晶圆厂在运营，同时也在积极增加产能。目前该公司的产品线有DDR、LPDDR等种类，并且正在积极开展HBM技术的研究开发。
基于DRAM晶圆的生产上，实现HBM堆栈产品的大规模商用仍然存在很多的技术难题，其中主要是产品质量持续提高和生产工艺可靠性验证这两方面的问题。虽然国内在DRAM晶圆制造方面已经取得了一定的进步，但是该成果对于国产HBM器件的研究与产业化都起到了很大的促进作用。
4.2 进封工艺：2.5D和3D堆叠实现的主要过程
单独一个DRAM芯片的生产环节，是无法建立起完整的、高效的HBM产品体系的。HBM作为一种高度集成化的存储方案，要依靠TSV硅通孔制造、微凸点成形工艺、中介层结构设计和多片晶圆垂直堆叠等许多复杂的技術共同起作用。
我国封测行业的关键技术领域已经得到了广泛的布局，并且一些企业在核心工艺的样品验证方面也取得了成功。在进行大尺寸中介层以及多层晶圆堆叠产业化的过程中，产品品质的不断改善和生产工艺稳定性的提高还需要整个产业链上下共同努力并反复加以完善。封装技术水平对国产高带宽存储器产品的市场化进程有着重要的影响。
4.3 设备和材料的配套情况：整个产业都还没有很好的配套能力
HBM全生命周期制造体系中专用设备和特种原材料的作用很突出。TSV蚀刻设备、芯片级封装介质以及高精度检测接口等主要部分在工艺流程中起着不可或缺少的作用。由于我国在该领域的技术还有明显的不足，所以已经上升到亟待解决的战略高度。
近几年来，在多个科研项目的经费支持之下，部分细分领域的核心设备和关键材料已经完成了初步的国产化样品性能测试和检测。我国高带宽存储器产业规模化的推动力量主要是依靠自主技术。但是相关的配套环节的发展比较缓慢，这可能会给产品的市场化推广带来一定的阻碍。
第五章 国产算力芯片厂商HBM配套需求以及产品路线
5.1 华为昇腾：为高性能计算专门设计的芯片方案
华为昇腾系列AI加速卡是国内智能计算集群里的重要算力单元，在部分型号上拥有最大144GB的HBM显存，在大规模模型训练、推理任务上有很高的表现。该产品采用全栈式的软硬件协同设计，在芯片架构、驱动程序优化和集群系统的建设等方面都做到了深度融合和高效率配合，体现出了较强的技术创新能力。
昇腾芯片在存储器件领域应用中对于高带宽内存(HBM)技术指标的要求是多方面的，包括容量大小、传输速度等定量方面以及运行可靠性和长久稳定性等定性方面。随着该系列芯片逐渐进入各种各样的智能计算环境之中，其所对应的HBM市场的需求也呈现出了明显的增长趋势。
5.2 平头哥（阿里）的真武系列：既能够满足云端训练的需求又可以进行推理
阿里云平头哥半导体公司推出的产品中，以M890型号的真武系列加速器为代表，其最大的特点是拥有144GB HBM存储容量，并且主要应用于云端深度学习模型的训练和推理工作。借助阿里云强大的计算资源生态系统，本产品可以得到实际场景中数据的反馈，并且不断优化自己。伴随着云服务提供商扩大自身的算力基础建设，对于高性能高带宽存储方案（比如HBM）的需求也越来越大。
5.3 海光信息：通用计算和AI加速融合发展道路
除了继续加强通用处理器方面的研究之外，海光信息还积极开展人工智能（AI）加速器芯片的技术研发工作。因为这类芯片在运行的时候要处理大量的数据，所以它对于高性能存储资源的需求大幅度提升，而且它的计算性能的提高也很大程度上依靠高带宽内存(HBM)的支持。伴随着国产算力芯片在各个行业的应用越来越广泛，相关的出货量也会大大增加，从而加大了国内市场对于HBM的需求。
第六章 国产算力产业链相关的企业介绍
按照产业链上下游的关系来分析，在国产算力研发、高带宽存储（HBM）制造、芯片封装与互连技术开发、服务器整机组装以及液冷散热和电源管理方案等15个主要领域内，对其中的典型企业进行系统的剖析。
6.1 海光信息：CPU和DCU两条路线并行发展
海光信息是信息技术产业中的一分子，主要围绕着国产通用型中央处理器(CPU)和深度学习加速器(DCU)进行布局。自主研发的CPU产品被广泛应用到服务器集群、行业的数字化转型项目以及高密度计算场景之中，采用了x86兼容的设计方案，具有很好的操作系统匹配能力以及跨平台运行稳定性，在软件迁移方面也有突出表现。对于DCU产品而言，本技术方案主要针对人工智能模型的训练和推断工作负载进行优化，并借助对各种主流并行计算框架的支持来帮助传统的计算系统实现升级改造以及平滑迁移。
从产业协同的角度来看，海光公司研制的CPU和DCU芯片可以为系统集成商搭建高性能计算结点以及大規模智算集群提供重要支持。促进硬件和软件的融合、把上下游产业链资源整合在一起共同前进。从市场竞争的角度来看，在兼容通用计算生态的加速卡领域中，海光具有明显的优势；并且依靠差异化竞争、定制化推理芯片和多核异构架构的战略来形成自己与其他厂商之间的动态竞合关系。公司在产业化的道路上还存在很多困难，比如DCU新产品的研发进度、高带宽存储器供应的稳定性和配套开发工具链的完备性等都需要得到解决。
6.2 中国长城：自主算力整机、基本硬件
中国长城战略规划主要围绕着自主算力生态核心部分进行布局，重点放在了整机系统以及关键底层硬件上面。其业务范围包括基于国内芯片体系的服务器、台式计算机和工业控制机的研发，还涉及到电源管理、散热设计、加固计算系统等配套服务。研发重点主要是国产指令集软件优化、软硬件协同适配机制建设以及针对特定场景的信息技术方案设计和落地。公司在算力产业链上尚未涉及HBM等高性能存储或者AI加速器这样的高端元器件的设计生产，主要通过提供整机设备、母板模块以及相关配套设施来参与到智慧计算基础设施整体建设的过程中去。
在中国长城、浪潮信息、中科曙光和华勤通讯之间存在着一种竞争合作的格局，它们用不同的策略来共同发展。中国长城重点发展行业数字化转型需求的小众市场；浪潮主要为云服务提供商提供系统集成服务；中科曙光集中力量进行高端计算设备的研发和制造；华勤通讯依靠ODM模式深耕硬件加工领域。产业的发展受多方面因素影响，主要包括国产CPU核心技术的提升、人工智能加速器兼容性的增强以及终端用户的购买政策的变化等等各种外界因素的限制。
6.3 沐曦股份：国产GPGPU以及高带宽芯片互连
作为国内领先的一家通用GPU开发商，沐曦科技主要围绕在AI训练、推理以及通用并行计算等方面进行研发。该公司的技术体系依靠自己创建的指令集架构以及相应的软件开发工具链来实现，主要的产品是曦云C系列。目前研发工作的主要任务是支持HBM3e高带宽内存接口和低精度运算，在智算场景下做功能验证、性能测试。公司正在加快新一代产品性能优化和规模化生产的速度来适应市场需求。
产品的主要差异化优势在于它的高带宽互联能力很强，可以支持由双卡到百卡规模的集群系统的搭建，打破大规模分布式部署技术上的限制。目前行业研究的重点主要集中在国产大模型软件生态的兼容性优化上，通信运营商和云计算服务商在算力服务方面的创新实践，还有HBM3e存储技术的研发进程以及其先进的封装工艺质量控制的问题。在竞争格局上，沐曦科技依靠通用GPU开发形成了自己独特的市场定位；而壁仞科技、摩尔线程、燧原科技和寒武纪等公司则依靠各自特定场景下的人工智能加速器及Chiplet多核集成方案来实现技术上的突破。行业的发展面临着许多问题，上游高端存储芯片的供应不稳定、操作系统底层兼容性优化不够、超高密度集群系统的可靠性测试周期长等都需要尽快得到解决。
6.4 燧原科技：以差异化存储方案破局AI算力
燧原科技主要做云端训练加速卡、推理专用硬件平台以及超节点架构下的系统集成技术的研究。它早期的产品使用了2.5D封装工艺搭配上HBM2E存储介质来提高推理阶段的能量转化率，并且支持多节点集群拓展。公司今后的发展战略主要是进行芯粒级合封方案及内存布局优化的技术创新，有些新产品使用的是计算单元和GDDR6显存相结合的方式，在控制制造成本的前提下也考虑到了带宽性能、能耗比以及市场的快速更新换代的要求。
该企业的战略已经由原来的芯片设计领域发展到现在的包含制造、硬件整合、整机开发和全链条服务在内的综合服务体系。依靠自己建立起来的低延迟网络互联结构以及集群管理程序，可以大大改善大规模机器学习模型训练及推理的工作效率。公司系统级工程实施方面表现出很强的优势，主要是由于公司在高带宽内存(HBM)技术和图形双倍数据率(GDDR)存储方案上所作的差异化创新，在此基础上又对Transformer等新的混合模型结构进行优化，从而提升了公司的技术实力。公司还积极打造国产算力芯片生态体系，在智能化计算领域逐渐形成了对于一部分传统进口产品替代的效果。
6.5 芯原股份：芯片IP和设计服务的上游支持
芯原股份目前并没有开展高带宽内存(HBM)人工智能加速卡的研发生产业务，公司的主要业务是知识产权授权和集成电路系统级芯片(SoC)的设计外包服务。该公司所依靠的技术积淀包含有图形处理器、神经网络处理器、图像信号处理器等模块和各种高速接口技术，并且还提供先进的封装方案以及技术支持服务。
在高性能存储芯片研发体系中占据重要位置的这一产业发展状况会对GPU、NPU等下游产品技术发展产生重大影响。在国产高带宽存储（HBM）技术向商业化的道路上，相关的公司需要把TSV工艺、多层堆叠封装技术、基板级制造工艺等融合起来，并且依靠芯原公司在系统级架构设计、知识产权模块整合、晶圆级互连方案实施、大规模量产支持等方面丰富的经验来推进技术创新和产业转型升级。在全世界的半导体知识产权授权和集成电路设计方案服务方面，外资企业仍然处于主要位置，但是中国的公司在中低端通用型IP的研发、特定场景下的人工智能加速器（比如AI专用NPU）的设计以及定制化的片上系统（SoC）开发等方向上表现出很强的增长势头。在产业化的推进当中，客户流片的进程、合作伙伴封测的能力以及市场对高效率低功耗IP的需求等多方面因素都会产生复杂的互相影响。
6.6 长鑫科技：国产DRAM和HBM研发的主要力量
在上述研究对象的企业里，长鑫科技由于专注在高带宽存储器(HBM)晶圆制造的核心技术领域上所以受到人们的重视。公司的主要业务包括动态随机存取存储器(DRAM)晶圆研发和产业化应用，在建有多条年产12英寸生产线的基础上，新产能扩充工作也正在稳步推进中。公司已经在DDR4/5标准和低功耗LPDDR系列产品芯片技术的研发上取得了很大的突破，并且正在为下一代HBM产品的新设计做准备。目前公司已经实现了HBM2型号产品的批量生产并且已经开始对部分原有的生产线进行技术改造来满足HBM产品大批量生产的需要。
HBM系列芯片除了拥有高性能动态随机存取存储器（DRAM）的关键技术之外，还集成了很多复杂的工艺模块，比如硅通孔(TSV)制造、微凸点封装、多层三维堆叠结构设计以及基板级die整合等等，而且要和人工智能专用集成电路一起进行系统的协同优化，从而达到先进2.5D封装的效果。长鑫半导体在产业化的过程中受到HBM3/E样品研发进度、国内封测企业后端制造技术储备和主流计算平台兼容性验证速度的影响。从全球市场的角度来看，在高端HBM方面仍然由三星、SK海力士以及美光等少数几家国外公司所把控。对于长鑫来说，在现阶段应该集中力量攻克HBM2以及其派生产品技术成熟度的问题，进一步稳固国产GPU及配套设备在存储模块领域中的优势地位，而不需要过早介入高风险、高壁垒的下一代HBM4技术的研发工作之中。如果以后因为产能爬坡慢、良品率低而造成供应链断裂的话，就会影响整个相关产业的发展速度。
6.7 兆易创新：利基存储和嵌入式存储一起推动
兆易创新目前没有参与到高带宽内存(HBM)的研发和生产当中。公司的主要业务为 NOR flash 、 NAND flash 和微控制器（MCU），并且涉及到了部分 DRAM 设计。经过市场定位分析之后，公司和长鑫存储可以实现差异化协同发展：前者主要布局大数据中心用高性能服务器DRAM和HBM晶圆制造；后者则把主要精力放在嵌入式存储产品、特定应用场景存储方案的研发以及定制化DRAM技术研究上。
公司拥有丰富的NOR闪存、SLC NAND和车规级微控制器技术积累，在低功耗存储器件研发上也取得了一定的成绩。伴随着我国高带宽内存(HBM)产业链的逐渐完善，边缘计算设备对于存储资源的需求也在不断增加，这给公司打开了一片新的市场。企业在激烈的市场竞争中，出于慎重考虑，并没有直接参与到同国际顶尖企业的正面竞争当中去，而是在国产化存储架构上重点发展除主存以外的嵌入式存储产品。其产业化的战略比较符合工业自动化装备、汽车电子系统和终端智能设备的发展需要，没有涉及到数据中心高密度存储市场上的核心环节。
6.8 澜起科技：内存互连和CXL内存扩展
澜起科技股份有限公司主要业务包括高性能内存接口芯片、PCIe信号重新定位装置、CXL内存扩展控制器等产品的研发，以及时钟发生器类相关产品的生产和销售，并且重点发展服务器内存模组整体方案。公司主要在DDR内存通信协议解析、高速信号完整性的改善和服务器平台稳定性的提高这几个方面做技术研发工作。
在高带宽存储(High Bandwidth Memory，HBM)产业生态里，澜起科技的主要业务集中在内存接口技术及扩展方案的研发上，并不直接参与到HBM颗粒的生产和制造当中。AI服务器架构高效的运作离不开算力、存力和通讯网络这三个主要部分的有效配合，而在内存互联技术方面进行创新并提出相应方案的澜起科技起到了决定性的作用。经过封装工艺的改进之后，HBM大大提高了处理器同外界存储器之间的数据传输速度；而DDR5加上MRDIMM模块之后，则比较好的满足了数据中心对于大容量系统级缓存的需求。为了满足跨芯片资源共享的需求，CXL协议做出创新性的改进，而PCIe重定时技术可以有效地解决高速信号传输过程中出现的衰减问题。目前全球HBM市场为寡头垄断的局面，由于有着深厚的本土技术积累，在HBM领域国家标准的制定上澜起具有明显的话语权。目前行业关心的问题主要有DDR5新技术的发展、CXL功能的实际应用情况，以及国内CPU平台对MRDIMM和CXL的支持能力增强等方面的因素一起推动着整个产业链向更深入的方向发展。
6.9 盛科通信：以太网交换机和智能计算网络硬件
盛科通信是一家主要从事以太网交换芯片及系统方案的研发、生产和销售的企业，公司主要为数据中心、企业级园区网络和智能计算环境提供互联互通的产品和服务。公司对MAC/PHY底层架构设计、交换矩阵优化布局、低延迟数据传输管理、远程直接内存访问(RDMA)协议开发、流量控制算法改进以及三层大规模网络部署方案等技术都进行了深入的研究，在此基础上形成了较为完善的技术储备。
在人工智能集群体系结构里，交换芯片并不直接供给HBM存储带宽资源，但是它的性能参数对于系统的横向扩展能力有着决定性的影响。随着智算集群从几百张GPU卡发展到上千张或者上万张卡的时候，传统的单卡计算性能瓶颈就变成了多卡合作效率的主要限制因素，涉及到了梯度同步更新、模型并行部署以及键值缓存管理等等不同的场景。盛科公司设计的高性能交换芯片由于可以替代国外同类产品，并且能够满足大规模数据中心高效的數據傳輸需求，所以表现出很大的优越性。目前国内很多系统集成商都在开展自主研发可控的交换芯片的工作。作为第三方解决方案供应商，盛科的优势主要表现在支持白盒化数据中心的建立上，而且通过同电信运营商、云计算服务提供商的合作来改善网络性能。未来的行业发展趋势将会围绕着高带宽交换技术的创新、液体冷却散热技术的突破、基于RDMA协议的拥塞控制算法的研究、以及对大规模机器学习任务通信框架的匹配和优化等几个方面来展开。
6.10 浪潮信息：AI 服务器整机组装和集群搭建
浪潮信息主要经营的业务包括智能服务器、通用计算终端、存储设备、机柜基础设施以及智算中心的整体方案设计和实施。凭借多年在硬件大规模生产和运营方面的经验，公司不但是云服务提供商的好伙伴、能共同设计出个性化的产品，而且懂得怎样改善整机散热系统、电源结构的设计等事情，因此形成了独特的竞争优势。
在国内高带宽存储（HBM）产业链中，浪潮没有参与到存储颗粒的生产当中去，也没有自己研发AI芯片，而是进行资源整合和整体方案的提供。该公司的商业模式主要是把海光、昇腾、沐曦、寒武纪和燧原等厂商的加速器产品整合起来，向市场供应包括训练服务器、推理服务器以及超节点机柜在内的各种不同的产品系列。伴随着超节点技术的发展，浪潮也遇到了诸多技术难题，其中包括但不限于如何优化开放架构模块(OAM)、怎样提升混合显存模组(SXM)的相容性、怎样解决HBM芯片散热的设计问题、怎样达成不同计算单元之间的高速互连（例如使用CXL协议），还有怎样推进液冷技术的标准进程。从市场竞争的角度来看，浪潮依靠在大规模云计算环境中的经验，在快速响应客户的需求和提供服务质量方面有着明显的优势；中科曙光长期专注于高性能计算领域，并且正在探索使用国产化芯片的战略；华勤通讯主要做的是硬件ODM/OEM业务；而联想凭借全球化的市场布局，致力于研发并销售全栈式的IT基础设施解决方案。目前产业发展遇到的主要困难有国产GPU研发滞后、HBM技术不够成熟、单机柜功耗不断增加等。
6.11 中科曙光：高性能计算机、超节点系统方案等
中科曙光的业务结构包括高性能计算集群、智能服务器、存储设备、定制化数据中心硬件和算力服务生态系统等主要方面。其技术竞争力主要是依靠对“海光”自主可控芯片的高度适配来实现的，在此基础上逐步打破传统IT基础设施供应商的身份局限性，向着提供包括CPU、加速器模块、高速互连技术、并行处理软件栈和液冷散热方案在内的全套一体化服务体系转变。
以健康信念模式为理论视角对曙光公司的做法进行分析可以得出，在国产高带宽内存资源有限的情况下，曙光公司创建了一个可以随时调整的存储资源池。核心技术方案包括如下几个方面：利用超节点架构来改善跨节点内存访问性能；使用CXL内存扩展协议提高存储容量和带宽利用率；用分层存储架构来满足大量机器学习模型参数以及KV缓存数据的管理要求。从市场定位上来讲，曙光通过科研、气象、材料仿真及政府智慧城市等实际应用场景来构建起自身在高性能计算领域中的竞争壁垒。就产业化的进程而言，公司战略的重点是推进海光DCU芯片技术的迭代升级、加深长鑫HBM内存模组的兼容性测试、保证万卡级超算集群长时间稳定运行以及全面提高整个系统的能效比。这就是公司的技术创新以及商业实践所依存的动力机制的主要内容。
6.12 华勤技术：智能硬件ODM，数据中心硬件代工
作为全球领先的智能硬件原始设计制造商，华勤技术已经成功进入AI服务器、网络交换机和数据存储系统整机组装领域。依靠多年的研发经验，在公司各个重要领域都取得了很大的进步，其中就包含多品牌终端硬件架构的设计改进、新型结构件的研发生产、复杂的散热系统仿真分析和高频信号完整性的处理等方面，而且公司在上游供应链资源整合上也显示出了较强的优势。
在高性能存储器(HBM)产业里，一部分国内企业主要从事高端计算设备和服务器硬件的ODM/OEM业务。这些企业除了给芯片设计商提供技术支持之外，也向云计算服务提供商、白牌终端制造商和品牌服务器厂商等多种类型的客户提供产品。和只做自己品牌服务器的厂家相比，在技术方面的优势主要表现在多个项目同时进行的协作能力上，依靠模具的研发和生产流程的优化来实现大规模高效的运作。明显的短板就是对于先进制程工艺的自主研发能力不足，尤其是自主可控的核心芯片设计和操作系统等底层软件生态建设等方面都比较欠缺。人工智能专用硬件的关键技术主要有，液冷散热系统的设计，高密度电源管理方案的研发，光学模块封装技术的改进，TSV（硅穿孔）、2.5D集成封装测试工具应用的创新。目前市场上主要是由华勤通讯科技、富士康工业互联网股份有限公司、浪潮集团、中科曙光信息产业股份有限公司和闻泰科技股份有限公司等头部企业所占据，并形成以代工服务为主，向自有终端产品发展多元化的经营局面。行业的开展受客户的GPU流片进度、整个行业的封测良率进步的速度和全球宏观经济环境的变化等内外部诸多因素的影响。从长远来看，技术革新可以促进产业的发展，并且供应链整合的程度也会加大企业的竞争优势。
6.13 鼎通科技：高速互连器件、液冷管路组件等
鼎通科技主要从事高速通信连接器、铜缆组件、液冷系统配件以及数据中心精密结构件的研发和制造工作。该公司的核心技術體系包括112G/224G高帶寬信號傳輸技術、PCB信號完整性仿真实驗、冷板接口優化設計、分流通道精密制造和機柜散熱單元組合等多個重要方面。
在高性能计算架构里，比如高带宽存储、图形处理单元和数据中心等领域当中，企业依靠信号传输优化以及热管理技术来获得价值上的提高。由于HBM技术可以大大提升单芯片数据吞吐量，所以GPU之间高效通信的需求也日益增加，促使PCIe、CXL协议以及相关铜缆和光纤互连方案的发展，同时也对低损耗连接器提出新的要求。由于HBM、GPU模块工作时会有较大的温度上升，因此冷板式液冷系统、快速接头、精密分路管路等已经成为了高密度服务器散热方案中必不可少的部分。在这样的情况下，我国的连接器企业正在加快对人工智能机柜高速互连组件和液冷设备市场的布局。拿鼎通科技来说，该公司把高速铜缆互连技术进行整合，并且研制出了一体化液冷接头的产品，形成了自己独有的优势。未来的市场走势会受到224G HBM芯片的量产进度、1.6Tb/s以上的光模块商用化进程以及相关的领域内行业的标准建设等因素影响。
6.14 飞荣达：散热材料以及液冷整套方案
飞荣达的主要业务包括导热材料、散热组件、均热板、液冷冷板、CDU液冷系统、快速连接装置和液冷机箱等各个方面的生产。其研发体系主要集中在热界面材料技术、均热结构设计方法、风液混合散热系统集成方案和数据中心全方位热量管理仿真分析等上面。
在高带宽存储(High-Bandwidth Memory，HBM)产业链中，飞荣达是该产业链的重要组件供应商，并没有参与到内存带宽优化设计当中去，但是飞荣达的产品质量和技术性能对于基于HBM的图形处理单元(Graphics Processing Unit，GPU)模块实现高性能、大负荷运转有着重要的作用。由于HBM 3E、HBM 4等堆栈层数越来越多，使得单片芯片单位面积上的热流密度大大增加。在这种情况下，传统的风冷散热方式已经不能够满足高性能计算环境中的单机柜设备散热需求了，因此冷板式液冷、辅助浸没冷却和CDU（Chilled Die Unit）流量控制等新的散热方案开始得到应用和发展。在人工智能服务器方面，一些企业已经进入规模化生产的阶段，并且开始部署相应的散热系统；但是高端定制化的液冷系统还处在原型验证和试验的阶段。行业的竞争格局比较复杂，飞荣达要和其他多家企业就技术创新、资源整合等方面进行激烈的竞争，比如英维克、高澜科技、申菱环境、中航光电等。产业化的过程中存在的主要问题有冷板加工精度不高、CDU可靠性不稳以及早期联合研发效率低下等，上述因素阻碍了整个行业的发展。
6.15 欧陆通：服务器电源、大功率电源供应模块等
欧陆通主要从事服务器电源、高功率AC/DC模块、分布式供电系统和数据中心关键部件的研制及制造。其技术上的主要优势包括：功率半导体设计优化、多路冗余结构搭建、48V/12V低压变换技术应用开发、高效率电源模块生产工艺提高、机柜级配电方案整体规划和实施。
在高性能计算(HBM)和人工智能(AI)芯片集成系统的设计当中，整机能耗控制已经成为了影响性能提高的一个重要因素。由于单卡HBM显存容量越来越大，因此GPU利用整合HBM存储单元以及高速互连技术的方式增大了功耗。目前单机柜平均功耗已经超过了传统的10到20千瓦，有的高端配置甚至达到了30千瓦到60千瓦以上。电源模块的设计需要重点考虑如下几个方面的问题：第一，提高转换效率来降低能源消耗；第二，加入热插拔功能方便灵活地应对负载的变化；第三，加强动态调整机制并且增加故障容错的设计；第四，配合上液体冷却散热方案以改善温度控制的效果。目前欧陆通还没有进入HBM封装领域。在国产人工智能服务器产业化的过程中，其配套电源组件要和ODM/OEM机箱方案、主板BIOS/固件和能耗管理软件进行深度融合、相互优化。行业内的竞争态势已经逐渐明朗起来，国内的企业例如中国长城、科华数据、麦格米特等等正在同台湾地区的厂商进行着激烈的竞争。未来的发展趋势大概会主要体现为高密度电源产品市场认证的速度加快、48V直流供电系统的普及和智能计算中心能效标准的不断演变这几个方面。
第七章 国产HBM量产落地所遇到的困难以及解决的办法
7.1 底层工艺的问题：TSV、微凸点和良率控制
国内高带宽存储器(HBM)的大规模产业化进程面临重要的技术瓶颈，在硅通孔(TSV)刻蚀精度、硅片填充工艺和多芯片堆叠中微凸点连接的质量上都存在一定的问题。以上几点都会影响到产品的性能稳定性和可靠性。基板Die设计和制造方面也存在着很多的技术难题需要攻克。
将HBM存储器和AI专用加速器进行封装的时候，对于加工精度要求非常高。即使是很小的偏差也会使整个模块失效。技术难题在很大程度上阻碍了国产HBM大规模产业化的进程，单靠一次工艺上的改进是很难突破的，需要通过长时间的经验积累来逐步解决。
7.2 产业发展中的问题：设计、制造、封装测试全产业链的合作
HBM产品开发和生产的各个环节包括了半导体存储器生产商、封装测试服务提供商、晶圆制造公司以及设备和材料供应商等，整个生产过程体现出很强的复杂性和系统性。虽然我国集成电路产业在某些领域已经取得了一些进展，但是要建立一个能够与全球领先企业相媲美的稳定而深入合作的供应链体系，仍然存在很多困难。
为了使我国高带宽存储器(HBM)产品能够尽快地进入市场并得到应用，就需要建立起一个长期有效的产业合作机制，并且要形成统一的产品技术规范和硬件接口标准。通过产业链上下游企业联合测试验证可以大大减少由于兼容性问题而产生的研发费用。协同发展体系的创建可以给国产HBM的大规模使用提供重要的战略上的支持。
7.3 外部环境所造成的不确定因素
国际贸易规则的不断变化给我国HBM产业未来的发展带来了新的不确定因素。由于主要生产设备和重要原材料都受到出口限制，在外部环境发生变化的情况下，国外供应商的战略部署也会作出相应的调整。
虽然外部环境的压力会对我国产业技术自主创新造成一定的影响，但是也会起到一定的促进作用。在这样的背景下，相关产业应该建立多层次的技术储备系统，并且要做好前瞻性专利布局和战略规划工作，以此来应对外部冲击带来的风险。
结语：国产算力突围，不能只靠单点技术突破
我国高性能计算领域存在的高带宽存储(HBM)供给制约问题，是由于技术限制、产业链合作不够、外部环境等多种因素共同造成的。从技术角度来说，HBM用到了多层堆栈封装工艺，大规模产业化遇到了很大的困难；从产业的角度看，在计算能力需求不断提高的情况下，全球市场上的HBM产品已经变得非常集中，供需矛盾越来越严重；复杂的国际政治经济形势也加强了我国相关行业建立自主可控体系的紧迫感。
在全球化逆流和技术封锁共同作用下，相关的产业已经变成了孕育新机会的重要领域。以长鑫科技为首的地方企业不断在DRAM和HBM的技术研发上加大力度，国内封测企业也正集中精力于2.5D、3D封装技术的研发创新。伴随着区域智能计算中心建设步伐的加快和各种各样的应用需求出现，上述几个方面一起促成了国产HBM产业发展的支撑体系形成。展望未来，国产HBM将会经历从小规模试制、产业化生产再到性能优化迭代的技术演化过程，在建立自主算力生态系统的过程中起到核心存储器件的作用。
整个产业变革过程都具有很强的长期性，在此过程中需要依靠几代技术的进步以及不同领域之间的相互配合来完成。每次工艺升级以及产业链联合测试都会对解决内存瓶颈起到决定性的作用，只有克服了“内存墙”的限制之后，国产算力芯片才有可能发挥出全部性能。
根据对HBM产业链结构特征进行分析可以得出，打破国产HBM供给瓶颈的关键就是创建一个一体化、高效率的协同创新生态系统。在这一过程中各个部分都要注意资源的合理配置和能力的互相补充：DRAM制造企业（例如长鑫存储）要侧重于晶圆工艺以及TSV技术的研究开发；集成电路设计和封测企业（例如芯原股份）需要集中力量攻克2.5D/3D封装技术及其相关配套方案；人工智能芯片研究机构（例如沐曦、燧原科技、海光信息等）应该加强算法优化以及硬件架构创新；内存控制器厂家（例如澜起科技）、高速互联设备生产商（例如盛科通信）和系统集成服务商（例如浪潮集团、中科曙光、华勤通讯）也要紧密结合在一起，一起推进高性能计算生态系统的建立和发展。
在海外高性能存储芯片(HBM)市场供应受到限制的情况下，我国相关产业必须采取两方面并举的应对策略：一是要加快长鑫半导体由HBM2到HBM3的技术升级换代步伐，与此同时还要着力提升批量生产良品率，并推进它与国产计算架构的兼容性适配；二是要努力改善本土化图形处理器(GPU)软件栈，在系统层面进行创新以提高带宽利用率，可以采用超节点分布式管控、Compute Express Link(CXL)内存池扩展以及Remote Direct Memory Access(RDMA)通信协议等先进方案来实现。如果晶圆制造、先进封装工艺或者高速互联技术任何一个环节出现问题，就可能会造成成品率下降等现象，从而影响智能化终端设备按期交货。算力产业的成熟，是整条产业链共同成长的结果。