内存将走向何方？

Jukan

· 1小时前

当我从消息源听说Rubin Ultra可能被降级为HBM4，或者从12层HBM降到8层HBM时，我还以为是什么烂玩笑。

从16层砍到12层，我能理解。良率就是上不来，这是制造问题。但再砍一刀，降到8层或改用HBM4，这直接违背了一个信念——AI对HBM容量的要求只会越来越高、越来越大，而且这是突破当下内存墙的唯一途径。

所以当我听说Anthropic和OpenAI这样的模型开发商甚至向英伟达要求4层HBM4E时，我就更困惑了。

如果这么低的HBM就够用了，那HBM的护城河不就塌了吗？护城河一塌，我们怎么抵挡即将涌来的中国供应？这是内存下行周期的开始吗？所有负面想法同时涌来，我慌了。

但我跟行业专家和消息源仔细聊过之后，找到了一个答案。这个答案甚至说服了我自己——一个自认在内存上花了不少功夫的人——所以我想在这里分享给你。

1. HBM为何如此重要

对内存制造商而言，这一轮周期与以往所有周期的最大区别，就在于HBM。

毫不夸张地说，这整场DRAM缺货，就是因为HBM的存在——它吞噬了海量的通用DRAM晶圆产能。

今年早些时候，当Rubin Ultra仍被预期搭载1TB HBM4E时，有些预测显示，即便DRAM资本支出在上升，有效DRAM供应增长也 barely 只有1%，全是因为HBM。

换句话说，正是HBM在持续推动DRAM去 Commoditization（大宗商品化）。

HBM面临三大与良率相关的工程极限。

第一是垂直堆叠Die带来的封装阶段良率挑战。

第二是HBM的Die面积比通用DRAM Die更大，导致每片晶圆上可用的已知良品Die（KGD）更少。

第三是晶圆制程本身的良率损失——在堆叠之前就要形成TSV（硅通孔）。

第二和第三点是制造HBM本身无法回避的成本。第一点则不同。堆叠4层或8层，远比堆叠12层或16层成熟得多，所以只要降低堆叠高度，就能产出更多HBM。

这直接带来更多加速卡出货，也是近期HBM降规的原因之一。

2. 内存占预算比例太高

假设降规前的Rubin Ultra使用12层HBM4E，再考虑到HBM4涨价，内存最终竟占到整个Rubin Ultra物料清单（BoM）的70%。英伟达的客户根本不可能接受这个价格。

英伟达后来确实把HBM上的加价率从75%降到50%，但即便如此，Rubin Ultra还是太贵了。

于是，包括OpenAI和Anthropic在内的客户开始积极推动HBM降规——这是BoM中最大的一项——以压低GPU价格。

有些客户更进一步，坚称4层HBM对他们来说就够了。我目前了解到的情况是，内存制造商拒绝了，降规止步于8层。

回头看，包括超大规模客户在内的内存买家从7月起就开始抵制内存涨价了。

Meta对SanDisk的动作是一个案例。如今对Rubin Ultra内存涨价的抵制是另一个。

业内蔓延的一种看法是，本该用于推动AI进步的预算，被过度地倒进了内存里。

3. 没有余地和预算继续推高HBM容量

我在Hot Chips上学到的一点是，对HBM来说，引脚速度（pin speed）现在比容量本身更重要。

HBM正在成为内存中最热的一层。

把所有数据都留在HBM里的需求在缩小。模型分布在多颗GPU上，预填充（prefill）和解码（decode）正在解耦，相对“冷”的KV Cache和模型状态正下移到LPDDR、CXL和NAND层级。

留在HBM里的，只有计算当前所需的工作集（working set）。

模型开发商带来的软件改进也超乎想象。

量化、MLA（多头潜在注意力）等技术让算法能够抵消模型权重和KV Cache的容量增长。一旦为最小工作集确保了足够容量，要解决的问题就从“能存多少”变成了“每个Token所需数据能多快取到”。

这并不意味着高容量已无必要。关键在于，软件在不断拉低最低所需容量，而越过那个阈值后，额外价值更多来自带宽而非容量。

而且，更高带宽的HBM需要更多晶圆来制造。

一片晶圆上只有有限比例的Die能通过速度分拣（speed binning），所以要求的速度越高，每片晶圆能产出的良品Die就越少。

这进一步加剧了上文所述的HBM对DRAM Die的巨量消耗，并有可能使当前的DRAM短缺恶化。

这就是为什么HBM买家不得不在容量和带宽之间做取舍。他们需要更高的带宽，哪怕牺牲容量，而且绝对没有空间在更高带宽之上再去保更高容量。

那这对内存制造商意味着什么？

就我个人而言，我认为这实际上是利好。

如今，内存制造商会报废那些不符合标准的有缺陷Die——无论是在前端还是封装环节——或者把条件稍好的那些以不太好的价格卖给中国。

但如果放弃容量意味着以8层形式销售HBM4和HBM4E，那也意味着更高的封装良率。这意味着更多HBM，放大来看就是更多机架出货，所以总HBM需求比起所有人都死磕高容量HBM的那个世界，实际上是增加了。

结论：未来两年将决定内存制造商的命运

HBM并不完美。

发热。对DRAM晶圆天生的贪婪胃口，长期制约着DRAM供应。分配优先级随资本优势的持有者而转移。

相比DRAM在计算架构和产业史上所占据的位置，对HBM的抱怨完全可以理解。HBM的创造者SK海力士自己也承认HBM并非完美架构。

但不可否认，HBM是迄今为止最好的内存架构。

多亏了HBM，内存变得不那么周期化了。

即使下行周期到来，HBM需求也不会萎缩。当DRAM价格下跌时，制造商可以提高HBM产量，抵御DRAM价格下滑。这是与以往所有周期最大的不同。即使在低迷期，内存价格也不会像过去那样暴跌70%。

但我们不能止步于此。行业需要聚焦于构建HBM之后的下一代架构。

我也不能排除出现一种优于HBM的架构——它可能消耗更少DRAM晶圆，或者改用NAND，或者另辟蹊径。

而且我相信，这种架构将朝着内存与逻辑融合的方向出现。

我们正在进入一个改良版的冯·诺依曼时代，内存和逻辑相互侵入对方的领地。

对内存制造商来说，未来两年将是决定未来几十年的分岔点。

如果他们在此刻抓住通往逻辑的方向，就能尝试进入逻辑领域——一个远大于内存的市场。他们也能加固自己在内存领域的护城河。

如果他们反过来逐渐退让——从HBM基础Die之类的东西开始——他们可能会失去HBM终于为他们赢来的去 Commoditization 机遇。

那他们就永远摆脱不了分包商的地位，而如果在这个节点掉链子，我认为内存制造商的利润很可能会回到HBM之前的水平。

我相信内存制造商明白这一点。这就是为什么三星在宣扬其晶圆代工与内存结合的优势，为什么SK海力士在探索与Intel的合作。

而逻辑阵营——包括英伟达——并不希望内存制造商的角色扩大。

这就是他们反对HBF的原因。他们不想重演HBM在NAND上发生过的事——失去主动权，被牵着走。

我不知道内存和逻辑之间的角力谁会赢。我现在能确信的是：

HBM终有一天会被取代。

终极方向是内存与逻辑的结合。

在人类能够绕过HBM今日所代表的那堵墙之前，内存制造商的利润将受到HBM结构性特征的保护。

似乎可以确定的是，我们正站在自冯·诺依曼架构以来最重要的分岔点上。

别在接下来五年里倒下。我们怎么能没见证这场变革就死了呢？