GPU有一半时间在空转——AI行业最不愿承认的秘密和一个60亿瓦的赌局

2023年，全球AI公司像疯了似的抢购GPU。H100单价从3万美元炒到4万以上，交期长达一年，硅谷甚至出现了用GPU期货做抵押的金融衍生品。前a16z合伙人突然说了一句让所有人不舒服的话：真正的瓶颈根本不是GPU不够，是大家买了太多GPU然后浪费掉了。

Anjney Midha投过Anthropic和Mistral，现在是算力调度公司AMP的创始人。他在一次闭门分享里甩出了一组行业内不太愿意公开的数字——GPT-3训练时的GPU利用率只有21%，Google的Gopher是32%，PaLM做到了46%，目前业内最好水平也就60%到70%之间。xAI更夸张，利用率不到10%。

Google内部曾经有一条铁律：节点分配率低于95%就算事故。今天大多数单租户集群离这个标准差得很远。换句话说，大厂花了几十亿美金建的GPU集群，有三分之一到一半的时间在空转。

这不是算力不够的问题，是算力调度的问题。

Midha创办的AMP想做算力领域的ISO——独立系统运营商。美国电力系统有一个叫PJM Interconnect的组织，负责协调13个州的电力调度，让发电厂和用电方高效匹配。AMP的模型跟这个一样：多云、多芯片架构，不做全栈整合，只做中间的调度层。基础负载保证1.2吉瓦，弹性峰值容量6吉瓦，四年内达成。它把前沿实验室的需求和基础设施供应商的资源池化，让利用率比各家自建集群高得多。

核心机制是一套"可中断需求系统"，用信用积分做动态优先级排序。这套东西Midha在Google内部就实现过，现在拿出来做成一家公司。

讲算力调度之外，Midha更让人记住的是他对Anthropic的复盘。

他是Anthropic的早期投资人和董事会成员。有人问他Anthropic怎么在编程能力上突然领先的，他引用了寄宿学校老师的一句话："运气偏爱有准备的头脑。"

他的解释很简单——Anthropic从第一天起就把编程定为P0，最高优先级，不是P1不是P2。四年时间里预算有限，反而逼出了极致效率。团队做了一个关键决定：全部标准化到Transformer架构，不在多种架构之间分散投入。这个约束看起来保守，实际上让迭代速度比竞争对手快得多。

另一个差异是文化。Midha引用了Ben Horowitz的定义——"文化不是信念，是行动。"Anthropic的安全使命从创立第一天就是真信，不是公关策略。这意味着他们在招人和融资最困难的时候反复说"不"，拒绝了很多短期利益。

他还直接批评了DeepMind的做法：任何被认为有商业价值的研究论文，内部会延迟六个月才公开发表。结果就是逆向选择——公开发表的论文反而是DeepMind内部觉得"没什么商业价值"的那些。他把这定义为市场失灵。研究本身是公共品，囤积研究对整个AI生态系统造成了负外部性。当最好的研究被锁在公司围墙里，整个行业的创新速度都会被拖慢。

Midha在斯坦福教一门课，请过Sam Altman、Satya Nadella、Jensen Huang、Ben Horowitz来讲。他自己最喜欢讲的一个观点，和所有人都不一样——早期团队拿到太多钱反而危险，因为匮乏才能逼出使命的清晰度。

他是在印度Chennai长大的，在寄宿学校过极简生活，后来拿奖学金去新加坡读书，住拥挤宿舍。这些经历让他把钱看成实现使命的资源，而不是衡量成功的标准。他引用了Goodhart定律：当一个指标变成目标，它就不再是好指标。

回到AI行业，硅谷同时存在两种人：传教士和雇佣兵。传教士做长期的事，雇佣兵优化资本回报。Anthropic的四年苦日子恰恰练出了传教士文化。那些早期拿到大量融资的团队，文化往往"脆弱易碎"。

Midha还提到了MatX作为非英伟达芯片公司的正面案例。MatX的聪明之处在于直接采用英伟达的数据中心参考架构尺寸，不在基础设施设计上另起炉灶，把所有精力集中在逻辑芯片层面的系统协同设计上。这个策略的前提是信任边界——芯片团队需要提前两年以上看到模型架构的发展方向，因为芯片流片周期就是这么长，才能做好协同设计。

算力市场正在从"买GPU"变成"买算力服务"。SF Compute正在推动的标准化算力期货合约，和AMP的开放协议愿景方向一致。而Midha那个60亿瓦的赌局——把算力变成像电网一样可以调度的公共资源——才刚刚开始。

他讲过一个细节。AMP早期融资时，投资人最常问的问题是："你们跟英伟达什么关系？"他的回答是："我们不买GPU，我们调度GPU。就像一个电网调度公司不需要自己发电一样。"大多数投资人听不太懂，但他还是拿到了钱。