2016年，Google TPU核心架构师Jonathan Ross悄悄递了辞呈。他要去干一件整个半导体圈都觉得反常识的事——彻底抛弃AI芯片标配的HBM（高带宽内存），只用SRAM（静态随机存储器）。彼时所有人在往HBM堆带宽，没人理解他为什么非要逆着走。

Jonathan在Google待了七年，亲手做出TPU v1。但他比谁都清楚，GPU和TPU本质是在同一套范式里修修补补——计算单元和内存之间的“搬运工”太累了，HBM再快，也架不住大模型推理时数据来回折腾产生的延迟抖动。他想要的是确定性延迟：每一个token的生成时间，必须像节拍器一样固定。这在当时不是需求，是执念。

2016年底，Groq在湾区成立。A轮融资由Social Capital领投，投决会上最常被问的问题不是“芯片能跑多快”，而是“你没有HBM，带宽怎么跟英伟达比？”Jonathan的回答在PPT上只有一行字：软件定义硬件编译，把调度权从硬件交给编译器。 投资人面面相觑——那意味着编译器一旦出错，整颗芯片就是废铁。几乎所有人都觉得这比做晶圆级还离谱，毕竟后者好歹是在物理层面堆面积，Groq是在赌编译器能精准到时钟周期。

投的时候Groq连流片计划都没有，只有一套仿真环境和厚达三百页的编译器白皮书。早期员工回忆，2017到2019年公司最像的其实不是芯片公司，而是软件外包团队——每天调编译器，调时序，调指令排期。那时候硅谷AI芯片赛道资金汹涌，Graphcore拿了微软的钱，其他初创流片虽延期但总有新数据出来，只有Groq几乎静默。内部曾有个玩笑：“我们要是把编译器代码打印出来，厚度比晶圆还高。”

真正难的不是SRAM堆叠，而是存储墙的软件解法。HBM容量大但延迟不可控，SRAM快但容量极小，这意味着所有计算必须像精密钟表一样提前排好，数据只在需要的那一瞬间出现在需要的位置。编译器团队一度崩溃——传统编译器优化的是吞吐，Groq要优化的是时间的确定性。2018年他们第一版硬件回来，跑矩阵乘法没问题，一跑循环神经网络直接乱序，延迟波动比GPU还差。那一年投资人账面浮亏，董事会里有人提议换CEO。

转机出现在2020年底。GPT-3发布后，大客户突然发现一件事：训练时可以忍受GPU的随机延迟，但推理不行。尤其是实时交互场景，用户不会管你算力多大，只在意回复速度稳不稳定。Groq的LPU（语言处理单元）在实验室里跑出了让所有人闭嘴的数据——batch size 1时延迟只有GPU的十分之一，而且波动几乎为零。Meta第一个找上门，2024年签下大额订单用于Llama 3推理加速。紧接着多家云厂商开始测试，业内传闻OpenAI的一部分推理负载也在悄悄切换。

Jonathan Ross至今还在强调一句话，和所有做新架构芯片的人几乎同一种感慨：“芯片行业，从纸上到晶圆，十年是起步价。”Groq走了八年才等到推理窗口，而英伟达在这八年里把CUDA生态修成了护城河。但推理场景的特殊性在于，生态壁垒被大幅削弱——开发者不需要重写训练框架，只需要在推理后端挂一层调用接口。编译器重新定义硬件价值的时代，刚刚开始。

回看2016年，那一年Google内部孵化了TPU，Jonathan从Google出走做了Groq，还有另外几家“非共识”同时埋下种子。十年过去，有些活了下来，有些还在挣扎，但谁也没真正淘汰谁。Groq选择的这条路，激进在软件，保守在材料，它赌的是编译器能比硬件更聪明。

真正难的不是idea，是把编译器做到每一拍时钟都精准。良率、散热、电源、编译器，每一个都是硬骨头，而Groq把最难的那个留给了自己。 2017-2019年几乎是至暗时刻，流片一延再延，内部版本推倒重来无数次。但早期投资人一直陪，给了足够耐心。芯片真的要十年才能看到结果。

现在Groq的机会在推理，而不是训练。英伟达的CUDA生态在训练端固若金汤，但推理场景下，Groq的架构优势开始显现——低延迟、高吞吐、确定性响应，这些正是大模型落地的命门。十年前大家就担心不能只依赖英伟达，结果英伟达还是成了事实垄断。但现在推理需求爆发，反而给了异构芯片新窗口。

很多事情早早被看到，但真正落地要等十年。 Groq的故事，只是其中一个缩影。而现在，风刚刚开始刮。