英伟达收购了Groq之后，在这次GTC大会上推出了推理专用加速器LPU。咱们来看下这个LPU的特点：1、SRAM-based内存架构。主要是不用HBM了，改用片上SRAM，带宽高延迟快。2、确定性执行机制。主要是消除了core计算等待的时间，流水线效率大幅提升。3、因为SRAM功耗低，所以能耗比也高。 但是LPU主要是内存容量小，所以不能都靠它来做推理，只能把一部分推理任务（decode）给它，这样速度快的效果就发挥出来了。在prefill的阶段还是要用GPU。英伟达的混合架构就是GPU和LPU混用。这样就不需要大量堆LPU了，也用不起啊。这个思路，华为之前已经设计了。26年华为主要是分型号推的两个AI芯片产品，950PR和950DT，分别做prefill和decode。