聆思科技市场副总裁谈AI推理芯片 在WAIC大会期间与半导体行业观察等交流的时候，聆思科技市场副总裁韩超阳首先指出，在多种应用的推动下，端侧推理注定是一个很大的市场。但和以前行业只专注于打造高算力芯片服务模型训练不一样，AI芯片也开始变了。

如韩超阳所说，终端设备天然受限于功耗、成本、散热、体积、存储空间、内存带宽和响应时延等条件。大模型进入终端后，算力供给、存储访问、算子适配、模型压缩、推理效率和能效控制，都会直接影响部署效果。因此，AI终端的竞争成为能否在有限资源条件下完成大模型高效本地推理。

在他看来，对于端侧大模型而言，芯片竞争的关键并不只是追求更高的峰值算力，过去产业习惯使用的TOPS等指标衡量芯片能力的那一套不太适合于推理时代。“在大模型推理场景中，单纯的标称算力并不能代表实际性能。真正决定芯片竞争力的，是算力能否被模型充分利用，即‘有效算力’或者说算力利用率。”韩超阳说。

究其原因，按照韩超阳所说，这是因为大模型推理过程包含Prefill（预填充）和Decode（生成）两个阶段，两者对于芯片能力的要求并不完全相同。其中，Decode阶段更加依赖内存带宽，而Prefill阶段则同时依赖计算能力和内存带宽。如果芯片只有高带宽但算力不足，或者只有高算力但无法提供足够的数据吞吐，都难以发挥大模型的实际性能。

“传统通用 NPU 虽然标称算力可能高达几百 T，但运行特定大模型算法时的实际算力利用率往往只有 30%~50%，大量算力单元处于闲置状态。”韩超阳举例说。他进一步指出，根据大模型底层原理原生设计的 NPU，能够将算力利用率提升至 70%~80%，这意味着以更低标称算力和更低成本的芯片，即可达到甚至超越高标称算力芯片的实际表现。

有见及此，韩超阳建言道，在端侧场景中，芯片设计需要在算力、带宽、功耗和成本之间找到平衡。而在在对比了多种技术路线后，聆思科技明确将“NPU+3D DRAM ”组合技术选定为端侧推理的最优解。

韩超阳表示，相比注重性能而牺牲成本的云端 LPU（SRAM方案），端侧推理对功耗与成本有更严苛的要求；来到LPDDR 和NAND方案上，则分别要面临带宽不足和速度偏慢的缺陷。“3D DRAM 凭借高密度与高带宽，成为兼顾成本、功耗与推理性能的端侧最优方案。”韩超阳说。

“与传统芯片公司‘先做好硬件再寻找算法合作伙伴’的路径截然不同，聆思科技拥有先天优势。”韩超阳告诉半导体行业观察。 （半导体行业观察）