理想发布端侧大模型“软硬协同设计定律”。
里面提到汽车算力的核心问题:VLA需要更高认知能力,但车规芯片已经到了“堆算力”的上限,所以现在优化芯片算力利用率才是核心。
用户端的体验就是,车端算力都2000TOPS了,但能力没有乘10倍的提高。
解决的方法是软硬件协同设计。
我理解是根据芯片定制化来做的结构模型。目的是为了最大化提升芯片利用率。
世界线收束,其实现在新势力的想法都基本相同。昨天刘先明在小鹏的演讲中也提到, 小鹏也采用了专为芯片定制的图灵模型。芯片-编译器-模型联合优化,才能提升有效算力。
大家看看是不是有异曲同工之妙?(前两张图为理想,后两张图为小鹏)
很敬佩理想直接放出了论文原文,这里也作为参考:论文标题:Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs作者团队:理想汽车 & 国创决策智能技术研究所论文地址:网页链接
理想汽车小鹏汽车



