DC娱乐网

算力芯片随笔——关于Taalas极致定制芯片的17000token/s推理时代算

算力芯片随笔——关于Taalas极致定制芯片的17000token/s推理时代算力多元化-存算是最强方向方案本质:本质也是存算,只不过在计算里面做存储,参数和权重直接做成乘法器不需要HBM效率和速度全面提升,缺点是极致定制模型稍微升级芯片就得硬件更新;结论:芯片多元化是确定性趋势,Taalas只是一种路径不用太在意,本质是商业性价比,短期不具备商业价值;1)本质是商业性价比优势,单一场景市场(GPU使用成本-定制芯片使用成本)>芯片制造+切换成本,目前一款芯片综合切换和制造成本30亿+,短期规模普及概率较低;2)模型推理架构依然快速变化,导致硬件更新过于频繁成本,要等模型相对稳定新技术方案才会有商业探索可能;3)28年将是推理新技术方案规模化核心年份;投资:AI降本是长期命题、存算是产业确定性趋势、推理崛起带动算力多元化