【上汽通用AI原生座舱量产实践:端侧大模型落地遇现实挑战】
上汽通用披露了AI原生座舱的量产实践细节。企业已在8775芯片上成功部署1.9B参数的端侧大模型,但实测显示,受限于芯片带宽与算力,模型响应时长为3至5秒,难以支撑实时对话等高频场景,且缺乏并发处理能力。当前策略已转向异步任务处理,并规划依托更高算力的8397芯片或AI Box等平台,探索多个小参数模型协同运行的方案,以突破现有硬件瓶颈。【来自懂车帝车友圈】
【上汽通用AI原生座舱量产实践:端侧大模型落地遇现实挑战】
上汽通用披露了AI原生座舱的量产实践细节。企业已在8775芯片上成功部署1.9B参数的端侧大模型,但实测显示,受限于芯片带宽与算力,模型响应时长为3至5秒,难以支撑实时对话等高频场景,且缺乏并发处理能力。当前策略已转向异步任务处理,并规划依托更高算力的8397芯片或AI Box等平台,探索多个小参数模型协同运行的方案,以突破现有硬件瓶颈。【来自懂车帝车友圈】