DC娱乐网

SGLang Day0 支持 Ling-3.0-Flash Ling-3.0-f

SGLang Day0 支持 Ling-3.0-Flash
Ling-3.0-flash 是 蚂蚁百灵团队 开源的 124B MoE 模型
总参数 124B,但每次只激活 5.1B,专门为生产级 Agent 设计

核心亮点:
☑️ 架构从预训练的第一天开始就是混合注意力设计 KDA 和 MLA 按 5:1 交替堆叠,只激活 1/64 的参数
☑️ 用了 1w+ 真实交互场景数据,覆盖编程,通用任务,深度研究 agent等场景
☑️ 模型原生集成 SGLang HiCache + Mooncake 分层缓存架构,在长周期交互中消除冗余重计算,在长输入场景下将首 token 延迟(TTFT)降低 60% 至 80% 以上,agent 跑久了也不会越来越慢
☑️ 硬件支持:INT4 和 MXFP4 版本,一台 NVIDIA DGX Spark 就能跑

快快通过图2️⃣的 launch command 跑起来吧!🚀

sglang ling