标签: 字节跳动
字节跳动被曝训练10万亿参数模型！或成为中国规模最大的AI模型之一
字节跳动被曝训练10万亿参数模型！或成为中国规模最大的AI模型之一8月7日，据“凤凰网科技”援引“金融时报”报道，字节跳动正在训练一个参数量最高可达10万亿参数的AI大模型，目前处于预训练早期阶段。这一规模比国内已发布的最大模型月之暗面KimiK3（2.8万亿参数）还要大三倍多，接近Anthropic最先进的Mythos系统。业内估计Mythos5约8万亿参数。该模型由SeedFoundation负责人项亮主导，与大语言模型预训练数据负责人沈科合作。据“晚点LatePost”报道，字节近期已在内部讨论训练超5万亿参数模型，最终目标可能更高。不过该计划仍处于早期阶段，不保证最终发布。这一动作的背景是Seed团队在语言模型领域的追赶压力。2月发布的Seed2.0市场反响有限，同期智谱GLM-5和月之暗面KimiK3在编程能力上已明显领先。火山引擎目前是国内最大模型API卖家，但豆包大模型的token消耗中，超过一半来自视频生成模型Seedance和图片生成模型Seedream，语言模型占比不高。二季度以来，Seedance的增速放缓影响了火山MaaS的整体token增长：3月为120万亿，6月为180万亿，低于250万亿至300万亿的原定目标。负责模型研发的Seed团队目前约有2000名成员，分布在中国及海外，包括AI研究人员、基础设施工程师、数据团队以及翻译团队。近日，字节跳动创始人张一鸣与Seed负责人吴永辉共同召开全员会。张一鸣在会上表示“可以接受模型暂时落后于行业”，希望团队“追求智能上限”。他反对模型蒸馏，认为蒸馏“本质上是在复制Claude已有的能力，很难真正实现超越”。他也提醒团队：“编程只是眼下的热点之一，不应该完全被它牵着走，编程之外还有更多更大的机会。”字节此前已用“大力出奇迹”策略在视频生成模型上验证过这条路。Seedance2.0今年2月上线后，被公认为全球性能最强的视频模型之一。如今，字节想在语言模型上用同样方式赌一次弯道超车。
