DC娱乐网

字节跳动内部严禁蒸馏开源模型 蒸馏,本质是用一个“学生模型”去学习另一个“教师模

字节跳动内部严禁蒸馏开源模型

蒸馏,本质是用一个“学生模型”去学习另一个“教师模型”的输出,从而复制其能力。就是拿竞争对手开源模型的输出结果来训练自家模型,而非从零自研。

优势很明显:①效率高——站在巨人肩膀上,快速缩小差距②成本低——省去海量算力和数据投入③见效快——短期就能提升榜单排名和产品体验④门槛低——中小团队也能借此获得接近顶级的能力

但劣势同样致命:①天花板受限——学生模型很难超越教师模型,本质是模仿不是超越②缺乏原创突破——长期依赖蒸馏会丧失底层创新能力③同质化严重——大家都蒸馏同一批模型,产品趋同难以差异化④版权合规风险——部分开源协议明确禁止将输出用于训练⑤黑箱继承——教师模型的偏见、错误、幻觉也会被一并“复制”

字节的张一鸣态度很明确:蒸馏能换来短期排名,但换不来真正的技术壁垒。愿意牺牲短期收益去坚持自研,是延迟满足,也是长期主义。

这也是当下AI行业最核心的路线之争:效率优先 vs 原创优先。快车道好走,但天花板肉眼可见。志在引领的公司,自研虽然更慢更贵,却是通往技术领先的核心路径。

智驾也是这样,一种方法好,大家都去做,做重复造轮子的事情,短期能一下子拉齐体验,上限却是一眼就看到了头字节跳动坚持自研大语言模型张一鸣就AI大模型竞争发声