字节跳动内部严禁蒸馏开源模型,这事我觉得没毛病,而且是对的长期主义。
蒸馏开源模型,短期看确实省时间、省成本,甚至还能快速追上能力。但长期看,最容易失去的是自己的技术判断、训练体系和创新能力。
真正想做基础模型,就不能一直站在别人的答案上微调。
捷径能跑得快,但很难跑得远。愿意把底层能力一点点啃下来,才有机会真正建立自己的护城河,对吧?

字节跳动内部严禁蒸馏开源模型,这事我觉得没毛病,而且是对的长期主义。
蒸馏开源模型,短期看确实省时间、省成本,甚至还能快速追上能力。但长期看,最容易失去的是自己的技术判断、训练体系和创新能力。
真正想做基础模型,就不能一直站在别人的答案上微调。
捷径能跑得快,但很难跑得远。愿意把底层能力一点点啃下来,才有机会真正建立自己的护城河,对吧?
