[CL]《Skaling: Chinchilla's Exponents Meet Kaplan's Coupling》M Videau, B Youbi-Idrissi, D Lopez-Paz, K Ahuja [FAIR at Meta] (2026)

在神经网络缩放定律领域，准确预测模型性能是一个悬而未决的难题。过去的方法受困于 Chinchilla 定律的预测偏差，在数据极多或极少时尤其严重，本质原因是它将模型与数据的影响视为两个可简单相加的独立项。

本文的核心洞见是：把模型与数据对损失的贡献从“独立项之和”重新看作“耦合系统”。由此，在缩放公式中引入一个单一的“交互指数”来捕捉二者的协同效应，这一关键操作使预测偏差问题得以解开。

这项工作真正留下的遗产是一种资源高效的缩放定律研究范式。它为后来者打开的新门是：仅用少量低成本实验（“L型”采样）即可精确指导万亿参数模型的训练预算分配。但尚未跨过的门槛是，现实中模型与数据的耦合关系可能比单一指数所能描述的更为复杂。

arxiv.org/abs/2608.07222 机器学习 人工智能 论文 AI创造营