传统的控制回路太粗暴，模型只能在预训练结束后根据下游表现去盲目调整训练配方。
卡内基梅隆大学（CMU）为此提出了 V-pretraining（基于下游反馈的价值预训练）新机制。
该机制将训练解耦为两个角色：负责学习的基座模型（Learner）和负责出题的任务设计者（Task Designer）。
基座模型（Learner）不直接接触下游监督梯度，它只通过纯粹的自监督损失进行更新。
任务设计者（Task Designer）利用极少量的下游任务数据作为反馈，通过计算梯度内积，动态学习如何构建“含金量更高”的自监督任务。
在语言模型上，设计者把死板的 One-hot 下一个词预测变成了自适应的 Top-K 软标签（Soft Targets）任务。
在视觉模型上，设计者根据下游反馈动态调整 DINO 风格的图像裁剪、掩码和视图增强策略。
实验效果显著，仅用 1024 个 GSM8K 样本作为设计者反馈，Qwen2.5-0.5B 的数学能力从 22.20 直接飙升至 29.60。
视觉模型（DINOv3-ViT-L）在下游分割和深度估计任务上同样表现更好，且通用的图像表征能力没有发生崩溃。
多组消融实验（去污染、随机反馈等）证明，性能提升确实来自下游价值信号的对齐，而非单纯的标签平滑或数据泄露。
文章最终的观点是预训练不该只是卷规模，更要学会“去预测什么”（Learn what to predict），这才是更彻底的 Bitter Lesson。
感兴趣的童鞋可以搜标题去官博看全网哈~
