康奈尔大学与哈佛大学的研究团队认为，这两个目标可能存在梯度竞争——“马上猜什么”和“未来记什么”未必适合共享同一条计算流。
团队提出状态—预测分离假设（State-Prediction Separation，SPS），并据此改造 Transformer：
- 在每个输入 token 后插入一个可学习的 token；
- 输入流负责生成长期保留的状态，并写入持久 KV Cache；
- 预测流专门输出下一个 token，只在短滑动窗口内保留；
- 两个位置共享参数和位置编码，但通过注意力掩码承担不同职责。
这种设计不是简单增加计算。
论文设置了 2x Memory 和 Delayed State 两个对照：前者拥有双倍缓存，后者同样增加一次计算，但都没有真正分离预测与状态。SPS 在各个模型规模上仍然表现更好，说明收益主要来自角色分工。
团队在 FineWeb-Edu 上训练了 5300 万至 16.78 亿参数的模型。
SPS 在全部规模上都取得更低的验证损失，达到标准 Transformer 同等质量大约只需一半训练数据；在五项零样本任务上的平均准确率提高约 2–3 个百分点，同时保持相同量级的持久 KV Cache 和接近标准模型的推理吞吐。
但它的代价也很明确，训练序列因为插入 而翻倍，每步训练计算量约为标准 Transformer 的两倍。‘
区别于 LSTM 通过门控递归压缩历史，SPS 通过双 token 流和注意力掩码分离状态与预测，同时保留 Transformer 对历史位置的直接访问能力。
适合做 LLM 预训练、KV Cache、模型架构和训练效率研究的研究者关注看看~ 论文已上传，需要的童鞋自取哈~ 👇🏻
