[CL]《Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference》S Lee, S McLeish, T Goldstein, G Fanti [CMU & University of Maryland] (2026)

在长上下文推理领域，注意力缓存是一个悬而未决的难题。过去的方法受困于压缩记忆，本质原因是信息被存下了，却没有足够计算把它整理成可推理状态。

本文的核心洞见是：把“睡眠”重新看作离线记忆加工。由此，在清空 KV 缓存前多次回放上下文并更新 SSM 快权重，使被驱逐的信息能支撑之后的单次预测。

这项工作真正留下的遗产是把额外计算从回答时移到记忆形成时。它为后来者打开的新门是低延迟长程推理，但尚未跨过的门槛是训练串行变慢、稳定性差与更大模型验证。

arxiv.org/abs/2605.26099 机器学习 人工智能 论文 AI创造营