[AI]《AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning》Z Wang, Z Lu, Z Yao, J Wu… [Tsinghua University & Zhejiang University] (2026)

在智能体强化学习领域，信誉分配是一个悬而未决的难题。过去的方法受困于将最终成败奖励无差别地施加于每一步，本质原因是无法从漫长交互中识别出那几个真正扭转局面的关键决策。

本文的核心洞见是：把一个决策的功劳重新看作它对“最终能成功”这一信念的修正幅度。由此，将局部信号聚合为回合级证据，并用其递归更新对成功概率的信念，这一关键操作使问题得以解开。

这项工作真正留下的遗产是：一套无需额外评判器，就能将稀疏结果转化为动态过程功劳的机制。它为后来者打开的新门是精准强化长时程任务中的关键时刻，但尚未跨过的门槛是其效果上限受制于自蒸馏信号的质量。

arxiv.org/abs/2608.05987 机器学习 人工智能 论文 AI创造营