Salesforce：装备膨胀带来智能体遗忘危机
📖标题：EVOHARNESSBENCH: Can Your Agents Keep Pace with an Evolving Harness?
🌐 2609.04280v1

🛎️文章简介
🔸研究问题：当外部提供的工具、技能和协作智能体（即“Harness”）不断扩展时，现有的LLM智能体能否在利用新能力的同时，不忘记旧任务的处理能力？
🔸主要贡献：论文提出了EVOHARNESSBENCH基准，首次系统评估智能体在外部能力库持续演变下的表现，揭示了“装备诱导遗忘”和适应性与保留性之间的冲突。

📝重点思路
🔸构建动态演变基准：不同于传统固定工具集的测试，该基准模拟真实场景中工具、技能和专家智能体随时间逐步增加的过程。通过确定性算法将现有基准转化为17个多阶段的能力流，确保每个阶段都引入新能力且保留旧能力。
🔸双模式评估体系：设立“部署评估”模式，隔离外部能力扩展对智能体的直接影响，检测是否因选项增多导致性能下降；设立“自我进化适应评估”模式，允许智能体积累经验，测试其能否利用历史知识适应新环境。
🔸多维度能力分析：分别从工具调用、技能检索和多智能体协作三个轴线进行实验，对比不同自适应方法（如基于记忆、提示词优化、代码生成）在应对能力库扩张时的有效性。

🔎分析总结
🔸存在“装备诱导遗忘”：即使模型参数不变，仅因可用工具或智能体数量增加，智能体在以前能解决的任务上性能也会下降。特别是在多智能体协作中，新增的干扰项会导致严重的委托失效。
🔸适应性收益不稳定：自我进化方法带来的提升高度依赖环境和能力类型。例如，基于记忆的方法在工具扩展中表现较好，但在技能扩展中效果有限；而在智能体扩展中，适应性能显著提升协调效率，但不同环境差异巨大。
🔸保留与适应存在权衡：旨在提高对新任务适应性的方法，往往损害了对旧任务的保留能力，反之亦然。简单的经验积累并不总能转化为有效的长期能力，有时甚至会产生负面迁移。

💡个人观点
论文指出了当前AI研究的一个盲区：我们过于关注智能体在固定环境下的极限能力，却忽视了其在动态变化环境中的稳定性。在能力库膨胀时，能够自动识别并忽略无关干扰，平衡新旧知识的权重。

LLM 大模型 agent 论文分享