[AI]《Permission Denied: Policy-Graded Evaluation of Coding Agents in Hardened Environments》D Davidovich, Y Amar, H Rozencwajg, O Hiltch [Accomplish AI] (2026)

在编程智能体领域，其在真实企业环境下的性能是个悬而未决的难题。过去的方法受困于在无限制的沙盒中测试，本质原因是忽略了安全策略（如权限、网络访问）的现实约束，导致评测榜单失真。

本文的核心洞见是：把安全策略从“固定背景”重新看作“可调变量”。由此，通过在评测中逐级施加并强制执行从宽到严的真实安全限制，并测量它如何改变各模型的成功率-成本曲线，这一关键操作使问题得以解开。

这项工作真正留下的遗产是“策略相关的性能评估”这一新范式。它为后来者打开的新门是，能为特定安全环境选择最具性价比的模型，而非盲从通用榜单。但尚未跨过的门槛是，智能体仍无法主动感知策略并调整行为，只会被动碰壁。

arxiv.org/abs/2608.02670 机器学习 人工智能 论文 AI创造营