[LG]《AVO: Agentic Variation Operators for Autonomous Evolutionary Search》T Chen, Z Ye, B Xu, Z Ye… [NVIDIA] (2026)

在GPU算子极限优化领域，attention kernel已被FlashAttention和cuDNN逼近硬件天花板。现有的LLM进化搜索框架（如FunSearch、AlphaEvolve）将语言模型锁定在"单次生成候选"的角色里，无法主动查阅文档、执行测试、解读报错后自我修正——在需要深度迭代调试的场景下，这道枷锁恰恰卡死了进步空间。

本文的核心洞见是：把LLM从"候选生成器"重新看作"变异算子本身"。由此，AVO让自主编码Agent直接接管进化搜索的采样、生成、评估全流程——Agent可以翻阅历史版本、查询PTX/CUDA文档、执行profiler、诊断错误、修改代码，在一次变异步骤内完成数十轮编辑-测试-反思循环。这个"把Agent升格为算子"的操作，使搜索从单次生成变成了持续的自主工程迭代。

这项工作真正留下的遗产是：首次证明自主Agent能在7天内无人介入地发现寄存器再分配、流水线重叠、无分支累积器重缩放等多层次微架构优化，在最新Blackwell GPU上超越cuDNN和FlashAttention-4。它为后来者打开的新门是：将Agent驱动的进化搜索推广至任意性能敏感的底层软件领域。但尚未跨过的门槛是：整个框架仍依赖单谱系串行进化，多种群并行探索与种群管理策略的效益尚未被验证。

arxiv.org/abs/2603.24517

机器学习 人工智能 论文 AI创造营