[CL]《Verbalized Algorithms》S Lall, C Farrell, H Pathanjaly, M Pavic... [MIT CSAIL & Marist University & UC Irvine] (2025)
Verbalized Algorithms（VAs）提出了一种结合经典算法理论与大语言模型（LLM）能力的创新推理范式，极大提升了LLM在排序与聚类等复杂推理任务中的准确性与效率。
• VAs通过将复杂任务拆解为对自然语言字符串的简单原子操作（如二元比较），利用LLM作为“二元比较oracle”，嵌入传统算法流程（如Bitonic排序网络），保留算法理论保证。
• 与形式化方法相比，VAs避免了对复杂符号语言的严格语法依赖及翻译误差，增强了鲁棒性与实用性。
• 在排序任务中，VAs结合Bitonic排序和Powersort算法，使用少量LLM模型调用实现高准确率（Kendall-Tau分数最高达0.58），且即使小型模型（1.7B参数）也超过了传统基线的大型模型表现。
• 通过并行化比较（Bitonic网络），VAs显著缩短排序时间，且鲁棒版本通过多次投票减少LLM单次错误影响，理论上保证结果正确性。
• 聚类任务中，VAs基于t-STE方法通过三元组比较查询LLM，实现了语义敏感且具备强泛化能力的嵌入表示，在含语义和OOD任务上超越传统Jaccard距离和Sentence Transformer基线。
• 论文还探讨了未来方向，如扩展至子模最大化、组合推理和多目标选择等，强调了将经典算法与LLM灵活结合的巨大潜力。
心得：
1. 限制LLM任务范围至简单可靠操作，结合成熟算法设计，是提升推理准确性与稳定性的关键途径。
2. 经典算法的理论成果为LLM推理提供了坚实的框架支持，避免了盲目依赖模型“推理能力”的不确定性。
3. 并行化与投票机制等传统算法优化技巧，能有效缓解LLM调用次数多带来的性能瓶颈，兼顾效率与精度。
详见🔗arxiv.org/abs/2509.08150
大语言模型算法排序聚类人工智能机器学习
