2025年是大语言模型（LLM）取得强劲且充满事件的进步的一年。以下列出了我个人认为值得关注且略显意外的"范式转变"——这些事情改变了整个格局，在概念上让我印象深刻。 01 基于可验证奖励的强化学习（RLVR） 2025年初，所有实验室的LLM生产技术栈大致如下： 1. 预训练（2020年左右的GPT-2/3） 2. 监督微调（2022年左右的InstructGPT）以及 3. 基于人类反馈的强化学习（RLHF，2022年左右） 这是训练生产级LLM的稳定且经过验证的配方，持续了一段时间。在2025年，基于可验证奖励的强化学习（RLVR）成为事实上的新主要阶段，被加入到这个组合中。通过在多个环境中针对自动可验证的奖励训练LLM（例如数学/编码谜题），LLM自发地发展出在人类看来像是"推理"的策略——它们学会将问题解决分解为中间计算步骤，并学习多种来回思考的问题解决策略（参见DeepSeek R1论文中的例子）。这些策略在之前的范式中很难实现，因为不清楚对LLM来说最优的推理轨迹和恢复策略是什么样的——它必须通过针对奖励的优化来找到适合自己的方法。 与SFT和RLHF阶段不同（它们在计算上都是相对较薄/较短的阶段，只是轻微的微调），RLVR涉及针对客观（不可操纵）奖励函数的训练，这允许进行更长时间的优化。运行RLVR事实证明提供了高性价比的能力提升，吞噬了原本用于预训练的算力。因此，2025年的大部分能力进步都是由LLM实验室消化这个新阶段的余量所定义的，总体而言我们看到了大小相似的LLM，但RL运行时间更长。这个新阶段还有一个独特之处，我们获得了一个全新的旋钮（以及相关的扩展定律），通过生成更长的推理轨迹和增加"思考时间"来控制测试时计算的能力。OpenAI的o1（2024年末）是第一个RLVR模型的演示，但o3的发布（2025年初）是明显的拐点，你可以直观地感受到差异。 02 幽灵 vs. 动物 / 参差不齐的智能 2025年是我（我认为整个行业也是）第一次开始以更直观的方式内化LLM智能"形态"的一年。我们不是在"进化/培养动物"，我们是在"召唤幽灵"。LLM技术栈的一切都不同（神经架构、训练数据、训练算法，尤其是优化压力），所以我们在智能空间中获得了非常不同的实体也就不足为奇了，用动物的视角来思考它们是不合适的。从监督位的角度来说，人类神经网络是为了在丛林中部落的生存而优化的，但LLM神经网络是为了模仿人类的文本、在数学谜题中收集奖励以及在LM Arena上获得人类的赞成票而优化的。随着可验证领域允许RLVR，LLM在这些领域附近的能力出现"尖峰"，整体表现出令人惊讶的参差不齐的性能特征——它们同时是天才博学家和困惑的、认知受挑战的小学生，随时可能被越狱攻击诱骗泄露你的数据。 （人类智能：蓝色，AI智能：红色。我喜欢这个版本的meme（很抱歉我丢失了它在X上的原始帖子的引用），因为它指出人类智能也以其自己不同的方式参差不齐。） 与这一切相关的是我在2025年对基准测试的普遍冷漠和信任丧失。核心问题是基准测试几乎从构造上就是可验证的环境，因此立即容易受到RLVR及其通过合成数据生成的较弱形式的影响。在典型的基准最大化过程中，LLM实验室的团队不可避免地构建了邻近基准测试占据的嵌入空间小口袋的环境，并发展出参差不齐的尖峰来覆盖它们。在测试集上训练是一种新的艺术形式。 粉碎所有基准但仍然得不到AGI看起来像什么？ 我在这个话题上写了更多内容： 动物 vs. 幽灵可验证性心智空间03 Cursor / LLM应用的新层次 我发现Cursor最值得注意的地方（除了它今年的迅猛崛起）是它令人信服地揭示了"LLM应用"的新层次——人们开始谈论"X的Cursor"。正如我在今年的Y Combinator演讲中强调的，像Cursor这样的LLM应用为特定垂直领域打包和编排LLM调用： 1. 它们进行"上下文工程" 2. 它们在幕后编排多个LLM调用，串联成越来越复杂的DAG，仔细平衡性能和成本权衡 3. 它们为人类参与者提供特定应用的GUI 4. 它们提供"自主性滑块" 2025年在这个新应用层有多"厚"上花费了大量讨论。LLM实验室会占领所有应用吗，还是LLM应用有绿色牧场？我个人认为LLM实验室将倾向于培养出能力全面的大学生，但LLM应用将通过提供私有数据、传感器、执行器和反馈循环，在特定垂直领域组织、微调并真正激活他们成为部署的专业人员团队。 04 Claude Code / 生活在你电脑上的AI Claude Code（CC）作为LLM代理看起来像什么的第一个令人信服的演示出现了——它以循环的方式将工具使用和推理串联起来进行扩展的问题解决。此外，CC对我来说值得注意的是它在你的计算机上运行，使用你的私有环境、数据和上下文。我认为OpenAI在这方面犯了错误，因为他们将早期的codex/代理工作重点放在从ChatGPT编排的容器中的云部署上，而不是简单的localhost。虽然在云中运行的代理群感觉像是"AGI终局"，但我们生活在一个能力参差不齐的中间且缓慢起飞的世界中，在开发者的计算机上直接运行代理更有意义。请注意，重要的主要区别不在于"AI操作"恰好在哪里运行（在云中、本地或其他），而在于其他一切——已经存在并启动的计算机、它的安装、上下文、数据、机密、配置以及低延迟交互。Anthropic正确把握了这个优先顺序，并将CC打包成一个令人愉快的、最小化的CLI形态，改变了AI的样子——它不只是一个你像Google一样访问的网站，它是一个"生活"在你计算机上的小精灵/幽灵。这是与AI交互的一种新的、独特的范式。 05 Vibe编程 2025年是AI跨越了必要能力阈值的一年，可以简单地通过英语构建各种令人印象深刻的程序，甚至忘记代码的存在。有趣的是，我在这条思绪涌动的推文中创造了"vibe编程"这个术语，完全没意识到它会走多远:)。通过vibe编程，编程不再严格保留给训练有素的专业人士，它是任何人都可以做的事情。在这方面，这是我在《赋权于民：LLM如何翻转技术扩散的剧本》中写到的又一个例子，关于（与迄今为止所有其他技术形成鲜明对比的）普通人从LLM中受益远超专业人士、企业和政府。但vibe编程不仅赋予普通人接近编程的能力，它还赋予训练有素的专业人士编写更多原本永远不会被编写的（vibe编码的）软件。在nanochat中，我用Rust vibe编码了自己定制的高效BPE分词器，而不必采用现有库或在那个级别学习Rust。今年我vibe编码了许多项目，作为我想要存在的东西的快速应用演示（例如参见Vibe coding MenuGen | karpathy、GitHub - karpathy/llm-council: LLM Council works together to answer your hardest questions、GitHub - karpathy/reader3: Quick illustration of how one can easily read books together with LLMs. It's great and I highly recommend it.、GitHub - karpathy/hn-time-capsule: Analyzing Hacker News discussions from a decade ago in hindsight with LLMs）。我还vibe编码了整个临时应用程序，只是为了找到一个单一的bug，因为为什么不呢——代码突然变得免费、短暂、可塑、使用一次后可丢弃。Vibe编程将改造软件并改变职位描述。 06 Nano banana / LLM图形界面 Google Gemini Nano banana是2025年最令人难以置信的、改变范式的模型之一。在我的世界观中，LLM是下一个主要的计算范式，类似于1970年代、80年代等的计算机。因此，我们将看到出于根本相似的原因而产生的类似创新。我们将看到个人计算的等价物、微控制器（认知核心）或互联网（代理的）等等。特别是，在UI/UX方面，与LLM"聊天"有点像在1980年代向计算机控制台发出命令。文本是计算机（和LLM）的原始/青睐的数据表示，但它不是人们青睐的格式，尤其是在输入端。人们实际上不喜欢阅读文本——这既缓慢又费力。相反，人们喜欢以视觉和空间方式消费信息，这就是为什么在传统计算中发明了GUI。同样，LLM应该用我们青睐的格式与我们交谈——通过图像、信息图表、幻灯片、白板、动画/视频、网络应用等。这方面的早期和当前版本当然是表情符号和Markdown之类的东西，它们是用标题、粗体、斜体、列表、表格等"装扮"和布局文本的方式，以便更容易地视觉消费。但谁实际上会构建LLM GUI？在这个世界观中，nano banana是它可能看起来像什么的第一个早期提示。重要的是，它的一个值得注意的方面是，这不仅仅是关于图像生成本身，而是关于来自文本生成、图像生成和世界知识的联合能力，所有这些都纠缠在模型权重中。 07 总结 TLDR：2025年是LLM令人兴奋且略显意外的一年。LLM正在作为一种新型智能出现，同时比我预期的要聪明得多，也比我预期的要愚蠢得多。无论如何，它们非常有用，我认为即使在目前的能力水平下，该行业也没有意识到其潜力的10%。与此同时，有这么多想法可以尝试，从概念上讲，这个领域感觉非常开放。