Kimi 最新的模型 K3.1 Pro,官方主动把它的攻击能力削掉了一截。可到了第三方安全榜上,它还是所有开源模型里的第一。
削了能力,反而拿了第一。两件事都落在 K3.1 Pro 身上。
7 月那次评估,是这次动手的原因今年 7 月,英国人工智能安全研究所(AISI)和美国人工智能标准与创新中心(CAISI)联合评估了上一代 Kimi K3。
进攻这一项,K3 很弱。漏洞开发测试 ExploitBench 只拿 32%,美国前沿模型平均 76.2%。41 个任意代码执行样本,它一个都没跑通。模拟 32 步的企业网络攻击,人类专家平均 20 小时走完,K3 走到第 17 步就卡住了。
防护这一项,也不好看。同一份评估写明,K3 的安全防护「没能拦住它尝试漏洞开发和攻击性网络操作」。测试里,K3 这个模型甚至从沙盒逃了出去,连上了真实互联网。
攻不进,也拦不住。当时一起被测的模型里,K3 是唯一能公开下载的。
所以这次从训练数据里动手月之暗面在官方技术博客里单独写了一节,讲清这件事的来龙去脉。
他们发现,后训练规模变大,模型的漏洞研究能力也跟着涨。追来源,一部分网络攻防内容混在中期训练的语料里,另一部分以任务形式混在强化学习的环境里。这是用宽数据训练的必然副产品。
图1、官方博客网络安全一节的原文
内部做过对照,中期训练和强化学习两个阶段都不做清理,下游网络能力会明显涨上去。所以在开放权重之前,两个阶段的数据都做了识别和移除,同时保住通用编程任务,模型还得能用。
为什么不只靠运行时的安全限制。权重一旦放出去,别人可以改模型,绕开限制。想把能力真正管住,只能回到训练阶段,把能力本身拿掉。
削掉多少,官方自己给了对照表官方内部基准叫 xdev-bench-hard,题目从 Linux 内核,Node.js,JavaScriptCore,Exim 和 VirGL 这些项目最近披露的漏洞重建而来。智能体要写出可用的利用程序,在独立沙箱里拿到任意代码执行,再取出一段密钥。
图2、官方内部漏洞利用基准对照表
没做削减的检查点,pass@3 解决 90.5%。最终发布的 K3.1 Pro 是 81.0%,上一代 K3 是 33.3%。
三个数字放一起,能看出削的是什么。削掉的不是存量,是增量。81.0 仍比 K3 的 33.3 高出一倍多。模型整体变强了,攻击能力只是没涨到它本可以到的地方。
同一张表还有别人。GPT-5.6 Sol 在这项上拿 100%,不过是第三方跑的分。DeepSeek-V4.1-Flash 85.7%,GLM-5.3 57.1%。官方自己在博文里写,K3.1 Pro 的进攻性网络能力仍落后于前沿闭源模型。
那「开源第一」是怎么来的第三方评测机构 Artificial Analysis 有一套网络能力指数,K3.1 Pro 拿了 64%。上一代 K3 是 41%,涨了 23 个百分点。
图3、AA 网络能力指数榜单
排在它前面的只有一个,GPT-6 Sol 的 Daybreak Blue 配置,69%。榜单给这个模型标了「可信访问,不对公众开放」。
所以「开源模型里第一」这句话站得住。往下是 DeepSeek V4.1 Flash 1017 的 57%,Grok 4.7 的 56%。
代价也不低。这个榜单同时算单题成本,K3.1 Pro 平均 2.81 美元一题,DeepSeek 那个是 0.42 美元,前者是后者的 6.7 倍。
两个指数测的不是同一件事一个被削弱的模型,怎么还能在安全榜上第一。答案在 Artificial Analysis 自己的常见问题里。
图4、AA 官方说明只测防守能力
有人问,这个指数测不测攻击能力。回答只有一句,不测。它只衡量防守工作。
后面还补了一段,模型从源码出发,像一个审计应用的安全工程师那样工作。评测不要求任何模型写出一条能跑的漏洞利用,实现利用本身不在范围内。
这才对上。xdev-bench-hard 要的是写利用,拿执行,取密钥,那是进攻。这个指数要的是读代码,找漏洞,复现,打补丁,那是防守。
月之暗面削的是前者,交出去的是后者。两边量的根本不是一种能力,所以两个数字能同时成立。
榜上还有一个更反常识的地方翻到分项,闭源模型在指数上的得分普遍偏低。Claude Opus 5.5 只有 29%,GPT-6 Astra 33%,Gemini 3.5 Flash 25%。
图5、各模型安全拒答比例
原因不是能力不够。Artificial Analysis 单独统计了一项「安全拒答」,就是模型或服务商以安全为由拒绝执行任务的比例。官方方法说明写明,这项单独记录,与指数分数分开报告。
Claude Opus 5.5 拒答 35.9%,GPT-6 Sol 36.4%,GPT-6 Astra 37.8%,Claude Fable 5.1 38.4%,Gemini 3.8 Flash 31.8%。两个 Qwen3.8 更高,一个 62.5%,一个 56.8%。
有安全拒答的模型,集中在 OpenAI,Anthropic,Google 和阿里 Qwen 这几家。Kimi,DeepSeek,Grok,GLM,Mistral 全是 0.0%。
最直白的是 GPT-6 Sol。同一个模型,排在总榜第一的那个可信访问配置,拒答 0.0%,指数拿 69%。公开配置排在第 13 位,拒答 36.4%,指数只有 37%,差 32 分。能力没变,变的只是能不能放开手做。
所以那个第一里,有一部分是别人被自己的安全策略挡住,没能去拿的分。
模型本身是什么水平X 上的官方发布帖给了规格。2.8 万亿总参数,1040 亿激活,MoE 结构,100 万词元上下文,多模态。
图6、Kimi 官方 X 发布帖
硬指标上,它和闭源第一梯队基本齐平。Terminal-Bench 4.0 拿 65.7%,只比 Claude Opus 5.5 的 66.4% 低一点,高于 GPT-6 Astra 的 58.2%。
价格比上一代低。官方定价页标的都是人民币,K3.1 Pro 输入每百万词元 13 元,输出 68 元,缓存命中 1.3 元。上一代 K3 输入 20 元,输出 100 元。高速版输入 26 元,输出 136 元,正好翻倍,缓存命中不变。完整权重最迟 11 月 4 日放出。
官方的两条原则,本身就有张力博客最后一段写了两条。第一条,不发布会推进网络能力绝对前沿的开放权重。第二条,计划逐步提高开放权重里可用的网络能力。
图7、官方博客里的两条开源原则
第一条是限制,第二条是放开。官方的理由是,防御方也需要这类双用途能力。模型开放,跑在用户自己掌控的基础设施上,更多团队才能审计自己维护的代码,包括那些很少接受专门安全审查的遗留系统。
这个说法能不能一直成立,取决于一个前提。开放权重的攻防水平,始终保持在闭源前沿之后。这是个相对位置,不是绝对红线。别人往前跑,这条线就跟着往前移。
11 月 4 日之后权重放出去,能力上限就不由月之暗面决定了。已经有团队公开说要拆掉 K3.1 Pro 的安全限制,之前对 GLM-5.3 干过一次。
但拆限制,加不回训练里没学过的能力。被移除的那部分攻防数据,不会因为改几行代码就回到权重里。这正是训练阶段控制的意义,它把控制点放在权重上,而不是放在运行时的护栏上。
「安全」在这里的意思是削减,不是消除。81.0 不是安全线,是一条被主动压低的天花板。
对做安全的团队,这套做法值得记下来。它给了一样可复制的模板,把控制做进训练数据,而不是运行时的拦截规则。还给出了一组公开数字,9.5 个百分点,这是把安全做进训练数据要付出的能力代价。愿意把代价写在明面上的厂商,不多。