Gemini 4 Carbon 最新评测出来了,比 Argon 提升挺明显,顺便也拉上 Claude 一起对比看看。
这回主要看 Google 新版 Carbon,把它跟 Argon 以及 Claude Fable 5.2、Opus 5.5 一起放进我司的 OpenResty Coding Evals(写新代码)和 Bug-Hunting Evals(修困难 bug)两套私有评测里,比质量评分和平均用时。下面这些数字都以那组六配置对照图为准,跟上一篇 Fable 新旧版对比是分开看的。
1)Carbon 对比 Argon,两项评分都涨了,但也都更花时间。
同样 high 档,写新代码从 62.6% 升到 82.6%,多了 20 个百分点;修 bug 从 82.0% 升到 87.5%,多了 5.5 个百分点。平均用时分别从 14.5、36.3 分钟增加到 18.8、49.3 分钟,差不多多花 30% 和 36% 的时间。
至少在我们这轮任务里,Carbon 的进步还是相当明显的,尤其写新代码这块。不过提升归提升,等的时间也确实变长了。
2)跟 Claude 比,Opus 5.5 xhigh 的质量和用时组合依然很能打。
Opus xhigh 写新代码是 86.8%、14.3 分钟,修 bug 是 88.1%、43.7 分钟,两项评分都比 Carbon 高,用时还更短。Carbon 修 bug 的评分已经挺接近它了,写新代码还差一些。Fable 5.2 xhigh 两项评分也都高于 Carbon,但用时更长。
3)Fable 5.2 max 写代码分数很高,修 bug 则被超时拖累。
Fable 5.2 max 写新代码拿到本组最高的 91.6%,平均用时 76.2 分钟;修 bug 评分 79.9%,主要是超时把分数拉低了,任务平均耗时至少 116.1 分钟。它的 xhigh 分别是 87.2%、28.6 分钟,以及 90.6%、74.8 分钟。修 bug 评分跟 Opus max 的 90.6% 一样,用时也几乎相同(Opus max 是 75.0 分钟)。
这次 Carbon 比 Argon 前进了一大步,Claude 的不同档位也各有取舍。新模型和更高推理强度到底能换来多少质量提升、又要多等多久,还是得拿自己的任务来验证呀



