前两天,混元Hy3正式版上线了
这个模型实际能力到底如何?我去翻了一下它的技术博客,还有一些来自业务端的实测反馈,收集了一些比较有意思的点。
其实两个月前,Hy3 preview刚上线的时候,在WorkBuddy的办公场景内测里,任务成功率是72%。
但两个月后的正式版,这个数字变成了90%,平均耗时缩短了34%,幻觉率叶从12.5%压到了5.4%。
而且,Hy3的参数规模并不大。总参数295B,激活参数21B,在当下主流旗舰模型里算小个子。
但它在腾讯内部270位专家的真实工作盲测中,表现已经比肩甚至超过了参数量两到三倍于它的模型。
不只内部测试,我看X上一个知名开源AI创作者Jun Song也分享了他的实测结果,他在MacBook M5 Max 128GB上跑了对比测试,结论是Hy3的表现优于Deepseek V4 Flash。
一个295B的模型,在本地设备上就能跑出这种水平,确实说明了一些问题。
1Hy3从preview到正式版,中间只隔了两个月。如果只是调调参数、刷刷榜,其实两个月做不了太多。
但Hy3这两个月干的事不太一样,preview版本上线之后,它被直接扔进了50多个真实业务场景里跑,比如WorkBuddy、元宝、ima、Marvis、微信读书、WeGame。
在真刀真枪的生产环境里,Hy3每天都会面对真实用户的各种奇怪需求。
我看到一组数据,从preview上线到现在,Hy3在WorkBuddy上的日均token消耗量涨了4倍。然后基于这些真实场景的反馈,Hy3逐项去改。
开头提到的任务成功率和幻觉率只是其中两项,它的常识错误率从25.4%降到12.7%,多轮对话的问题率从17.4%降到7.9%,平均耗时缩短了三分之一。
两个月的时间,实现了质变级的升级。
2具体到Coding场景里,有一个变化值得展开聊一下。
我跟很多做Coding Agent的朋友聊过,模型在跨脚手架场景下的表现差异特别大。
因为不同脚手架的prompt格式、工具调用方式、错误处理逻辑都不一样,模型如果只针对某一种做了优化,换个环境就容易水土不服。
Hy3这次做了一件事:就是直接把不同脚手架在SWE Bench Verified上的分数标准差控制在了4个百分点以内。
也就是说,不管你用CodeBuddy还是Cline还是KiloCode,Hy3的表现都能非常稳定,你不用再为了适配模型去选脚手架,也不用担心换个开发工具之后模型突然不好使了。
对于真正在生产环境里用Coding Agent的团队来说,这种稳定性比跑分高几个点重要得多。
3还有一个被容易被忽略的维度:token效率。
WorkBuddy的内测数据里有一组对比,同样的办公任务,Hy3和同场景下的主流大模型相比,文档处理的token消耗少了将近一半,PPT制作也省了差不多49%,差不多是用一半的资源完成同样的事。
我们可以简单算一笔账。Hy3的API定价是输入1元/百万token,输出4元/百万token,缓存命中0.25元。在同等能力水平的模型里,这个价格确实很能打。
假设你是一个创业团队的负责人,你的团队每天跑10万次Agent任务。一个模型帮你省了将近一半的token消耗,同时任务完成率还更高了,这意味着什么?
对个人用户来说可能感知没那么强,但对于B端场景和规模化部署来说,这并不是一个小数目。
token消耗降低意味着同样的预算能跑更多任务,更多任务意味着更多场景被覆盖,更多场景被覆盖意味着团队对AI的依赖加深,依赖加深又会推动更多预算投入。
token效率不只是省钱,它是撬动AI规模化落地的杠杆。
我个人判断,接下来半年,token效率和完成任务的耗时会成为模型选型里越来越重要的考量因素。谁先把这件事做好,谁就能吃到Agent规模化落地的红利。
4其实腾讯混元从今年1月底重建基础设施,到4月出preview,到7月正式版,整条链路只用了不到半年时间。
半年跑通从底层重构到产品落地的全流程,说明研发pipeline已经打通,后面再出新模型、更大参数的模型,不需要再从零开始。
Hy3是295B总参数就做到了现在这个水平,如果混元按照同样的迭代节奏推出更大规模的模型,能力曲线会怎么走?
我不想做过度预判,但从目前的迭代节奏来看,混元的进步速度确实在国产模型里属于前列。
而且腾讯有一个别人很难复制的优势:它自己就有足够多元的产品矩阵来喂养模型。WorkBuddy做办公,元宝做对话,ima做知识库,Marvis做多Agent协作,微信生态做意图理解,WeGame做游戏AI......
这种大规模真实场景的喂养和打磨,是很多模型团队拿不到的资源。在模型越来越多、能力差距逐渐缩小的当下,谁更稳定、谁更省钱、谁完成任务更快,反而可能决定了大多数人最终会把工作交给谁。
Hy3已经以Apache 2.0协议在GitHub和HuggingFace上开源了,海外API平台也在陆续上线,后续表现如何值得持续观察。



