有个数字挺邪门。
让它画一件虚构球衣,号码画对了,成功率 72%。把图拿走,只问它一句这件球衣几号,成功率掉到 2%。
会画,不会说。
这几个数字,出自智谱内部一个叫 GLM-Omni 的模型。论文 10 月 15 日挂上 arXiv,署名四位,前三位 Wenkai Li,Wenyi Hong,Zhuoyi Yang 都是智谱实习生,通讯作者是唐杰。
消息传得比论文快。10 月 19 日,X 上的博主 @NFT_Chen 发了条帖子,直接喊出「GLM-5.4/5.5 剑已出鞘」,说智谱已经在内部训出了能同时理解和生成的统一模型,这条帖拿到 341 个赞。
图1、@NFT_Chen 的爆料帖,341 赞
模型名字第一次出现,就在论文里论文全称《视觉生成能否扩展统一多模态模型的知识?》,署名单位是清华大学和 Z.AI。
图2、论文首页的标题与摘要
论文对 GLM-Omni 的交待不多,但关键两句都在。它从 GLM-4.1V-Thinking 的预训练基座初始化,图像那一侧用一套基于 X-Omni 的离散图像 tokenizer。翻成大白话,一个既能看又能画的统一模型,智谱已经在内部跑起来了。
至于它跟下一代产品是什么关系,论文一个字没提。
答案只藏在图片里研究要回答的问题很朴素。模型学会画图的时候,会不会顺带多知道一点东西?
麻烦在于模型可能早就背过答案。为了绕开这点,团队造了一个虚构世界,叫 MagicWorld,里面有虚构的球队,球衣,地图和城市名,现实里一个都不存在。
知识分七类。颜色,数量,形状,空间,大小这五类,管物体长什么样,摆在什么位置。数字和文字这两类,管图里印出来的字。每类 50 条,一共 350 条,最后扩成 8552 张训练图。
关键设计是答案只藏在图里。提示词只说「画一件 Arvenbrock 的球衣」,号码 10 只出现在图上,文字里一个字不提。训完之后考它,只给文字问题,不给图。
第一轮结果,落差很大GLM-Omni 把知识画出来的比例是 54%,换成文字问答只剩 14.57%。数字那一类更极端,画对 72%,答对 2%。
不是它一个模型这样。字节的 BAGEL,视觉 31.43% 对文本 8.86%。商汤的 SenseNova-U1,视觉 61.14% 对文本 20%,数字类画对 88%,文字答对 0%。
知识确实进去了,只是被锁在画图这条路上,语言那扇门没打开。
两种对齐,一种没用一种管用团队先试了文本对齐。给一部分实体补上文字问答的样例,看模型能不能把答题的本事迁移到没见过的实体上。这招不太灵,GLM-Omni 的平均分反而从 14.57% 掉到 12.57%。
再试另一种,图文交错对齐。把生成图像,观察图像,给出答案这三步塞进同一条回答里,模型答题前先画,看着画答。这一次平均分从 12.57% 拉到 26.86%,形状类 12% 到 64%,空间类 0% 到 40%。
被考的实体从没见过任何问答样例,这十几个点全是从别的实体迁移过来的。
提升到底从哪来,团队又做了个对照。保留同样的交错序列和文字监督,只把图像那部分的损失遮掉,平均分立刻从 26.86% 掉回 13.71%。功劳在图像监督上,不是多喂了一段文字。
推理时允许模型先画一张图,再看着图回答,这套做法叫 Visual CoT。给模型的提示只有一句,「请用图像思考」。
GLM-Omni 的平均分从 26.86% 再涨到 41.14%,数字类从 0% 到 36%。三个模型里它涨得最多。
但别急着喊 GLM-5.5到这里得泼盆冷水。
论文从头到尾没说 GLM-Omni 是下一代模型,也没给发布时间和参数规模。它就是一个用来做实验的内部模型。结论只到研究层面,视觉生成能成为文字之外的知识来源,但迁移仍然有限,也不均匀。
把它和 GLM-5.5 画等号,是社区在猜,官方没接话。
四天后,第二篇论文换了条路10 月 19 日,唐杰又挂了一篇,叫《HarnessPro》,方向完全不同。这次讲的是怎么让智能体自己改自己的 harness。
Harness 指的是智能体的指令,工具和运行时策略,它直接决定任务做得好不好,钱花得多不多。
图3、第二篇论文的 arXiv 页面
过去的思路是用递归自我改进把性能提上去,代价是成本跟着涨。HarnessPro 换了个思路,把性能和成本当成两个目标同时优化,最后给出三档,成本优先的 lite,均衡的 medium,性能优先的 heavy。
结果是这样。在 GPT-5.5 配 Codex 的组合下,heavy 模式相对 RHO 平均通过率提升 2.0 个百分点,平均单任务成本下降 26.1%。换成 GLM-5.2 配 Claude Code,优势还在,SWE-Bench Pro 上平均耗时从 520 秒降到 412 秒。
代码已经放在 GitHub 上,MIT 许可。
图4、代码仓库首页
路子是连着的。
一篇在问,模型能不能从画图里学到更多知识,扩的是输入端。另一篇在问,智能体能不能自己把干活的流程改得更省,提的是执行效率。
再看今年露出的其他线索。8 月 31 日,唐杰在业绩交流会上把 GLM-6.0 的方向说成完全自训练。9 月 17 日,官方博客讲模型怎么搭自己的推理基础设施。10 月 21 日,编程套餐的补偿通知里留了一句,新模型发布后再送一次重置。
方向不难看出来。
回到标题那句话。智谱的下一代可能不止会答题,意思是它要学的不只是给出答案,还有怎么把看到的东西变成知道的东西,再用更少的代价把它用出去。
至于叫什么,什么时候来,论文不会告诉你,等官方开口。