🚨很矛盾的AI现状:跑分无限接近,体感却越拉越远。
做模型评测的老周最清楚这种撕裂感。他手里刚拿到两份跑分单,一份来自某头部大厂新发的千亿参数模型,另一份是开源社区三天前刚放出来的小模型。榜单上,两个数字差了不到零点八分,按行业黑话讲,这叫“第一梯队贴身肉搏”。
可他把同一个问题分别丢进去,结果一个像老教授上课,一个像急诊科大夫问诊。
问题很具体:“合同签了三年,第二年对方要改付款方式,我该怎么谈?”
大厂模型回了一千两百字,从合同法第三编讲到商业谈判策略,分四个维度、六个步骤,最后还贴心地问他要不要继续展开某个维度。老周耐着性子读完,截了个图发给法务,法务回他三个字:太对了。
开源模型只回了三句话:“先看合同里有没有变更条款。没有的话,你占理,可以要求按原约履行。对方如果拿停止供货压你,直接找律师发函,别自己谈。”
老周拿着这两份回答去问产品经理,问他们愿意接哪个进业务系统。产品经理看了一眼跑分,又看了一眼回答,选了开源那个。大厂那边的人不服,说我们跑分高,安全对齐做得深,你凭什么不用。
产品经理把两份回答投到会议室屏幕上,问在座的运营和销售:“你们遇到事了,想听哪种?”
没人选大厂。
事情真正卡住,是在上线前的最后评审。安全团队把开源模型的回答翻出来,说里面“找律师发函”这句有法律风险——万一用户真去发函,出了事谁担责。他们要求把这句话改成“建议咨询专业法律人士”。
开源模型的维护者是个在杭州写代码的年轻人,接到修改要求后回了一封邮件。邮件只有两行:“我的模型就是给干活的人用的。你让用户去咨询,用户还不如去百度。改可以,把我名字从贡献者名单里删掉。”
这话传到大厂那边,有人笑了,说开源社区就是不讲规矩。可老周没笑。他想起自己十年前刚做数据标注时,带他的老师傅说过一句话:你标出来的东西,得让后面用的人能直接做决定,不然就是废数据。
他把两份回答又调出来看了一遍。大厂模型的末尾加了一行免责声明,说本回答不构成法律意见。开源模型的末尾什么都没有,就那么干巴巴三句话。
老周把两份回答摆到安全团队负责人桌上,说:“你把那个免责声明放大,放大到用户第一眼就能看见。然后让大厂模型再答一遍,就答合同变更那事,看看它能不能在免责声明下面把话说得像个人。”
大厂模型又答了一遍。这次它先摆了免责声明,然后开始分析,这次多了个新毛病——每说两句就要加一句“具体情况需结合合同条款判断”。老周数了数,整篇回答里“具体情况”出现了十一次。
安全团队负责人看完,沉默了一会儿,问老周:“你的意思是,我们花几千万训出来的模型,最后卡在一句‘找律师发函’上?”
老周说:“不是卡在那句话上。是卡在——它不敢替用户做任何一个具体判断。”
那天评审没出结论。散会后老周去楼下抽烟,看见开源社区那个年轻人发了条动态,说自己把模型最新版本的默认回答温度调高了一点,让它更敢说。底下有人评论,说你不怕出事吗。年轻人回:怕,但用户要的是能用的刀,不是包装精美的刀鞘。
老周掐了烟,给产品经理发了条消息:“先接开源那个,加一层我们自己的法律审核。大厂那个继续调,调好了再说。”
产品经理回了个“收到”,然后问:“那跑分还看吗?”
老周盯着手机屏幕,打了几个字又删掉,最后只发了一句:“看。但别拿它当尺子。”
消息发出去后,他站在原地没动。头顶的灯管闪了一下,他想起那份跑分单上两个挨得极近的数字,忽然觉得它们像两辆车并排停在红灯前,绿灯一亮,一辆往左拐进了菜市场,一辆往右上了高速。
而用户站在路口,只想知道今天中午该买什么菜。
