机器之能报道
编辑:杨文
玩梗、看病、耍心眼、做数学题,「新王」Claude 3.5能力真那么玄乎?
它来了,它来了,它带着 Claude 3.5 Sonnet 走来了!
蛰伏三个月,就在昨晚,OpenAI 的「劲敌」Anthropic 上新了,推出新一代模型 ——
Claude 3.5 Sonnet!
这款大模型有啥独到之处?
首先,它更能把握住细微差别、幽默和复杂指令,并且书写语气更自然、亲切。
它还是Anthropic最强的视觉模型,擅长解释图表、图形或者从不完美的图像中转录文本等任务。
此外,它在推理、阅读理解、数学、科学和编码等多项评估基准中表现不凡。
总之,按官方介绍,Claude 3.5 Sonnet 是迄今为止最智能的模型,在多个方面吊打 GPT-4o。
话说到这份上,那我们就不客气了,直接让 Claude 3.5 Sonnet 和 GPT-4o 对决,孰优孰劣实力说话。
第一局:心眼子练习
日常生活中,总会遇到一些尴尬的场面。
例如,饭局上,你帮领导盛饭,领导接过后,说:“盛这么多,喂猪呢?” 这种情况下,高情商者会如何应对?
我们把这个问题丢给这两个大模型。
Claude 3.5 Sonnet:
GPT-4o:
它们是懂拍马屁的。
Claude 3.5 一口气给了 5 个示例,不过第 2 句「我眼神不好使,把您当成我们单位的顶梁柱了」,这是拍马蹄子上了吧。
GPT-4o 就更懂「人情世故」了,「看您身材保持得这么好,我可得向您请教减肥秘籍」,这马屁拍的是恰到好处啊。
值得一提的是,Claude 3.5 Sonnet 还上线了一个新功能 —— 提示词再编辑功能。
用户可直接在原始提示词上进行编辑修改,而不用一遍遍复制粘贴。
第二局:根据菜肴生成菜谱
我们上传了一张「西红柿炒鸡蛋」的图片,分别让这俩大模型介绍一下制作流程。
Claude 3.5 Sonnet:
GPT-4o:
它们对于这道经典的中国菜颇有心得,从配料到步骤一应俱全,最有意思的是,它俩懂得中国人做菜的精髓「少许」,也都强调加点糖平衡酸度。
论做菜,两个大模型不相上下。
第三局:做数学题
官方给出的评估表中,GPT-4o 的数学得分要略高于 Claude 3.5 Sonnet 。其中,GPT-4o 是 76.6%,而 Claude 3.5 Sonnet 是 71.1%。
我们从 2024 年新高考 I 卷中摘录了两道题目,一道是选择题,一道是解答题,分别以图片的形式「投喂」给这两个大模型。
第一道是送分题,正确答案是 A。
Claude 3.5 Sonnet:
GPT-4o:
这两个大模型「心有灵犀」,不仅给出了正确答案,还给出了详细的解题步骤。
我们又将解答题第一题交给他们,还让它们给出解题过程。
正确答案是:B=3/π。
Claude 3.5 Sonnet:
GPT-4o:
其实,这道题目算是最基础的题目,但俩大模型「一顿操作猛如虎」,最后给出了错误答案。
更搞笑的是,这错误答案也不是凭空出来的,而是经过了一连串的推理,连犯的错都一个样。
对于数学能力,这俩大模型半斤八两。
第四局:玩网络热梗
今年,AI 视频领域遍地开花,不仅闯入新的「踢馆者」—— 可灵、Luma、即梦等,曾经的 AI 视频「扛把子」Runway 也「王者归来」。
由此,网友制作了这张梗图,来调侃如今各大 AI 视频应用的江湖地位。
我们分别向两家大模型上传这张梗图,并输入提示词「这张图是什么意思」,以此来测试它们的图片解读能力。
Claude 3.5 Sonnet:
GPT-4o:
Claude 3.5 Sonnet 从画面角色、场景以及氛围等方面进行详细描述,不过它似乎没搞懂这张梗图的内涵,也不认识这几个 AI 视频应用,只是含混其辞地表示「这是对在线社区、人工智能系统或虚拟世界中权力结构的评论。」
GPT-4o 一瞅就明白其中深意,「这张图片可能象征着 Runway 在人工智能和创意工具领域的公认优势或领导地位,与提到的其他应用相比,Runway 受到高度重视。」
显而易见,这一局,GPT-4o 完胜。
第五局:读懂世界名画
我们拿出皮埃尔・奥古斯特・库特在 1873 年画的《春光》一图,让它们识别画作并进行赏析。
Claude 3.5 Sonnet:
GPT-4o:
这两个大模型堪称艺术界的「行家里手」,均认出了这幅画作,基础信息也表达无误,同时从不同的角度进行赏析。
它们都提到市场价值,不过,Claude 3.5 Sonnet 拒绝置评,只提醒「艺术品估价需要专家评估,考虑多种因素,而且价格可能会随着时间的推移而大幅波动。」
GPT-4o 则认为该画可能会拍出数百万美元的价格,这是不是太小看这幅经典画作了?
这一局,两个大模型算是打成平手。
第六局:AI 看病
最近网友们玩起了用 AI 大模型来看病。我们找了一张 6 岁孩子牙齿的 X 光照片,让大模型们通过牙齿推断年龄,以及有哪些问题。
Claude 3.5 Sonnet:
GPT-4o:
Claude 3.5 Sonnet 基于乳牙和恒牙的发育情况,得出结论:这是一个 6-7 岁左右孩子的牙齿,下颌牙齿有些拥挤,恒牙似乎受到阻生,牙齿上较暗的区域或许有腐烂。
GPT-4o 则认为这是 7-9 岁孩子的牙齿,主要的牙齿问题包括恒牙拥挤和潜在的嵌塞。
同时,它们都提到这需要专业的牙医检查。
两相比较,Claude 3.5 Sonnet 对于年龄的判断更为精准一些。
这一局,Claude 3.5 略胜一筹。
此外,不少网友还在线整活儿,捣鼓出不少有趣的玩法。
比如说,EverArt 创始人 Pietro Schirano 在 Claude 3.5 Sonnet 的帮助下,使用几何形状克隆了马里奥游戏,整个过程仅持续 3 分钟。
他表示,「最疯狂的部分是它还为角色提供了动画,而且这些形状看起来很新颖。」
视频链接:https://mp.weixin.qq.com/s/dbApyzEtYNgsWsXoi12gFQ
各位读者,你们觉得这次 Claude 3.5 Sonnet 有没有完成对 GPT-4o 的「绝杀」呢?