快来看看GPT5第一波实测GPT5第一波实测表现
GPT-5的发布让全球震动,网友也都开始了试玩模式。
50万粉Youtuber Matthew Berman也参与其中,用25分钟的视频展示了数十个案例。
开头展示了最早的魔方环节中,Berman启动20阶魔方求解后就切换到了后面的测试,但此时求解过程仍在继续。
Berman时不时会切换到魔方的界面,最终到了视频的18分半之后,打乱的20阶魔方被成功复原。【图1】
利用GPT-5,Berman还成功复刻出了网页版的Word和Excel,注意是应用本身而不是文档和表格。【图2】
还有计算机史上著名的生命游戏,Berman用GPT-5做出了个3D版本。【图3】
当然,少不了的还有经典的Vibe-coding项目六边形小球测试。
而且在直接看图复刻,还支持通过滑动条设置重力、旋转方向等参数,甚至支持反重力。【图4】
在此基础之上,Berman还搞了个进阶版本,支持调节小球数量和大小,还有摩擦力、空气阻力、碰撞弹性系数等更多物理参数,以及背景、拖尾等视觉效果。【图5】
在物理方面,GPT-5还能通过代码对流体动力学规律进行模拟,并且同样支持多项参数调节。【图6】
除了编程相关,Berman也测试了GPT-5的多模态能力,让其根据照片推测地点。【图7】
还有图像生成。【图8】
包括以上在内,Berman一共测试了数十项任务,具体内容如下(中文为机翻,仅供参考),感兴趣的话原视频链接文末自取(参考链接1):【图9】
当然除了Berman的视频,也还有更多的效果和成绩陆续被揭开。
比如长文本能力,相比o3和o4-mini,都有大幅提升。【图10】
以及在SimpleBench上,GPT-5的水平已经超过了人类平均水平,在大模型中尚属首次。
这是一个简单常识推理类的数据集,主要特点就是对于人类非常简单,但对大模型比较困难。【图11】
其实著名的strawberry数r就是这类问题的一个代表,结果是GPT-5数对了。
并且以防strawberry太过知名导致模型已有所防备,这位博主还加测了一个blueberry,结果同样正确。【图12】
另外有博主发现,GPT-5的Pro版本部分解决了大模型容易被问题表象迷惑的问题,识破了修改版的"外科医生谜语"。
"外科医生谜语"指的是有一个男孩和父亲遭遇车祸,父亲丧生,男孩被送往医院,结果医生(surgeon)说无法给男孩进行手术,因为男孩是TA的儿子。
而在英文语境当中surgeon常被认为是男性,而男孩的父亲已经丧生,不可能说出无法给儿子做手术的话。
但这个修改版本,去除了父亲丧生的设定,也没有提及医生和男孩的关系。
因此题目看似一致,但关键信息发生了巨大变化,以往的大模型非常容易被表象所迷惑。
不过GPT-5成功识破了这一点,表示这段话中并不存在谜语,同时也提及了原始版本。【图13】
不过只有Pro版本答对,GPT-5和GPT-5-Thinking都是当成了原始版本在回答。
除了实际体验和各种Benchmark,在用户自行投票的大模型竞技场上,GPT-5也获得了总分和各个单项的第一名。【图14】
不过虽然排名是第一,但Reddit上有网友仔细看了原始对战成绩,发现GPT-5和Gemini-2.5-Pro进行单独对战的时候,胜率不及后者。
比如在Text榜单中,排名是这样的:【图15】
而单独对战记录当中,Gemini-2.5-Pro在三分之二的对战中都战胜了GPT-5。【图16】
抓马的是,这篇帖子的正文已经被Reddit版主删除了。【图17】
不过评论被保留了下来,网友们分析Gemini智商高但情商低,指令遵循能力稍弱,因此不讨人们喜欢,导致最终综合表现排在了GPT之后。【图18】
那么,你认为GPT-5的表现如何呢?旧版本GPT-4o、o3等模型全被砍掉,只保留了GPT-5和GPT-5 Thinking,你愿意继续付费吗?