讲个乐子。
去年METR做了一个随机的对照试验,他们找了16个有经验的开源开发者,在这群人长期维护的项目上做了246个真实任务,用的是用Cursor Pro配Claude Sonnet(别问我为啥没用Opus)。最后的结果是用了AI之后大家完成任务的效率反而慢了19%。
这是乐子吗?
不,不是的哥们,乐子是这群人自己估计,觉得自己的效率高了20%。
当然了,效果这么好的项目,METR当然想继续搞下去。但是今年2月METR发文说要改实验设计,为什么改呢?因为开发者开始拒绝参加实验了,原因超级搞笑……
咱们说过了,METR要对比的是用了AI跟没用AI的效率区别,但是因为AI太踏马好用了,所以今年快要找不到对照组了!
大家拒绝不用AI干活!
因此我的建议是看到诸如"AI到底让你快了还是慢了"这样的狗屁调查直接忽略就好,目前的趋势是AI作为一种基础工具,已经渗透到了当代大部分桌面工作之中。
而且因为大模型的迭代速度非常之快,所以许多一两年前的研究结论可能已经被推翻了,比如说Upwork 2024年调查的时候许多用了AI的员工说AI工具的使用反而让自己活变多了,多在审核和修正AI生成的内容上,现在呢?
大公司什么情况我还不太清楚,但是小项目真就是屎山代码不用怕,因为几个月之后我们可以用更强力的模型来审查屎山了,起码我自己最常用的几个项目目前都是这么迭代过来的(竖大拇指
AI可能正在偷走你的时间
