微软CTO:ScalingLaws让模型越来越好还没有遇到边际收益递减

科技每日十点见 2024-07-13 06:11:10

北京时间7月10日,微软首席技术官凯文·斯科特(Kevin Scott)接受红杉资本合伙人帕特·格雷迪(Pat Grady)以及比尔·科夫兰(Bill Coughran)的访谈,对 Scaling Laws 、计算市场变化、与 OpenAI 合作,以及微软AI战略等话题进行了观点分享。

目前还没有遇到Scaling的边际收益递减

在谈及大模型行业的 Scaling Laws话题时,Kevin Scott表示,目前在规模化上并没有遇到边际收益递减的情况。

Scaling Laws是大模型领域的一个经验法则,即随着模型大小、数据量和计算能力增加,模型性能会持续提升。

不过随着 OpenAI 的 GPT-5 模型迟迟未能推出,行业内开始出现不同声音,认为Scaling Laws 已经开始遇到天花板,继续扩大规模带来的收益可能在逐渐减少。

不过,从公开的言论来看,多数AI行业内的专家们及企业高管们认为,Scaling Laws目前仍然有效。

谈及这个话题,Kevin Scott表示,“尽管其他人可能这样想,但是我们在规模化上并没有遇到边际收益递减的情况。”

他强调,这里面确实存在一个指数级的增长,但是由于建造超级计算机、训练模型需要时间,只能每隔一段时间才能采样一次(训练一次模型)。

他透露,OpenAI下一代的模型即将到来,会更便宜,能力更强,也能解决更复杂的问题。“这就是每一代模型随着我们规模扩大而发生的故事。”

一个多月前在洛杉矶举行的 Berggruen Salon 活动上,Kevin Scott曾表示,下一代人工智能可以成功应对博士级考试,推理能力会大大提高,而这将标志着人工智能发展的巨大飞跃。

OpenAI首席技术官Mira Murati日前透露,公司正在开发的新一代人工智能模型GPT-5,有望在2025年底或2026年初推出。

英伟达 GPU 性价比很高

随着人工智能大模型崛起之后,计算市场也在发生深刻变化,很多大模型企业都在抢购英伟达的GPU芯片,以至于人们都在开玩笑说,所有的钱都流向了英伟达。

Kevin Scott 在访谈中表示,英伟达在这方面做得很好,英伟达GPU的性价比在每一代中的提升速度都超过了摩尔定律。“英伟达每一代硬件在性价比上都有提升,通常比用在通用计算领域的摩尔定律还要大。”

Kevin Scott 说,A100的性价比大约是V100的3到3.5倍,H100虽然没有那么多,但也接近。从理论上看,下一代(芯片)也很有竞争力。

Kevin Scott 认为,硬件的进步有多种原因,部分是因为制程技术,部分是因为架构,还有很大一部分是因为能够在计算中利用更窄的字长。比如,现在不需要64位算术,而是用精度低得多的算术就可以了。“AI 领域存在大量可以并行处理的计算,而且我们在硬件架构上正越来越擅长提取这种并行性。”

日前,英伟达披露的文件显示,其客户结构呈现出较高集中度,少数几家公司为其贡献了大部分收入。截至2024年4月28日的2025财年第一财季,有一家客户贡献了总收入的13%,另一家贡献了11%。

据瑞士银行(UBS)分析师Timothy Arcuri分析,微软很可能是英伟达的最大客户,在2024财年占英伟达总收入的19%,并且这一趋势很可能延续至今。

0 阅读:0

科技每日十点见

简介:感谢大家的关注