DC娱乐网

国产大模型,有用B卡训练? 最近有不少朋友来问我,怎么看黄乐事件对国内大模型的影响。 说实话,这条线我肯定跟不住的。只能说,之前一些希望做倒爷的人,现在声量几乎没了。 如果要找个更科学一点的视角的话,最近我看到了一篇海外报告,Unemployment Labs的“ Top Chinese Frontier AI Models Ca ​

国产大模型,有用B卡训练?

最近有不少朋友来问我,怎么看黄乐事件对国内大模型的影响。

说实话,这条线我肯定跟不住的。只能说,之前一些希望做倒爷的人,现在声量几乎没了。

如果要找个更科学一点的视角的话,最近我看到了一篇海外报告,Unemployment Labs的“Top Chinese Frontier AI Models Carry theFingerprintofExport-Controlled NVIDIA Blackwell GPUs

研究者声称仅通过开源模型公开的权重,就能反推创建这些权重时使用的GPU。根据他的研究,国内几个开源模型,留下了英伟达B卡的指纹(B卡在出口限制内,H200合规)。

整个研究报告,还是有不少技术细节,感兴趣的可以去查。我一边看、一边AI辅助,觉得有几个点还是可以分享的:

1、这个方法需要有多个前提条件同时成立;但确实提供了新的研究路径,通过模型权重反向追踪硬件。

2、报告识别的只是随机初始化时使用的硬件,但后续训练阶段未必使用同一套计算资源。

可以初始时用B卡后续训练再用其他、甚至国内卡;也可以初始用其他卡,后续训练再用B卡。

B卡真正承担了多少训练工作,这份报告并没有直接证据来统计或证明。

3、即使按照报告所说,国内一些模型公司使用了B卡,但也只是最近出现的代际差;而此之前国内大模型的工程优化等成果,依然是有效的。

4、报告称,并不是所有中国大模型都转向了B卡。阿里、智谱、腾讯等公司,依然是基于H卡。大厂的合规意识,还是在线的。

但如果真的能用上B卡,也许模型的性能会更好。毕竟Scaling Law依然有效中。

最后,还是感慨,讨论是不是用了B卡还是H卡,也挺无奈的。毕竟还是英伟达的产品。而国产芯片在多款大模型训练中的效果,目前还没有更明确的证据。

但这不只是芯片设计公司的事儿,关键瓶颈还是在芯片制造,高制程的产能和良率;再往上就是光刻机等设备这些老生常谈的话题。

英伟达也刚刚宣布,成立出口管制监督委员会。

冲击不可避免,国产芯片任重道远;而国内大模型公司也需要在现有资源下,来做好算法和工程优化;以及,在力所能及的时候,加大和国产芯片的适配。

真的是:共荣辱,同休戚。