国内AI算力供求和NV卡情况会议纪要

文八柿子 2024-02-01 15:50:37

2024.1.29

一、 核心要点

(1) 英伟达新卡 H20 实际表现没有超出预期:单卡性能仅为 H100 的 20%到30%,集群效果为 H800 的 80%到 90%,厂商对该卡可持续性水平及售后维保感到担忧,有性价比的价格为一万美元以下。供入国内的时间最快为3 月份,实际可能延后到 Q2

(2) 当前国内算力紧缺,显卡市场供不应求:国内大模型处于 3.5 向 4 升级的过程,算力需求为原来的 3 到 5 倍,叠加供应链制裁因素加剧供需失衡,当前国产显卡替代能力有限。

(3) 国内外 AI 大模型进度差距:受供应链影响,国内厂商原定于今年 3、4月份推出的 GPT4 水平的大模型进度延后,最迟 6 月发布,目前智谱 GM4模型可以在中文环境下接近 GPT4 水平。OpenAI 年内有望发布 5.0 模型。算力因素成为制约国内 AI 模型发展的主要原因,整体差距在一年左右。

(4) 国家将推进算力基建建设:国家将牵头运营商,通过运营商自身渠道以及和第三方数据公司合作等方式解决算力供给端问题,建设计算中心。预期受断供影响小于市场化厂商。

二、 问答环节

Q:如何看待近期专业显卡降价的传言?实际情况如何?

A:目前整体价格稳中有升,有一定波动。原因:随着各家大厂的 GPT4 到GPT4.5 加速落地以及相关应用的发展,对算力的需求在增加,需求端快速拉升。但原材料、供应链的情况会使价格产生一定波动。

Q:当前 H100 价格?

A:目前采购不了,没有具体数字。估算值在 2.5 万美金左右。

Q:预计 H20 供入国内时间?

A:最快 3 月份左右开始,冷静分析可能要排到 Q2Q:对于 H20 国内大厂采购意愿?

A:均有采购计划,但比例较先前变动较大,整体购买量有所缩减原因:(1)H20 整体效果未达预期,相对而言国产卡性价比较高(2)H20 可持续性差,对 GPT4 后续的训练帮助不大(3)对售后的维保产生担忧,可能受政策影响

Q:H20 的实际表现?

A:(1)单卡效果:差距较大,约为 H100 的 20%到 30%(2)集群效果:受益于 800 到 900 量级的带宽,集群效果较好,跟 H800 差距不大

根据我的理解,单卡较弱,需要堆量。根据 H20 跑 GPT3.5 的表现,较 H800低 10%到 20%。担心长期风险:大模型更新速度过快,H20 有跟不上的风险

纪要来源:【文八股调研】小程序

Q:从性价比角度出发,如何评价 H20 可能的定价水平?

A:低于 1 万美金比较理想,但很困难。原因:国内整体需求量还是很大,卖方市场

Q:基于 GPT4.5 目前已经灰度测试的情况,国内什么时候能达到 4.0 的水平?

A:4.5 已经体验过开发版,亮点在于 3D 建模方面的能力,且可以做跨模态的理解。正式版这两个月就会推出。受到供应链的影响,国内厂商原定三四月份推出类似 4 或 4.5 的产品,目前会延迟,但不超过六月份

Q:如何评价智谱发布的 GM4 产品?自称接近 GPT4 水平。

A:中文场景下能力强于 GPT4,具体方面:(1)应用层、大模型微调的可拓展性(2)中文的上下文,长对话的总结提取推理等方面在多模态下,如文字生成图片,封面图或相关场景都还是要差一些。在理解用户意图方面区别不大。最大卖点:开发者计划,搞应用商店让开发者享受分成。

总结:可以一定程度媲美 GPT4Q:关于国内除了几家巨头以外,其它拿了大模型牌照的厂商当下推进 4.0 的进度如何?

A:都在推进,但力度不同。研发上侧重于各自模态和各自主要应用板块,基本不会做全模态全场景的模型。主要围绕自身业务进行开发。

Q:目前做全模态全场景模型的厂商?

A:华为、阿里、腾讯。字节不确定,但应该也会推进。

Q;对当前国内算力需求端的看法?

A:算力非常非常紧张。原因:(1)从 3.5 到 4 的升级,算力至少要提升 3 到 5倍。(2)国内在升级过程中又遇到了供应链方面的制裁,目前租赁全停。A100、H800 在正式渠道已经很难获取,加剧了算力稀缺性。

Q:厂商是否尝试用非正规途径获取专业显卡,如转口贸易等等?

A:大厂一般不会。原因:(1)无法大批量进货,投产比低(2)整体风险性比较大。目前大厂的一些应对措施:在海外建立国际中心,在海外做一些大模型的训练

纪要来源:【文八股调研】小程序

Q:阿里云目前已经收了很多卡回来,但仍有少部分在租赁。对于这些租赁的客

户,目前是什么样的情况?

A:租赁客户以各个行业 top 为主,比如说米哈游网易等游戏行业,或者是中通

等物流行业的还是在阿里的名单中。对于传统的或者是做大模型的厂商,已

经尽量减少租赁。

Q:如果国内厂商今年年中达到了 4.0 的水平,如何展望后续发展?

A:基本上要跟海外咬住半年到一年的周期差。当前的卡点在于算力,算力的不

确定性带来很大的制约。4.0 到 4.5 对于算力的需求又是一个非常大的提升。Q:在这种情况下,如何看待 OpenAI 在今年内可能发布 5.0 的情况?

A:往后发展对算力的需求会越来越大,并不是线性提高。整体的制约点不在于

软件,而是硬件。在算力充足的情况下,两年三个版本是能做到的。

Q:那国内这方面的供给怎么样?

A:国内产品有昇腾、海光、寒武纪等。最好的是昇腾 910B,单卡性能跟 A100接近,但集群、生态等方面存在差距。未来出的 920C 可能会有办法解决。目前来看还是有可能做到逐步替代的。

Q:910B 产能如何?

A:很紧张。排单 3 个月到半年。

Q:互联网大厂当前卡的存量?新订的卡交付情况?

A:去年 11 月份就停了,到现在没有大的变化。A100 大概在 6000 张左右。但很多要给集团用。H800 有小一万张。其它各类的卡加起来有几万张。但关键还是阿里云没有拆分出去,很多时候算力要供给集团使用。

Q:国内有些算力公司之前囤了一点卡,大厂有去达成相关合作吗?

A:价格开的很高。这些算力公司会有针对性地和一些企业,如运营商等等的合

作,跟大厂合作很少。

Q:云租赁的价格与趋势?

A:现在已经不租了。但是当时租赁的价格翻了 50%。现在排队也租不到了,主

要是保集团内部的业务,比如菜鸟这些对算力需求就很高。

Q:国产其它厂商的卡相对昇腾 910B 表现如何?

A:全面性、对大模型的兼容性不高,尽管进步较快,但满足不了从 3.5 到 4 进

步所需的算力。最关键是短期产能也跟不上。我们会做少量采购。Q:国家关于推行算力基建的政策?

A:有这回事。但大厂不是牵头方,国家可能会和运营商去配合的多一点。

Q:计算中心的发展情况?如何解决供给端问题?

A:一是运营商会有自己的渠道去做一些相关采购,二是和一些国产的厂商去谈,比如说华为,三是和比较大的第三方数据公司,如 IDC 这样的去谈合作。整体上断供会有影响,但影响比市场化的厂商要低。

Q:算力券的抵扣形式?补贴效果如何?

A;钱是政府来出,会有兜底在里面,相当于是打折。算力券抵扣的额度不能超过整个支出费用的 40%或 50%。目前阶段算是比较好的政策。

Q:H20 是拿单芯片来测的吗?

A:是的,相当于给了一个样片。

Q:跑模型用的是 FP16 还是 FP8?效果如何?

A:FP16,达不到标称的纸面性能,大概在 80%。

Q:阿里卖掉了一些 H800 的卡,是否属实?

A;不属实。

Q:如果要满足整个阿里集团的需求,包括要训练新的模型,大概需要怎样的算力水平才能满足?

A:按照 24 年的规划来做,目前的算力还差三分之一。如果计入折旧故障可能gap 在 50%。

Q:I20?

A:还在观望,没准备用。

纪要来源:【文八股调研】小程序

2 阅读:349

文八柿子

简介:感谢大家的关注