转一个关于华为云CloudMatrix384SuperNode(超节点)的资

醉香谈商业 2025-04-21 15:04:34

转一个关于华为云CloudMatrix 384 SuperNode(超节点)的资料。

4月10号,华为云生态大会2025上,云计算的张平安聊了他们在AI基础设施上的新进展:推出了名叫CloudMatrix 384的SuperNode(超节点),且已经在芜湖的数据中心大规模上线了。

CloudMatrix 384超节点以类似于“DeepSeek时刻”的姿态,缓解了国产AI芯片和系统的焦虑,也展示了华为在网络架构上的深刻理解。

和英伟达的NVL 72类似,CloudMatrix 384以“机柜”为单位重新设计了AI的基础架构(Rack Scale),把资源供给从单台服务器扩展到整片服务器矩阵,而且“三高” —— 高密度、高速率、高效率都做到了。靠着这些架构创新,在算力,互联带宽,内存带宽上都极具竞争力。

此外,华为云也分享了他们一直在给昇腾AI云服务做优化,现在已经支持包括DeepSeek在内的160多种第三方大模型,为训练和推理提供了坚实的后盾,帮助各行各业快马加鞭地把AI应用落地。至于自家的盘古大模型,现在已经在30多个行业、400多个场景里跑起来了,诸如城市治理、智慧金融、医疗健康、气象预测等都能看到它的身影。

当天生态大会的另一个亮点是“硅基流动”基于CloudMatrix 384,昇腾云服务和他们自己的高性能推理框架SiliconLLM,一起把DeepSeek‑R1正式推向市场。据说,在保证单用户能跑20 TPS的前提下,单卡解码速度能冲到1920 Token/s,性能能跟H100堆出来的效果一致。而且各种主流测试集和线上的大规模盲测都显示,用昇腾算力跑DeepSeek‑R1的精度,不输官方标准版。

0 阅读:0
醉香谈商业

醉香谈商业

感谢大家的关注