DeepSeek致谢腾讯技术团队近期,DeepSeek对腾讯技术团队表达诚挚感谢

小豆评科技啊 2025-05-08 07:05:51

DeepSeek致谢腾讯技术团队近期,DeepSeek对腾讯技术团队表达诚挚感谢,源于腾讯对DeepSeek开源的DeepEP通信框架进行深度优化,为AI大模型训练带来了极为显著的性能提升,堪称AI技术发展历程中的一次关键协作。

自2025年2月DeepSeek开源包括DeepEP在内的五大代码库以来,便致力于展示如何利用有限硬件资源实现接近万卡集群的性能。其中,DeepEP凭借突破性方法将通信效率提升了300%,成功解决MoE架构大模型对英伟达NCCL的依赖问题 ,这在AI技术发展中是一次重要的创新。然而,该技术在成本较低、适用面更广的RoCE网络环境中表现欠佳,限制了其在更多场景的应用。

腾讯星脉网络团队凭借在RoCE网络领域的深厚技术积累,在DeepEP开源后迅速展开技术攻关。经过深入研究,发现两大关键瓶颈:双端口网卡带宽利用率不足以及CPU控制面交互存在时延。腾讯针对这些问题进行了一系列技术创新。在带宽分配方面,通过拓扑感知的多QP建链技术,智能分配数据流,优化双端口网卡带宽利用率,避免了带宽浪费;在解决GPU通信中的CPU控制瓶颈问题时,基于IBGDA技术优化,让“控制面”场景操作绕过CPU“中转”,降低延迟和能耗,提升整体通信效率;面对GPU直接“对话”时传输顺序混乱难题,提出“QP内时序锁”机制,确保多个GPU间数据传输精准、按序完成,即使同时处理1000多个数据传输任务,DeepEP也能自动理顺先后顺序。

经测试,腾讯优化后的DeepEP通信框架性能在RoCE网络环境提升100%,IB网络环境提升30%,为企业开展AI大模型训练提供了更高效的解决方案。这不仅让DeepEP在RoCE网络实现性能翻倍,反哺到IB网络时也使原有通信效率再提升30%。腾讯的优化,极大拓展了DeepEP的应用场景和价值。

目前,该技术已全面开源,并成功应用于腾讯混元大模型等项目的训练推理。在腾讯星脉与H20服务器构建的高性能环境中,这套方案展现出出色的通用性,充分验证了其技术的可靠性和有效性。对于DeepSeek而言,腾讯的技术优化是对其开源成果的有力补充,帮助DeepSeek突破技术瓶颈,使DeepEP通信框架在更多网络环境下发挥更大效能,增强了DeepSeek在AI领域的技术影响力和竞争力。

从行业角度来看,此次合作具有重要意义。它展示了开源社区与大型企业紧密合作的积极成果,促进了技术的共享与创新。不同企业技术团队间的协作,能够整合各方优势,加速技术的完善和应用,为AI大模型的发展提供更强大的技术支持。这种合作模式也为其他企业和技术团队树立了榜样,鼓励更多的技术交流与合作,共同推动AI技术的进步。

0 阅读:3
小豆评科技啊

小豆评科技啊

感谢大家的关注