这项由香港理工大学计算学系和OPPO研究院联合进行的研究发表于2026年2月，论文编号为arXiv:2602.11543v1，感兴趣的读者可以通过该编号查询完整论文。这项研究解决了一个让很多人头疼的问题：普通人想训练大模型，却被高昂的硬件成本拦在门外。
过去，训练一个像ChatGPT那样的大模型，就像要在全世界最豪华的厨房里做菜一样，需要无数台高端设备同时工作。研究团队发现了一个巧妙的办法，让普通的家用厨房也能做出米其林级别的大餐。他们提出了一种叫做SPES（稀疏专家同步）的方法，让16台配备48GB显存的普通显卡就能完成原本需要上千台顶级显卡才能完成的任务。
这个研究的核心创新在于重新设计了模型训练的分工方式。传统方法就像要求每个厨师都必须学会做所有菜品，而新方法让每个厨师只专精几道菜，然后大家定期交流心得。这样不仅减少了每个厨师需要掌握的技能数量，还大大降低了厨房设备的要求。最终，他们成功训练出了性能媲美传统方法的大模型，但成本却大幅降低。
一、传统大模型训练面临的困境
训练大模型就像建造一座摩天大楼，传统方法需要在同一个地点集中所有最先进的建筑设备和材料。每台机器都必须承担整个建筑项目的所有工作，从地基到屋顶，每个环节都不能落下。这就是为什么像GPT-4这样的模型需要成千上万台最顶级的GPU同时工作，而且这些GPU必须通过超高速网络连接，确保信息传递毫无延迟。
当前的大模型训练方式分为两种主要模式。第一种是完全中心化训练，所有设备都放在同一个数据中心里，通过专门的高速网络连接。这种方式就像在一个巨大的工厂里，所有工人都在同一条流水线上紧密配合。虽然效率很高，但成本也极其昂贵。比如训练LLaMA3-405B模型需要用到16000台H100显卡，这些设备的价值就超过了几十亿美元。
第二种是近年来出现的去中心化训练方法，比如DiLiCo和Photon等技术。这种方法就像让分散在世界各地的工厂都参与同一个产品的制造，定期交换零件和技术经验。虽然这种方法降低了网络带宽的要求，但每个工厂仍然需要完整的生产线来制造整个产品，内存和计算资源的需求依然很高。
问题的根源在于，无论采用哪种方法，每台设备都需要处理完整的模型参数。这就像要求每个工人都必须掌握整个产品的制造流程，从原材料加工到最终包装。在实际训练过程中，每台GPU不仅要存储完整的模型参数，还要保存优化器状态、梯度信息和中间计算结果。以AdamW优化器为例，这些额外信息可能占用总内存的75%以上。
这种资源需求让普通研究者和小公司望而却步。即便是一些资金相对充裕的机构，也很难承担如此巨额的硬件投入。更重要的是，这种高门槛阻碍了大模型技术的普及和创新，让这项可能改变世界的技术只掌握在少数大公司手中。
二、专家混合模型的天然优势
为了解决这个问题，研究团队将目光投向了一种特殊的模型架构——专家混合模型，简称MoE模型。如果把传统模型比作一个全能型员工，什么都会但样样不精，那么MoE模型就像一个由多个专家组成的咨询团队，每个专家都在自己的领域内极其专业。
MoE模型的工作原理相当巧妙。当模型需要处理一个任务时，它会有一个"路由器"来决定应该派哪些专家来处理这个任务。就像医院的分诊台，根据病人的症状决定应该挂哪个科室的号。对于一个输入，模型只会激活少数几个最相关的专家，而不是动用所有专家。这种选择性激活大大减少了实际计算量。
这种架构天然适合分布式训练。因为每个专家都是相对独立的模块，就像乐队中的不同乐器，虽然需要协调配合，但每个乐器手只需要专注于演奏自己的部分。这种模块化特性让研究团队看到了新的可能性：能否让不同的计算节点分别负责不同的专家，从而大幅降低单个节点的资源需求。
传统的分布式训练方法要求每个节点都能演奏完整的交响乐，而研究团队的想法是让每个节点只负责演奏自己擅长的乐器部分。这样每个节点只需要掌握几种乐器的演奏技巧，而不需要成为全能音乐家。当需要完整演奏时，所有节点通过网络协调，就能奏出完美的交响乐。
但这个想法也带来了新的挑战。最大的问题是如何确保各个专家之间能够有效学习和协调。在传统训练中，所有参数都在同一个节点上，可以立即共享学习到的知识。而在分布式专家训练中，不同专家在不同节点上独立学习，如何让它们保持同步并相互学习，成为了关键问题。
三、SPES方法的核心设计理念
研究团队提出的SPES方法，核心思想是将MoE模型的专家分配给不同的计算节点，让每个节点只负责训练分配给它的专家。这就像组建一个分布式的专家团队，每个团队成员都在自己的办公室里工作，但会定期开会分享经验和协调行动。
在这个系统中，模型被分为两部分：共享模块和专家模块。共享模块包括注意力层、归一化层等所有节点都需要的基础组件，就像所有专家都需要掌握的基础技能。专家模块则是各有特色的前馈网络，每个专家都有自己独特的处理方式，就像医生的专业技能。
每个计算节点会接收完整的模型副本，但在训练过程中只更新分配给它的专家参数和共享参数。其他专家的参数在本地训练期间保持冻结状态，就像一个医生在进修时专注提升自己的专业技能，暂时不去学习其他科室的知识。这种设计大大减少了每个节点需要计算和存储的梯度信息。
同步机制是SPES的另一个关键设计。与传统方法需要传输完整模型参数不同，SPES只需要传输更新的专家参数和共享参数。这就像医院的专家会议，每个医生只需要分享自己专业领域的新发现，而不需要复述其他科室的所有知识。这种稀疏同步大大减少了网络通信量。
为了确保训练稳定性，研究团队还引入了三种损失函数。除了标准的交叉熵损失用于预测准确性外，还有z损失来增强训练稳定性，以及负载平衡损失来确保各个专家都得到充分利用，避免出现某些专家一直闲着而另一些专家过度劳累的情况。
四、专家融合预热策略的巧思
SPES面临的一个重要挑战是，由于每个节点只训练部分专家，每个专家接触到的训练数据相对较少，可能导致学习速度变慢。这就像让每个专家医生只看特定类型的病人，虽然能够深度专精，但可能错过其他有价值的临床经验。
为了解决这个问题，研究团队设计了一个巧妙的专家融合预热策略。在训练的早期阶段，系统会定期让相似的专家交流学习经验，通过融合它们的参数来加速知识传播。这个过程就像让不同医院的心脏科医生定期举办学术交流会，分享各自的诊疗经验和技术心得。
融合过程使用余弦相似度来寻找最相似的专家。系统会比较专家网络中输入投影层的权重，寻找那些处理问题方式最相似的专家。这就像根据医生的诊疗风格和专业背景来匹配最适合交流的同行。找到最相似的K个专家后，系统会使用任务算术的方法来融合它们的参数。
具体的融合过程采用加权平均的方式，融合强度由参数α控制。在训练初期，α值较高，专家之间的知识交流比较频繁和深入。随着训练进展，α值逐渐降低到零，让专家逐渐形成自己独特的专业特色。这种设计确保了专家既能在早期快速学习基础知识，又能在后期保持专业化分工。
融合策略还考虑了时机的重要性。研究团队发现，只在训练的前Tmerge步进行专家融合最为有效。过早停止融合会让专家缺乏足够的基础知识积累，而融合时间过长则会妨碍专家的个性化发展。实验中，他们将融合时间设置为12500步，每500步进行一次融合操作，并将K值设为4，α值设为0.1。
这种预热策略的效果相当显著。通过让专家在早期共享学习经验，每个专家都能快速建立起处理各种任务的基本能力。然后在专业化阶段，每个专家基于这些基础能力发展出自己的独特优势，最终形成一个既有共同基础又各有专长的专家团队。
五、实验设计与硬件配置
为了验证SPES方法的有效性，研究团队设计了一系列从小规模到大规模的实验。他们的实验策略就像测试一个新的交通系统，先在小范围内验证可行性，然后逐步扩大到真实的城市规模。
在2B参数模型的实验中，研究团队使用了16个独立的计算节点，每个节点配备一块NVIDIA L40S显卡，显存容量为48GB。这些节点通过互联网连接，带宽为17 Gbps，这种配置更接近真实世界中普通研究机构的硬件条件。参数服务器使用64核Intel Xeon Gold 6148处理器和720GB内存，负责协调所有节点的参数同步。
7B参数模型的实验规模更大，使用了4个计算节点，每个节点配备8块NVIDIA A800显卡，通过NVLink高速连接。参数服务器升级为96核Intel Xeon处理器，内存扩展到1.44TB。节点间通信使用13 Gbps以太网，每个节点负责训练8个专家，相当于处理约2.5B个可训练参数。
最有挑战性的是9B参数模型的upcycling实验。这个实验从一个已经训练好的1.7B参数的密集模型开始，通过复制前馈网络层并注入高斯噪声来扩展为MoE结构。这种方法就像将一个全科医生的经验复制给8个专科医生，然后让他们各自发展专业技能。为了匹配原始密集模型的输出规模，研究团队对门控分数进行了归一化处理。
在数据方面，研究团队只使用公开可获得的数据集，确保研究的可复现性。2B和7B模型使用Ultra-FineWeb和SlimPajama等网络爬取数据，并补充了来自olmo-mix-1124的专业领域数据，包括数学、科学和编程相关内容。1B模型为了快速验证概念，仅使用SlimPajama数据集。9B upcycling模型则使用Nemotron预训练数据集，这是一个专门为高质量数学、代码和多语言问答设计的语料库。
训练配置方面，所有模型都使用AdamW优化器，学习率采用余弦退火调度。序列长度设置为2048或4096，批量大小根据模型规模调整。同步频率H设置为100，在训练后期调整为50来加速收敛。这些参数的选择基于大量的预实验和理论分析，确保在资源受限的环境下获得最佳训练效果。
六、性能表现与成本分析
SPES方法在多个维度都展现出了令人印象深刻的性能表现。在内存使用方面，传统的分布式训练方法需要每个节点存储完整的模型参数、优化器状态和梯度信息，就像每个图书管理员都需要管理整个图书馆的所有书籍。而SPES让每个节点只需要管理分配给它的那部分书籍，大大减少了存储需求。
具体数据显示，训练2B参数模型时，传统的DiLiCo方法需要每个节点55GB的显存，这对48GB显卡来说是不可能完成的任务。而SPES将内存需求降低到35GB，成功在普通显卡上运行大模型训练。对于7B模型，即使在使用FSDP分片技术的情况下，SPES仍然比传统方法节省了显著的内存空间。
通信成本的降低更加显著。传统方法就像开会时每个人都要复述所有议题的完整内容，而SPES只需要每个人分享自己负责部分的更新。在训练7B模型时，每轮同步SPES只需要传输9.8GB数据，而DiLiCo需要28.6GB，通信量减少了65%。这种差异在网络带宽有限的环境中尤其重要。
训练速度方面，SPES也表现出了良好的可扩展性。在相同硬件配置下，SPES达到了3.67k tokens/s的训练速度，与使用高端RDMA网络的中心化训练的3.79k tokens/s相当。考虑到SPES运行在普通以太网环境下，这个结果相当令人鼓舞。通过调整同步频率，训练速度还有进一步提升的空间。
模型质量评估使用了多个标准化基准测试。在常识推理任务上，SPES训练的2B模型在ARC-Easy上达到63.8%的准确率，在PIQA上达到69.3%，在SciQ上达到85.0%。这些结果与同等规模的中心化训练模型相当，在某些任务上甚至略有优势。7B模型的表现更加出色，在多个基准测试中都达到或超过了现有的同类模型。
最引人注目的是9B upcycling模型的表现。这个模型从1.7B的密集模型开始，通过SPES方法扩展为9B的MoE模型，在C-Eval中文评测中达到44.7%的准确率，在MMLU综合知识测试中达到63.7%的准确率。这些结果表明，SPES不仅能够从头开始训练模型，还能有效地扩展现有模型，为模型升级提供了一条低成本路径。
七、深入的消融实验分析
为了全面理解SPES方法各个组件的贡献，研究团队进行了详细的消融实验。这些实验就像拆解一台精密机器，逐一检验每个零部件的作用，确保最终设计的合理性和必要性。
专家融合预热策略的效果验证显示了其重要价值。在没有融合策略的情况下，模型在多个基准测试中的平均得分为50.5分。添加专家融合后，平均得分提升到51.3分，特别是在BoolQ和SciQ任务上改善明显。这种提升虽然看起来不大，但在大模型训练中，每一点性能提升都需要大量的计算资源和时间投入，因此这个结果证明了融合策略的有效性。
融合参数的调优实验揭示了精细化控制的重要性。研究团队测试了不同的融合强度α值，发现0.1是最优选择。α值过小时，专家之间的知识交流不充分，学习速度较慢。α值过大时，专家的个性化特征被过度平均化，失去了专业化的优势。类似地，融合时选择的相似专家数量K设置为4最为合适，这个数值在知识共享和专家独特性之间找到了最佳平衡点。
融合时机的实验表明，12500步的预热期是经过仔细考量的选择。太短的预热期不足以让专家建立基础能力，太长的预热期则会延迟专家的专业化进程。研究团队发现，在这个时间点之后，专家们已经具备了足够的基础能力，可以开始独立发展自己的特色。
同步频率的消融实验显示了通信与性能之间的微妙平衡。当本地更新步数H从50增加到200或400时，模型性能出现下降。这是因为较长的本地训练期虽然减少了通信频率，但也加剧了不同节点间的模型分歧，削弱了专家协作的效果。H=50的设置在通信效率和模型质量之间提供了最佳平衡。
节点数量对性能的影响实验揭示了SPES方法的可扩展性特点。在保持总批量大小不变的情况下，当节点数从2个增加到8个时，模型性能从50.6分略微下降到49.5分。这种变化反映了分布式稀疏训练的固有特性：更多节点意味着更分散的数据和专家，可能稍微减慢收敛速度，但整体性能保持在可接受范围内。
八、与现有方法的全面对比
SPES方法与现有技术的对比分析展现了其独特优势和适用场景。在与中心化训练的对比中，SPES虽然在硬件资源上无法与拥有无限带宽和顶级GPU的环境竞争，但在资源受限的现实场景下表现出了显著优势。
与DiLiCo和Photon等去中心化训练方法的对比更加直接。这些方法都尝试在分布式环境下训练大模型，但采用了不同的策略。DiLiCo使用完整模型训练加周期性参数平均，Photon采用联邦优化框架。相比之下，SPES的专家分片策略提供了更根本的内存和通信优化。
在训练轨迹的比较中，SPES展现出了独特的学习模式。虽然在训练初期SPES的性能提升相对较慢，这主要是由于稀疏专家更新的特性，但随着训练的进行，特别是在专家融合策略的帮助下，模型快速赶上并最终达到与传统方法相当的性能水平。这种"慢启动，快追赶"的模式实际上反映了专家化学习的自然过程。
与同等规模现有模型的横向对比中，SPES训练的模型展现出了竞争优势。2B模型在多个基准测试中的表现与使用更多训练数据和更强硬件的商业模型相当。7B模型更是在某些任务上超越了类似规模的现有模型，特别是在科学推理和常识理解方面表现突出。
成本效益分析显示，SPES为大模型训练提供了一条更加民主化的路径。传统的中心化训练需要数百万美元的硬件投资和专门的数据中心基础设施。而SPES可以在现有的普通硬件上运行，大大降低了准入门槛。虽然训练时间可能稍长，但总体成本降低了数个数量级。
通信效率的提升让SPES特别适合地理分布式的训练场景。在跨地区或跨国的协作研究中，网络延迟和带宽限制往往是主要瓶颈。SPES的稀疏同步策略大大减轻了这些限制的影响，使得真正的全球化AI研究协作成为可能。
九、理论基础与收敛性分析
SPES方法不仅在实践中表现出色，其理论基础也相当扎实。研究团队从数学角度分析了SPES的收敛特性，就像为一座建筑提供了详细的结构工程分析，确保其不仅看起来美观，在理论上也是稳固的。
SPES的数学模型基于分块稀疏局部更新的框架。在这个框架中，全局目标函数被分解为多个节点的本地目标函数，每个节点只更新分配给它的参数块。这种分解方式保持了整体优化目标的一致性，同时实现了计算的分布化。关键的理论创新在于证明了这种分块更新方式不会破坏收敛性，只要满足特定的条件约束。
收敛性分析考虑了多个重要因素。首先是函数平滑性假设，要求损失函数满足Lipschitz连续条件，这在深度学习中是一个相对温和的假设。其次是随机梯度的有界性和无偏性，确保了优化过程的稳定性。最重要的是专家梯度异质性的分析，量化了不同专家在不同数据分布下的行为差异。
专家融合策略的理论分析特别有趣。研究团队证明了适度的专家融合可以看作是一种正则化机制，有助于减少过拟合并加速收敛。融合操作本质上是在专家参数空间中的加权平均，这种操作在满足凸性条件时能够保证收敛到更优的局部最优解。
理论分析还揭示了SPES相比传统方法的优势来源。共享参数的全局平均提供了类似于标准联邦学习的方差减少效果，而专家参数的直接分配避免了额外的平均误差。专家融合的早期应用提供了额外的正则化效应，有助于建立更好的初始参数分布。
收敛率分析显示，在标准假设下，SPES能够达到与中心化训练相似的收敛速度。具体而言，算法的收敛率主要受学习率、本地更新步数、专家异质性和融合参数的影响。通过适当调节这些参数，可以在通信效率和收敛速度之间找到最佳平衡。
边界条件的分析表明，当专家融合系数趋于零且本地更新步数适中时，SPES的性能边界可以任意接近理想的中心化训练结果。这个理论结果为SPES的实际应用提供了强有力的理论保证，证明了该方法不仅是一个工程上的巧妙解决方案，更是一个理论上严格的优化算法。
十、实际应用前景与技术影响
SPES方法的成功不仅仅是一个技术突破，更是为AI民主化开辟了一条新路径。这项技术让那些没有巨额资金购买顶级硬件的研究机构、初创公司甚至个人研究者，也能参与到大模型的开发中来。
在学术研究领域，SPES为全球研究协作提供了新的可能性。不同国家和地区的研究机构可以贡献自己的计算资源，共同训练更大规模的模型。这种分布式协作模式类似于开源软件开发，每个参与者贡献自己的专长，最终产生超越任何单一机构能力的成果。特别是对于那些在AI硬件方面相对落后的地区，SPES提供了一个跨越技术鸿沟的桥梁。
工业应用方面，SPES为中小企业进入AI领域降低了门槛。许多公司都有自己独特的数据和应用需求，但缺乏训练大模型的资源。SPES让这些公司能够利用现有的硬件资源，或者通过云服务的方式，以相对较低的成本训练出适合自己业务需求的专业模型。
技术演进的角度来看，SPES代表了分布式机器学习的一个重要进展方向。随着模型规模继续增长，单纯依靠硬件堆砌的方式将变得越来越不可持续。SPES提出的专家分片和稀疏同步思路，为未来超大规模模型的训练提供了重要参考。
隐私保护方面，虽然SPES主要关注计算效率，但其分布式特性天然地支持某些隐私保护需求。不同机构可以在不共享原始数据的情况下，通过参数更新的方式协作训练模型。这种模式在医疗、金融等对数据隐私要求严格的领域具有特殊意义。
环境影响角度，SPES通过提高硬件利用效率和减少通信开销，间接地减少了AI训练的能耗。传统大模型训练需要大量高功耗GPU长时间运行，而SPES让普通GPU也能参与训练，并通过智能的资源分配减少了不必要的计算浪费。
然而，SPES也面临一些挑战和限制。网络稳定性是一个重要考虑因素，分布式训练对网络中断更加敏感。系统复杂性也相对较高，需要更精细的调度和管理机制。此外，当前的实验还主要集中在相对较小的模型规模上，在更大规模模型上的表现还需要进一步验证。
未来发展方向包括进一步优化通信协议、改进专家分配策略、以及探索与其他分布式学习技术的结合。研究团队已经开源了相关代码，这将促进社区的进一步发展和改进。随着更多研究者和开发者的参与，SPES有望发展成为分布式AI训练的标准方法之一。
归根结底，SPES的意义不仅在于技术创新本身，更在于它展示了一种可能性：通过巧妙的算法设计和系统架构，我们可以让AI技术变得更加包容和可及。在AI正在重塑各行各业的今天，这种技术民主化的努力显得尤为珍贵。无论是想要训练专业模型的研究者，还是希望利用AI解决特定问题的企业，都能从SPES这样的技术突破中受益。
当然，任何技术都不是银弹，SPES也不例外。但作为分布式AI训练领域的一个重要进展，它为我们展示了通过创新思路解决资源约束问题的可能性。随着技术的进一步成熟和完善，我们有理由期待看到更多基于SPES思路的创新应用，让AI的力量真正惠及更广泛的群体。有兴趣深入了解这项研究的读者，可以通过论文编号arXiv:2602.11543v1查询完整的技术细节和实验数据。
Q&A
Q1：SPES稀疏专家同步方法是如何工作的？
A：SPES将大模型中的专家模块分配给不同的计算节点，每个节点只负责训练分配给它的专家部分，就像让每个医生只专精自己的科室。节点间定期同步更新的参数，而不是传输完整模型，大大减少了内存需求和通信量。
Q2：普通显卡真的能用SPES训练大模型吗？
A：是的，研究团队用16块48GB的普通显卡成功训练了2B参数的模型，而传统方法需要55GB显存，普通显卡根本无法运行。SPES将内存需求降到35GB，让普通硬件也能参与大模型训练。
Q3：SPES训练出的模型质量如何？
A：SPES训练的模型在多个基准测试中都达到了与传统方法相当的性能。2B模型在常识推理任务中表现优秀，7B模型在某些任务上甚至超越了同规模的现有模型，证明了该方法的有效性。