全球移动互联网公司APUS与大模型创企新旦智能宣布，联手开源国内首个千亿参数的MoE（混合专家模型）APUS-xDAN大模型4.0，这也是国内首个可以在消费级显卡上运行的千亿MoE中英文大模型。
APUS-xDAN-4.0（MoE）参数规模为1360亿，可在消费级显卡4090上运行，据APUS实测，其综合性能超过GPT-3.5，达到GPT-4的90%。
数学能力上，测评基准GSM8K的测评得分为79，理解能力MMLU达到73分。
AI大模型需求重整算力产业格局过去一年中，我曾经和很多业内人士做过交流，在国产GPU的使用上，大家并不避讳“还不那么好用”的现实，就连国产芯片的某家提供商也很坦诚地表示过：“性能和开发生态的搭建确实有差距，我们也不能骗人，但进步已经非常快了，生态也要大家一起来建设。”
罗马不是一天建成的。关于在硬指标上全面追上世界最先进的芯片产业水平有多难，局长已经讲了几年。GPU也是芯片，在短时间内全面追上英伟达的GPU水平，显然是不够现实的。
但好在，实际输出的算力水平，绝不是一个只和GPU挂钩的东西。
在ChatGPT将AI在大众层面彻底引爆后的一年，全世界都达成了一个共识：人类的未来将取决于你如何使用AI，而AI发展到什么水平，则取决于算力。
算力取决于什么呢？
在过去一年，很多人觉得是芯片。所以英伟达在2023年成了“全世界最重要的公司”。所有搞大模型的企业，到了一定规模就会开始发通稿说自己又买了多少张英伟达的GPU。
但这只是一种资本市场有目的的助推之下的误区。
AI大模型是一个必须落向应用的东西，支撑大模型的算力也是同理：这意味着从硬件到软件、到调度、到接入产业应用，整个算力产业是一个非常复杂和系统化的综合性工程。每一个环节的能耗、效率、成本，都会直接影响最终算力的实际输出。
而算力最终是要拿来用的。
国内首个千亿MoE架构模型开源不难发现，此次开源的APUS-xDAN 大模型4.0率先引入MoE（Mixture of Experts）架构，成为国内首个开源的千亿参数MoE架构大模型。相较于其他宣称拥有MoE架构但未开源验证的模型，APUS-xDAN 大模型4.0（MoE）真正将MoE架构应用于超大规模模型。
值得一提的是，APUS-xDAN 大模型4.0（MoE）采用GPT4类似的MoE架构，特点是多专家模型组合，同时激活使用只有2个子模块，实际运行效率对比传统Dense同尺寸模型效率提升200%，推理成本下降400%。在实际部署上，通过进一步的高精度微调量化技术，模型尺寸缩小500%，从而拥有了国内首个可以在消费级显卡运行的千亿MoE中英文大模型。
这些特性赋予APUS-xDAN 大模型4.0（MoE）在处理复杂任务时，拥有无与伦比的学习效率与模型容量，为人工智能的边界拓展注入澎湃动力，为中国AI产业开拓了全新破局路线，成为国产大模型创新探索的先行军。
此次，APUS-xDAN 大模型4.0（MoE）以令人瞩目的1360亿参数规模，一举超越当前国内最大开源模型——阿里的千问72B（720亿参数），稳居国内参数规模之冠，综合性能达到主流大模型TOP级。这一历史性突破，不仅见证了我国在超大规模预训练模型研发领域的重大飞跃，更有力彰显了我国人工智能科研实力与技术创新力的国际地位。
免责声明：
1、本号不对发布的任何信息的可用性、准确性、时效性、有效性或完整性作出声明或保证，并在此声明不承担信息可能产生的任何责任、任何后果。
2、 本号非商业、非营利性，转载的内容并不代表赞同其观点和对其真实性负责，也无意构成任何其他引导。本号不对转载或发布的任何信息存在的不准确或错误，负任何直接或间接责任。
3、本号部分资料、素材、文字、图片等来源于互联网，所有转载都已经注明来源出处。如果您发现有侵犯您的知识产权以及个人合法权益的作品，请与我们取得联系，我们会及时修改或删除。
