DC娱乐网

中国电信完成业界首个面向国产算力的跨架构大模型推理技术验证

上证报中国证券网讯(记者王子霖)记者12日从中国电信获悉近日,中国电信研究院联合中科院计算所、华为昇腾、沐曦等产业伙伴,依托中国电信云网融合技术中试验证平台,成功完成业界首个面向国产算力的跨架构大模型推理技术验证。此次突破构建了基于Triton的异构大模型推理框架,实现“一套框架代码、三芯透明迁移”的核心目标,将大模型算子适配周期从“周级”压缩至“天级”,性能达到原生算子库90%。

当前,国产芯片生态碎片化、算子开发难度高、适配周期长等问题,已成为制约国产算力规模化商用的关键瓶颈。为破解这一行业痛点,中国电信研究院牵头启动“Triton统一跨架构推理框架”技术攻关,成功突破三大核心技术:一是自研Triton跨架构编译器与统一大模型算子库,实现同一套算子源码在英伟达、昇腾、沐曦三类芯片上无缝运行,从根源上解决多架构适配难题;二是创新研发vLLM-Triton运行时透明嵌入插件,采用零侵入式接入方式,完整继承原生调度、内存管理及量化策略,保障框架兼容性与稳定性;三是打造图算融合编译器,通过多芯联合优化计算图,自动匹配最优算子实现方案与并行切分策略,将性能损耗严格控制在10%以内。

本次技术验证已完成10余款主流开源模型在三类芯片上的端到端推理测试,核心指标表现优异:平均迁移时间≤3天,较传统适配模式效率提升超80%;精度误差