每日140万亿Token！中科曙光开始给AI提速
国家数据局公布的数据，我每次看都觉得夸张：我国日均Token调用量从2024年初的1000亿，涨到今年3月的140万亿，两年超过1000倍。
这个量级下，互联网企业很难再只看模型榜单。用户真正能感受到的是首个Token多久出来、高峰期会不会卡、长对话能不能稳定接住；企业关心的则是同一批GPU每天能处理多少请求。
中科曙光这次发布scaleFabric Token加速技术体系，我觉得时点踩得挺准。模型服务开始大规模上线，网络和存储里的等待已经藏不住了。
训练要同步梯度，PD分离要跨节点搬运KV Cache，MoE还要频繁分发Token。scaleFabric用GDR、IBGDA减少GPU通信中转，再通过NVMe over RDMA、XDS和NFS over RDMA加快存储访问。在部分场景中，其三跳时延约较传统RoCE方案低约63%。
一次快几微秒，普通用户可能没感觉。可放进十万卡集群，再乘上海量并发和每天140万亿Token调用，差距就会落到响应速度、GPU利用率和服务成本上。
AI应用越普及，互联网企业越会精打细算。中科曙光现在提前卡住Token流转效率，方向很务实，也很可能成为下一轮智算采购的重要加分项。