从卖流量到卖词元，海光给运营商递了一把好铲子
今儿海光在联通合作伙伴大会上发布了“词元经营双芯加速方案”。信息量不小，回来的路上我琢磨了一路。“词元经营”这个词最近在运营商圈子里很热。今年3月国内日均Token调用量已超140万亿，两年前这个数字是1000亿。流量增长见顶，Token价值却刚刚开始释放。但问题很现实：怎么低成本、高效率地生产这些Token？
海光的回答是CPU+DCU双芯协同。CPU管调度编排，DCU管并行计算。看似简单，但70B模型、batch=32、8K上下文时KV Cache能干到640GB，单卡扛不住。他们的做法是用PD分离架构把预填充和解码拆开，各自优化，整体吞吐上台阶。加上自研HSL互连协议，卡间带宽448GB/s，比PCIe高出一大截。
还有内生安全，芯片级密钥管理、虚机隔离、显存加密。对运营商来说，安全不是加分项，是底线。
海光的这个方案把词元从生产到计量的全链路都覆盖了。国产算力发展到今天，胜出的是系统级的工程化能力。海光这次拿出的，是一份面向运营商真实业务场景的答卷。
联通合作伙伴大会 Token