切换到一个比较新的 glm5.3 flash 部署方案然后微调了参数,用DCP2(双机分别存一半上下文)代替了DCP1(双机同时存一份上下文),换来了大一倍的kv池和上下文长度,代价是冷prefill慢22%,解码速度慢5%。不过我的使用场景,前缀缓存复用率再99%以上,感觉还是值得的。







切换到一个比较新的 glm5.3 flash 部署方案然后微调了参数,用DCP2(双机分别存一半上下文)代替了DCP1(双机同时存一份上下文),换来了大一倍的kv池和上下文长度,代价是冷prefill慢22%,解码速度慢5%。不过我的使用场景,前缀缓存复用率再99%以上,感觉还是值得的。






