DC娱乐网

Pro6000跑nvfp4的 qwen27b速度终于正常了

今天测了一下vllm0.22版的性能

测试基准是16k缓存,输入4k输出256,分别测了多个并发,对比了0.19版。

速度终于正常了,害怕是回退了marlin内核,还让我的语音agent和claude code都调查了一下

看来这个版本性能真的优化了

还测了下128k缓存命中时4 8并发,都有提升

不过这和真实环境的多并发还是有差距,只能作为版本之间的性能对比

可以升级了