做了2w次实验之后,我才知道deepseek的kv cache到底优化有多好网页链接deepseek的缓存请求命中率无论是在工作时间,还是非工作时间一直保持着100%命中率,且这种命中率在达到了12小时之后,依然维持着100%。第二名是minimax,它在非工作时间可以达到90%的缓存命中率,但是在工作时间段会下降到70%左右的缓存命中率。但是非常奇怪的事情就是minimax的在第一分钟的缓存丢失率甚至更高,这可能与内部的缓存读取机制有关系。接下来分别是kimi,openai和glm。AI创造营
