是我狭隘了。8G卡跑vulkan版llama,模型是Llama-3.2-3b q4,可以达到90+t/s,跟调用API相差无几。笔记本上内存占到5G以上,速度大约2t/s。台式机上内存占0.5G,gpu占用率20%
是我狭隘了。8G卡跑vulkan版llama,模型是Llama-3.2-3b q4,可以达到90+t/s,跟调用API相差无几。笔记本上内存占到5G以上,速度大约2t/s。台式机上内存占0.5G,gpu占用率20%