DC娱乐网

推荐 GitHub 上一个小工具WhichLLM。它的能力,是给用户选出能在私人

推荐 GitHub 上一个小工具WhichLLM。它的能力,是给用户选出能在私人机器上跑、性能最好的本地大模型。但请注意,它做的不是“参数越大越好”那种粗暴推荐,而是非常有意思的精细化操作——

它可以自动识别用户的 GPU / CPU / RAM;去 HuggingFace 拉取最新的模型数据,还能结合 LiveBench、Aider、Arena ELO 等多源基准,给各模型算一个 0–100 的综合分;将“能跑”和“跑得好”分开,比方说吧,即便 32B 能塞进显存,它也可能会把 27B 排到第一名去,为啥呢,因为其基准更高、代次更新。

这个项目,对脚本挺友好的,它支持 JSON 输出、Python 代码片段,也方便接入 Ollama、vLLM 或其他工作流。

这个项目是 Python 写的,是MIT 协议,适合开发者和研究者,以及想搞本地 LLM 、但又怕踩坑的科技爱好者们。需要的朋友们,快来试试吧!

🔗项目地址: github点com/Andyyyy64/whichllm

和朋友吃饭通常是AA还是轮流请客? 我认为AA制