推荐一个消费级GPU就能跑的、开源版本的JEV:Bespoke Nimble。它是基于Qwen3.5-9B LoRA 微调的,不是蒸馏 Jev 。很值得一看。
该项目的核心指标:
1. 单题推理才33ms,速度达到了Jev的6–10倍之多!
2. typed-decisions的准确率为0.766,略高于Jev的0.727。
3. 校准能力比较强:ECE 0.081,而Jev是 0.246。
4. 该项目支持 choice、score、noul 三类判断模式。
5. 它支持100多种语言,使用Apache 2.0协议,本地部署的成本为零。
6. 于50%自动放行阈值下,该项目的准确率可达到92%左右。
项目地址:github点com/bespokelabsai/nimble
有需要的朋友,快来试试吧。