LM Studio 发布了 0.3.10,最大的特色是支持了 Speculative Decoding 。简单的说,就是引入一个小模型来加速。
我试了下,在 Mac Mini M4 32G上,用 DeepScaleR 1.5B 给 DeepSeek R1 Qwen32B 作为辅助模型,可以把输出从 5.x 提升到 7.x ,根据场景不同会有惊喜。
感觉我的Mac 又有用一点了 [允悲]
LM Studio 发布了 0.3.10,最大的特色是支持了 Speculative Decoding 。简单的说,就是引入一个小模型来加速。
我试了下,在 Mac Mini M4 32G上,用 DeepScaleR 1.5B 给 DeepSeek R1 Qwen32B 作为辅助模型,可以把输出从 5.x 提升到 7.x ,根据场景不同会有惊喜。
感觉我的Mac 又有用一点了 [允悲]
作者最新文章
热门分类
科技TOP
科技最新文章