DC娱乐网

今天安装了Qwen3.6-35B-A3B-MXFP4_MOE.gguf模型,功能

今天安装了Qwen3.6-35B-A3B-MXFP4_MOE.gguf模型,功能和速度超乎想象。

我的计算机是双显卡,一个3060 12G作为算力卡,另一块用于显示,因为显存缘故,最高只能用14b模型,虽然这些模型干专业问题也不错,但缺乏推理能力。推理能力只有30b模型才有,本地算力替代,一直让我夜不能寐。

谢谢moe理论,谢谢mtp理论,因为是这两个理论,才让我一个12g的老显卡能跑35b模型。

安装很简单,从网上下moe模型,然后ollama creat 一下,就能运行了。

对了,大家用什么客户端能自动保存、维护提示词和记忆?我现在用的是minimax code,无法将本地模型接进去。