Easy同学正在独立开发 你的DeepSeek还在服务器繁忙吗
很多人想不明白为什么要我在自己电脑上跑DeepSeek R1蒸馏的本地模型。说下我自己的想法吧。
本地模型对家用电脑用户来讲最大的用处不(光)是跑越狱模型。更大的意义是,通过它可以建立一个超高性价比和超高安全性的「本地模型+远程大模型API混合模式」。
首先,它可以先自己处理一些简单的请求,比如嵌入,比如语音转文本。这些不光是省钱,而且快。网挂了也能用。光是嵌入服务,就可以让你语义搜索文本库。还有就是,从生图服务的价格看,本地模型虽然慢,但真的一张省几毛。
然后,它可以作为转发器,根据你的问题和服务在线情况,智能的把你的请求转发给对应的模型。比如,并不是所有问题都需要推理,而不同模型也各有擅长。尤其是在多模状态下。
另外,当你非要使用某些流氓前科厂商的api的时候,它可以帮你把上下文中的个人隐私信息给过滤掉。然后再发送过去。