Easy同学正在独立开发你的DeepSeek还在服务器繁忙吗很多人想不

南晴评科技 2025-02-08 13:20:17

Easy同学正在独立开发 你的DeepSeek还在服务器繁忙吗

很多人想不明白为什么要我在自己电脑上跑DeepSeek R1蒸馏的本地模型。说下我自己的想法吧。

本地模型对家用电脑用户来讲最大的用处不(光)是跑越狱模型。更大的意义是,通过它可以建立一个超高性价比和超高安全性的「本地模型+远程大模型API混合模式」。

首先,它可以先自己处理一些简单的请求,比如嵌入,比如语音转文本。这些不光是省钱,而且快。网挂了也能用。光是嵌入服务,就可以让你语义搜索文本库。还有就是,从生图服务的价格看,本地模型虽然慢,但真的一张省几毛。

然后,它可以作为转发器,根据你的问题和服务在线情况,智能的把你的请求转发给对应的模型。比如,并不是所有问题都需要推理,而不同模型也各有擅长。尤其是在多模状态下。

另外,当你非要使用某些流氓前科厂商的api的时候,它可以帮你把上下文中的个人隐私信息给过滤掉。然后再发送过去。

0 阅读:1
南晴评科技

南晴评科技

感谢大家的关注