DC娱乐网

dsh的万物皆插件很好用啊,开始自己设计方便调用本地模型的插件 另外现在的本地部署框架很成熟了,moe模型的部署可以把专家缓存到显存里,其他部分放内存,所以甚至可以部署100B左右的模型,大概就是中号flash的尺寸(话说deepseek v4.1 flash都快700B了叫flash真的合适吗) ​

dsh的万物皆插件很好用啊,开始自己设计方便调用本地模型的插件

另外现在的本地部署框架很成熟了,moe模型的部署可以把专家缓存到显存里,其他部分放内存,所以甚至可以部署100B左右的模型,大概就是中号flash的尺寸(话说deepseek v4.1 flash都快700B了叫flash真的合适吗) ​