刚把deepseek-R1 7B的模型部署到我的笔记本电脑上了,运行时候就是占用笔记本的算力了,一跑起来风扇呼呼的转,推理速度还可以,结合Cherry studio可以搭建本地的知识库,上传企业的一些文档后,就等于建立了一个内部的资料查询系统,可以用提问的方式来查东西,比如查业务资费、查规则流程等。看来想玩好以后需要买个独显的好电脑了。部署时候需要到官网申请一个API Key。
3060ti显卡,14700CPU,本地布署32b,还是可以的。就是启动速度超级慢。笔记本电脑4070显卡,布署32b也行。就是风扇呼呼的响,排气口热风直吹。
tiger
推理?太抬举所谓的ai了,目前ai理论基础还是几十年前神经网络数据库,靠大量的训练丰富数据,本质还是查数据库,智商基本为0,和人类的逻辑推理有本质差别
tiger 回复 闫蛮子 02-08 17:17
现在的ai没有本质上的突破 还是老的神经突理论 靠的是运算速度和存储量
闫蛮子 回复 02-08 17:11
你人还是几亿年前的细菌进化出来的呢,别丢人现眼了
再见理想
就一lj
赚钱养佳
申请不了了吧
8529578
用ollama搭和省事,在12年的老本上搭起来1.5b,玩玩还行,本地低于70b没啥大的价值。
Y Feel Me 回复 02-19 09:42
32B也是可以的。公司电脑试了一下,感觉写脚本和问问题已经非常的专业了。但是和专业人士还是有差距的,不过已经弥补巨大的鸿沟了
8529578 回复 02-19 12:28
不用,这个主要吃显存,2080ti魔改就能跑起来。
松香之林
我玩过7B和14B模型,功能都不强大。我是希望要个AI,充当系统架构师的作用,可以帮忙解析需求,指导开发,生成各种客户需要的文档。
松香之林 回复 02-10 11:27
希望以后项目做完,直接生成一个项目数据模型,给客户的AI来验收录入。
wdkbaby
效果一塌糊涂
用户93xxx14 回复 02-09 21:54
你不会连电脑开关机都不会吧,关机不是直接拔插头吧!
大飞 回复 02-24 08:58
低版本幻觉率高!哈哈~很正常数据库不全,他会编一些假的东西出来,671版本的满血版本基本不会出现,但成本太高了!
武寒旭
刚装了7B、14B和coder v2 16b,感觉4G的GTX1650能跑,速度还行,效果远不如网上的。
黎黎黎
受够了服务器繁忙,用3060笔记本部署了7b本地,用起来跟网页版比,就是一个大学生跟幼儿园儿童的智商对比,真是毫无用处
泰山日出
本地部署要申请key?
用户12xxx12 回复 02-10 01:22
不需要吧
一个好人
就下的4.9g的模型,硬盘空间莫名没有了去20g
瑶香阁
我也想尝试本地化部署,但是不知道如何搞[哭笑不得]
沉默星空 回复 02-14 10:53
首先有个差不多的电脑,显存最好8g 以上,然后就是网上的一条龙教程,最起码常规软件重装系统啥的要会一些,不然还是别搞了,直接用官方app 吧
大飞 回复 02-24 09:01
京东买一个满血服务器,目前最少20万左右,勉强能用,自己配置可能10万左右
依阿华
卖显卡的
寂寞才找你
我的戴尔 730服务器是不是可以废品利用了
用户12xxx22 回复 02-18 21:30
服务器有毛用,没有显存
天神
开源的申请key?
沉默星空 回复 02-14 10:51
一窍不通,ip 正确
用户21xxx27 回复 02-18 09:18
联网跑数据需要买api
一号两用看着喷
什么垃圾号码 自己试试再出来说话
用户83xxx63
单机版的就看机主放了什么东西在硬盘里,可以买个扫描工具把需要的东西变成文档,会玩的人挺不错的
到处转转
基于历史知识提炼,语言加工,所以称自然语言大模型,不过还是不错,限于问答,工具还是不错的。
戈比劳王
问问cherrystudio怎么搭建企业自己的文件库
罗莎海
这些说科技只是负责编非自己做的事情
没有不存在
你没有独显还可以部署DeepseeK?我怎么连欧力吗都运行不了
大好河山
直接360满血版就可以用,还能随时切换其它模型,关键免费还联网,何必这么麻烦,关部署好还不是满血版,不能联网,效果大打折扣。
你是逗比嘛 回复 02-14 23:14
他这个不能上照片
用户21xxx27
api要花钱的