清华大学在DeepSeek - 671B全量版运行上的最新突破： 过去需要8张H100显卡，成本几百万，现在只用一张4090显卡，成本六万出头，就能跑起来。效率提升28倍！这是什么概念？普通用户也能用4090显卡跑大模型了！算力门槛一下就被拔平了！想搞AI的中小团队、个人开发者有救了！
牛的是清华又双叒叕突破了！这次他们提出了创新性的CPU+GPU混合架构，把400G缓存放进了内存里！不需要那么多显卡集群，也能跑大模型！这种算法和模型结合的方法，极大地提升了算力使用效率，也极大地降低了AI的算力门槛。
只要思想不滑坡，办法总比困难多。
评论列表
猜你喜欢
【5评论】【2点赞】
【14评论】【74点赞】
【25评论】【27点赞】
【3评论】【9点赞】
【5评论】【1点赞】
【3评论】【2点赞】
作者最新文章
热门分类
科技TOP
科技最新文章
抬头看路
你什么4090，一张六万多？？？开发票了？[哭着笑][哭着笑][哭着笑]
用户10xxx83 回复 02-21 15:44
还要400g内存
风季 回复 02-21 10:02
不是说有了4090就能跑，还要380多的内存。
bydagl
慢
简约时尚风格 回复 02-21 10:43
你不看成本吗？综合收益呢？
枯萎的野草 回复 02-21 11:08
以前玩不起，至少有得玩
哇哦
只要不需要算力可以解决，就解决算力问题的时间可以拉长，芯片升级时间不会拖ai的后腿
化身孤岛的鲸_幺
我记得测过，大概得3张吧？哪里的消息，有出处么？因为太吃显存了，一张估计出不来字，3张出字都不快。
psymerlin 回复 02-21 09:55
这个好像需要新的CPU统一内存和显存架构，类似苹果的一种架构，把内存和显存整合了。
psymerlin 回复 psymerlin 02-21 11:06
如果以前CPU架构也可以，我都准备加到1T测试下了
C4
蒸馏GPT的工业垃圾
ram128 回复 02-21 13:11
虽然国际开发署凉了，但是你很讲信誉。
彰润 回复 02-21 12:57
是啊，你倒是先搞个同样的垃圾出来看看？
彳亍而行
穷则战术穿插，富则火力覆盖
用户10xxx04
权宜之计，不能沾沾自喜
惠源商贸
这么搞你们是想彻底把美国佬的根儿给刨了哇，个老流氓不跟你们拼命才怪
樱花舞兮云飞扬
一张4090效率是8张H100的28倍[捂脸哭]
韶华几曾
每秒token数肯定跟纯显方案没得比
bingo
400b的都要400显存，而且慢成申公豹[doge]
伏羲
真以为这种部署方式能用啊？慢到你想死
灿烂时空 回复 02-21 20:00
吃早餐提问 吃无饭时出结果
寻:::::::
让这货解一下数学难题就行
逍遙
当下主流的家用电脑就可以跑了，也不用很大的内存，只要设置虚拟内存就行了。
用户16xxx32
64的内存条来8根。
赛博情报官
每秒多少tokens咋不提？1.58b量化的671b满血我自己也部署过，输出慢的一逼不说还是残血
灿烂时空 回复 02-21 19:59
暂时我看到所有都是龟速 想上吊的龟速 直接免费用GPT3.5就行了
天剑
天天网络繁忙是什么原因
momogo 回复 02-21 21:32
限制使用，同一台电脑，我换个账号又能用，但也是只能用一次
用户18xxx20 回复 02-22 09:55
付钱买api就不会繁忙了
Simon
西方标准也是可以突破的，不能墨守成规！
到处转转
不是一张4090吧，就算8卡跑671确实有点慢[哭笑不得][哭笑不得][哭笑不得]
℃冰
,你们都是怎么用的 每次打开只能问一个问题 再问就是服务器繁忙
九个太阳
不考虑数据通过总线的损耗，就光DDR5到GDDR7之间的差距也得慢100倍不止吧？再一个算力也不是一个次元的。
看不见的风景
然后又跑到大漂亮去了，这是清华的一贯作风
紫气东来
搞死英伟达的节奏啊
酒后暴打丈母娘
放屁，4090部署个21b都慢的一比，671根本跑不了
圆滚滚与胖嘟嘟
能不能做个共享算力平台，根据在线时间，网络，cpu显卡算力来给点费用，这样全国闲置电脑能不能干掉银河服务器！也省了各个企业组建服务器阵列的费用！能实现吗？
梦一回╭♀丶 回复 02-22 08:14
挖矿[哭笑不得]
伊狼啸月
q4量化的，精度降低
jlspng
中国人聪明
灿烂时空
我看到那么多所有吹嘘deepseek 低成本本地部署——都是运算速度超慢的
甜湿四
AMD最近把高内存调动成高显存，这就不需要占用昂贵而且量少的显卡显存。
ILNBA
看来还是读书多一点的好[红脸笑]
爱吃花的大猫
清华。。呵呵，只会跟在人后，拾人牙慧
用户33xxx72
我一个电脑盲都知道，算法肯定在cpu和内存就可以实现，用gpu搞计算不是长久之计。
目风 回复 02-21 23:54
GPU是并行运行，CPU是单流程运行
用户_746534 回复 02-22 08:10
cpu确实是无所不能，但是某些特定场景，效率低，特别是大量计算！gpu npu 也好，都是解决特定场景而产生！它能快速大量计算，弥补cpu 的不足
1234567
清华捡浙大的饭吃
鎏金哇开呀酷烈！
丢内存里就行，连系统一起
青龙王
哇偶，只要六万嗳，不过兄弟们肾都给女神经换了苹果手机了，再拿什么换呢？[滑稽笑]
用户11xxx73
标题党。你一觉睡醒电脑还卡着不动呢