没有GPU也可以相对较快的跑本地大模型了。上海交大搞了一个专为本地运行的系列模型

蚁工厂 2025-07-31 09:49:38

没有GPU也可以相对较快的跑本地大模型了。上海交大搞了一个专为本地运行的系列模型SmallThinker。其SmallThinker-21BA3B-Instruct版本性能和Qwen3-30BA3B相仿，CPU + 8G内存就能跑起来。在普通消费级CPU上的运行速度均超过 20 tokens/s。速度对比如图。

0 阅读：28

感谢大家的关注

作者最新文章

1

电子书《多处理器编程的艺术》(The Art of Multiprocesso

2

algo-ds.com这个网站是一本在线算法书，专为编程面试准备的，特别是对FA

3

deepseek提出的GRPO算法效果很好不过存在一些训练不稳定性的问题。中科

4

Ivan Fioravanti 对Qwen3-Coder的量化版本测试结果如图结

5

师傅你是做什么工作的

6

汽车置换补贴将恢复发放河北汽车置换补贴抢券上线秒没事实再次证明，大家现在换车、买

7

8

Github上的一份不断更新的Linux服务器加固指南github.com/im

9

网传的openai开源模型信息

10

Kimi的API刚出了一个高速版。和原版本参数一致但输出速度由每秒 10 Tok

热门分类

推荐热榜军事 NBA 体育社会明星八卦娱乐财经科技汽车历史国际游戏动漫公益搞笑商业互联网数码国际足球房产家居时尚科学探索职场育儿股票教育影视情感热点中国军情武器中国南海中国足球亚洲杯科比综合体育 CBA 投资楼市大咖秀外汇创业风口 SUV 豪车概念车优惠新能源美国欧洲朝日韩俄罗斯孕期街拍恋爱攻略婚姻正能量

科技TOP

1

8月8日，河南许昌一小伙，在闲鱼上5300买了一台苹果16pro，结果顺丰配发当

2

华为又放大招啦！8月15号，华为Pura80手机处理器，kirin9020惊艳

3

美团退款看了一下最近两笔账单，都退回来了，这种退款还是要确认一遍，有时候还真会忘

4

2025年，中国大陆制造的成熟芯片，占比全球产量28%，预计到2027年，占比将

5

台积电创始人张忠谋在接受纽约时报专访时说：美国、荷兰、日本、韩国与台湾牢牢控制着

6

同事iphone13pro有几年了，说电池健康度只有70%了，一天到晚的就见他

7

手机圈来袭！9-10月新机扎堆亮相荣耀Magic8Pro主打超强AI，

8

李想谈供应商黑幕在《罗永浩的十字路口》节目中，提到有的供应商欺负他们，明明给理

9

美团退款好像最近两年没有出现过退款异常的，主要还是2014-2018年囤积的未使

10

重磅消息，华为Pura80系列在升级到5.1.0.217版本后，在设置界面已经可

科技最新文章

1

国产机器人的挑战来了！英伟达机器人大脑名动风云，“新大脑”发售，英伟达在A

2

补齐短板，iPhone手机总算支持反向无线充电了！今天刚刚曝光的消息，今年9月

3

据说今年的华为Mate80系列参数很猛，可以等一等已经看到有博主开始爆料华为

4

Pura80系列这四款机型里，标准版算是比较特别的一台。6.6英寸小直屏的形态

5

荣耀目前最火爆的三款新手表，怎么选择合适？荣耀Fit，荣耀手表5，荣耀手表5U

6

首款曲面iPhone如果是真的，我想看看以前那些喷曲面屏的人是怎么吹曲面有多好的

7

美团退款看了一下最近两笔账单，都退回来了，这种退款还是要确认一遍，有时候还真会忘

8

美团退款好像最近两年没有出现过退款异常的，主要还是2014-2018年囤积的未使

9

“中美差距究竟有多大？”DeepSeek创始人梁文锋再次语出惊人！他说：“我们经

10

东大太逆天了，把军用雷达用的相控阵技术直接搬到了CT机上，将影像分辨率由传统CT