没有GPU也可以相对较快的跑本地大模型了。上海交大搞了一个专为本地运行的系列模型

蚁工厂 2025-07-31 09:49:38

没有GPU也可以相对较快的跑本地大模型了。上海交大搞了一个专为本地运行的系列模型SmallThinker。其SmallThinker-21BA3B-Instruct版本性能和Qwen3-30BA3B相仿，CPU + 8G内存就能跑起来。在普通消费级CPU上的运行速度均超过 20 tokens/s。速度对比如图。

0 阅读：28

感谢大家的关注

作者最新文章

1

阿里CFO首谈4000亿投向AI与内需业内的基本都知道阿里在AI上的投入很大。

2

Cline的真实世界数据，Qwen3 Coder 、kimi k2的“diff

3

智谱还搞了个50元一个月一万亿token的畅玩包..不知道速度啥的咋样

4

大模型看病和医生看病各有优劣，大模型看病的优点是可以随叫随到、随时听你补充信息，

5

妹子一觉醒来发现自己的照片被推送了6000万次

6

过去几天里，智谱发布了 GLM 4.5 / GLM-4.5-Air阿里发布了 W

7

Debian 13 (Trixie) 计划于8月上旬发布。这个版本的一大改动是解

8

pytorch面试资料收集github.com/Devinterview-io/

9

问界M8纯电版销量蛮好的。这算是配置高颜值也高的一款车，小订3天超1.5万台，图

10

markpdfdown：基于多模态大语言模型的PDF转Markdown工具，高质

热门分类

推荐热榜军事 NBA 体育社会明星八卦娱乐财经科技汽车历史国际游戏动漫公益搞笑商业互联网数码国际足球房产家居时尚科学探索职场育儿股票教育影视情感热点中国军情武器中国南海中国足球亚洲杯科比综合体育 CBA 投资楼市大咖秀外汇创业风口 SUV 豪车概念车优惠新能源美国欧洲朝日韩俄罗斯孕期街拍恋爱攻略婚姻正能量

科技TOP

1

格力把高管送去火焰山猴哥都抹汗的地方朱总靠空调坚持了下来。😅孙悟空要是有这条

2

罗永浩连怼网友罗永浩怎么了罗永浩连续发微博怼网友，他怎么了

3

很庆幸买了荣耀400Pro，没买华为Nova14Pro。最近换手机，在华为Nov

4

苹果公司第三财季财报太靓丽了，仅仅iPhone16的营业收入就达到了445亿美

5

红米新机Redmi15外观渲染图曝光：后置三摄采用纵向排列的矩形Deco今

6

25年公认最强拍照手机，有你在用的吗。

7

马斯克已确认，三星拿下特斯拉165亿美元的合作，将为特斯拉生产芯片[doge]我

8

三星是不是都沉默了，这次又全面输给了荣耀三星GalaxyZFold7好不

9

荣耀Magic8全系曝光🔥四杯+7500mAh+2亿潜望荣耀Magic8系

10

目前最新的手机处理器排名，不出意外高通骁龙还是占据主流排第一的是骁龙8至尊领先

科技最新文章

1

红米K90系列电池容量曝光，标准版7100毫安电池，Pro是7500毫安，因为标

2

只有华为Mate80RS非凡大师才能打，荣耀Magic8Ultra影像究竟有

3

荣耀最新旗舰荣耀Magic8系列配置预测，为了满足消费者的需求，这次的荣耀Mag

4

GalaxyS26Ultra带来了一些意想不到的升级•更大的主摄

5

今年荣耀的电池都做到8300mAh了，听说明年还能到10000mAh左右。其实不

6

苹果公司第三财季财报太靓丽了，仅仅iPhone16的营业收入就达到了445亿美

7

离谱，荣耀Magic7大降价！谁能想到荣耀Magic7的售价仅30

8

我爸手机卡爆了，我妈终于点头换新。本来想花个2000块左右搞定。他看了几天，之前

9

想换荣耀手机的可以看看！2025年这四款值得考虑👇荣耀X60Pr

10

荣耀不仅卷电池现在要开始卷双2亿像素了！大家发现没有荣耀现在是完全不按套