别花2万配显卡！4G也能跑70B大模型
说真的，想玩本地大模型的人，谁没被显卡价格劝退过😭
刷了一圈教程，人家张口就是“显存至少24G起步”，一张卡动辄上万，配一套直奔两万💸
再低头看看自己那台4G显存的旧电脑……默默关掉了网页🙃

直到我挖到这个开源项目：AirLLM 🔥
GitHub 4.1万 star，Apache 2.0 开源协议，pip 一行就能装

它的思路很野：不把整个模型塞进显卡，而是一层一层加载，算完一层换下一层，显存只要装得下一层就行👀
作者公布的数据是：70B 模型，单张 4G 显卡就能跑！
（⚠️这是作者自己公布的，我还没实测过，大家理性看待）

🔧 上手就3步
1️⃣ pip install airllm
2️⃣ 用 AutoModel 加载模型
3️⃣ 像 transformers 一样生成文字

⚠️ 丑话必须说在前面：
它真的慢！每次生成都要从硬盘把各层读一遍，别指望秒回，实时聊天就别想了😅
建议用 NVMe 固态，还要预留足够硬盘空间

✅ 适合谁？
· 预算有限，想先摸摸大模型的学生党
· 有合同、病历这类不想上云的隐私数据
· 晚上丢一批文档进去，第二天收结果的人

省下的两万块，买点啥不香🤔
你的电脑是几G显存？评论区报个数，看看有多少“穷显卡”战友👇