DC娱乐网

大模型装不进手机,很多时候不是模型不行,是存法太浪费。 三星的做法叫 Littl

大模型装不进手机,很多时候不是模型不行,是存法太浪费。
三星的做法叫 LittleBit:它不直接保存完整的数值,而是先把权重拆成一个个小零件,再把每个零件压成只有正负两种状态。
结果是原本约 26GB 的权重,体积掉到 0.9GB 以下,普通电脑甚至手机都能放得下。
这不是常见的量化压缩,是把权重的表示方式整个换掉了。
想让模型跑在端侧的人,这个方向值得跟。