科技股的风险
看到国外AI团队用1-bit算法对大模型进行压缩,所需缓存内存减少6倍,速度提升8倍,几乎没有精度的损失。
实测将开源的GLM5.2部署在Mac上,输出达到20Token/s,在执行复杂任务中实际表现媲美Claude 4.8Opus和GPT-5.5。
还有技术大神在8GB RTX 4060上运行了Gemma 4 26B A4B MoE模型,搭配Hermes Agent使用,输出25 Token /s,实测满足了大部分日常需求。
这不得不让人心生疑问:当前科技股的暴涨真的没有风险吗?
当前科技股的暴涨是建立在全球AI军备竞赛的基础上,天量的资金砸向了算力中心,GPU和内存供不应求,相关的产业链公司股价涨了几十上百倍,这个暴涨的逻辑是大模型需要更大的算力中心,需要更多的GPU和内存,AI芯片和内存在相当长时间内供不应求。
仅仅是通过压缩算法,就能让大模型的内存需求减少6倍以上,是否意味着AI的发展路线不是只有卷内存和GPU,算法的创新可以打破内存墙的瓶颈,也不需要那么多的内存和GPU。