最近帮导师整理AI大模型的相关文献，越看越觉得数学才是藏在AI背后的隐形推手。
现在大模型动不动就千亿参数，训练一次烧钱几百万，泛化到小众场景还经常“幻觉”，看似是算力堆出来的问题，本质上很多卡脖子的地方都卡在数学模型的精度上。比如最近火起来的稀疏化激活算法，就是靠拓扑数学的流形假设，把原本1750亿参数的GPT-3推理成本砍了40%，还能把生成内容的错误率降12%。
之前不少人觉得AI发展靠堆数据堆显卡就行，现在才发现没有新的数学理论破局，再堆硬件也迟早碰到天花板。