你有没有想过，神经网络训练结束后，最初写进参数里的信息还在不在？
前 OpenAI 研究员 Will Depue 做了个有趣的实验。
他先把笑脸和自己的照片写进神经网络的一层权重矩阵，再让它正常学习 MNIST 手写数字识别。
结果模型准确率接近 98%，但把训练后的权重重新画成图片，笑脸和人像居然仍然隐约可见。
背后的原因是，神经网络的参数通常远多于完成任务真正需要的数量。
简单理解，识别手写数字只用到了参数空间的一小部分。普通 SGD 训练时，主要修改与当前任务有关的方向，剩下的大量权重变化很小。
于是，提前写进去的图案就像一张没有被完全覆盖的底片：模型已经学会了新任务，但旧图像仍残留在参数里。
这不代表神经网络“认识”或“记住”了这张脸。人脸没有变成模型的知识，只是部分初始数值没有被训练彻底改写。
而且这种痕迹并非永久存在。权重衰减会让图案逐渐变淡；Muon 这类能更广泛改写权重矩阵的优化器，甚至可以把它基本抹掉。
换句话说，神经网络的训练更像局部装修，而不是推倒重建。
新功能已经装好了，但某些没被动过的墙面上，还留着旧房子的痕迹。
