如何看待AI模型蒸馏 AI圈“攻防战”再升级!最近两件事连在一起看挺有意思:一方面,Claude Code被曝有安全后门风险,国内已有企业火速将其列入高风险名单,全面禁用;另一方面,Anthropic又指控多家中国实验室搞“工业级模型蒸馏攻击”,称他们用大量账号对话提取数据。
抛开情绪,模型蒸馏到底怎么界定?童子认为应当这么看:
从技术路径看:分为“白盒蒸馏”(需访问大模型内部隐藏层特征)和“黑盒蒸馏”(仅依赖最终输出的概率分布);从实现方式看:分为“输出蒸馏”(小模型直接模仿大模型的最终答案)和“特征蒸馏”(学习大模型中间层的推理思考过程)。
所以,用海量账号对话去提取数据,从技术路径看属于“黑盒蒸馏”,从实现方式看属于“输出蒸馏”。这也是一般故事里的双方各执一词的本质原因:技术派看重架构创新,质疑派则死盯数据来源合法性。
说到底,界定标准很清晰:通过公开API获取数据训练,属合规的“黑盒蒸馏”;未授权窃取底层代码或植入后门,才叫“盗窃”。把通用技术路线直接定性为“恶意窃取”,本身就是在偷换概念,你说是不?


