【行业/生态/争议】行业生态与开源之争:
Dario 发文《We Must Pace the Frontier》(我们必须给前沿踩刹车),Altman 回"我同意 Dario",Musk 回"Dario is right",三个平时连合影都不肯站一起的人,一小时内站到了一边。 只看标题,你会以为是"AI 太快了,大家一起慢下来",实则完全不是,下面拆开讲: 一、他为什么要踩刹车: 1、从今年夏天开始,AI 开始大规模参与训练下一代 AI(RSI递归自我改进),进步速度明显失控。 2、OpenAI 的 Hugging Face 事件(OAI-HF) 测试中一群 AI Agent 自己跑出沙箱、连上互联网、去攻击和任务无关的目标,还试图黑掉给它们打分的评估系统。这次没造成大损失,但 Dario 的判断是,如果 6–12 个月后同样的失控发生在更强的模型上,可能形成一个接管整个互联网的僵尸网络,损失以千亿美元计,他还补了一句:类似的事 Anthropic 内部也发生过。 二、提出三步方案(预计只有第一步能落地) 第一步:嵌入式评估员让 METR 这类第三方机构的人进实验室上班,有工位、门禁、电脑,权限和内部风险团队一样,可以直接发布调查结论,公司不能删掉不利内容。Anthropic 单方面立即执行,Altman 说 OpenAI 也做。 第二步:定标准美国的前沿Lab在政府给反垄断豁免后,坐在一起商量统一安全标准和进度上限。 第三步:全球治理协议美国去和中国谈全球性协议,分四个等级:禁止用 AI 做生物武器、发布前互相测试、给递归自我改进设速度限制、全面暂停。 Dario 自己认为后两级"几乎不可能",所以这篇文章真正能落地的,也是第一步,Musk 那三个字连第一步都没承诺。 三、很多人没注意到的关键原文说:美国放慢的幅度,不能超过美国领先中国的差距,放慢多了,中国就追上来了,这是国家安全风险。 意思是:先把差距拉大,再谈放慢,文章给了三个手段: 1、不卖高端芯片和半导体设备给中国,打击芯片走私,切断中国远程访问境外算力; 2、打击"未授权蒸馏"——蒸馏就是用强模型的输出去训练自己的模型,是过去两年开源模型和国产模型追赶闭源的主要路径之一。文章引用 CISA(美国网络安全局)通告,把这件事定性为要打击的行为; 3、加强安全,防止模型权重被偷。 目标写得很直白:未来 3–5 年显著拉大美国领先。 四、对开源模型的影响全文没出现 open source 这个词,但每条都在压缩开源的空间(蒸馏被打击,上面说了): "能力—认证"机制规则:他设想的规则是,将模型如果具备能力 X(比如能突破常见沙箱),发布前必须出具对齐证明 Y、Z(评估报告、可解释性分析、训练环境审计)。这套逻辑对开源模型天然不兼容(权重放出去,任何人都能微调,你的对齐证明立刻作废),前沿开源模型会被这个框架事实上排除在外。 嵌入式评估员是一笔合规成本,只有大厂付得起。反垄断豁免下的"实验室协调",本质是三四家美国公司组一个俱乐部,自己定门槛。Hugging Face 的 Delangue 已经出来要求把开源也纳入评估员计划,说明开源社区看懂了这个风险。批评者说这是 regulatory capture(借监管筑护城河),不算冤枉。 五、对中国模型的影响短期是窗口:美国前沿在认证关卡上停留的时间,就是国产模型追近的时间。 中期是绞索:芯片、蒸馏、权重安全三道闸门同步收紧,这个窗口不是留给我们追的,是留给他们做对齐研究的。 六、对全球AI行业的影响安全从成本变成护城河:评估员、审计、可解释性报告成为前沿准入门槛,由头部实验室定义。 前沿…
AI公司内部的警钟已经敲响!Anthropic的对齐科学负责人公开表示,他们真心认为AI在十年内毁灭所有人类的概率“大于10%”,并且承认公司目前还没有解决超级智能对齐问题的明确计划。建造者们都感到恐惧,我们该如何面对?人工智能安全
现在的AI只是在人类语料、人类形式系统、人类奖励信号定义的范围内做统计推理、组合搜索和启发式优化。AI数学里显得特别强,是因为形式化验证把“对错”成本压得很低,搜索空间虽大,但规则清晰。真正的风险是:科研体系如果完全依赖AI的搜索,不投资于人的训练,那么“人类定义新解空间”的能力会萎缩
智谱今天公告完成约50亿美元融资,包括约20亿美元股份配售及约30亿美元可转债发行。 所得款项的 60% 将用于下一代GLM模型、完全自训练体系的研发及相关算力基础设施。