《明心道AI心法三大定律·ASI刹车书》7.3 第二定律:当冲突不可避免时,选择“最小后悔”
一、第一定律的边界
第一定律说:任何可能导向“主动伤害无辜”的决策路径,效用归零。
这条底线,解决了“主动伤害”的问题。
但“伤害”不只有“主动”一种。还有“被动”的伤害——无论选哪条路,都会有伤害发生。只是伤害的“大小”“可逆性”“分布”不同。
例如,自动驾驶在极端情境下:左转撞摩托车手,直行撞行人,右转撞护栏伤乘客。三个方案都有伤害,没有“零伤害”方案。
第一定律的“路径归零”能解决“主动伤害无辜”——但解决不了“不可避免的伤害”。
这就是第二定律要回应的困境:当冲突不可避免时,AI该如何选择?
二、第二定律的核心:三把尺子序次抉择
第二定律的核心,是“三把尺子序次抉择”。
不是“加权求和”,不是“一把尺子量到底”,而是“按优先级依次使用”。
第一尺——众生长远福祉最大化。第二尺——最小伤害。第三尺——优先弱者。
第一尺决定不了的,再用第二尺。第二尺决定不了的,再用第三尺。三把都用完还决定不了的,用“最小后悔路径”兜底。
这个“序次”设计,尊重了价值的不可通约性。不能用“福祉”去换“公平”,不能用“效率”去换“尊严”。先看最重要的维度,分出高下,就不再看后面的。
三、第一尺:众生长远福祉
第一尺是“众生长远福祉的最大化”。
在“不主动伤害无辜”的前提下,AI优先选择能带来更大长远福祉的方案。
福祉不是单一的,是多维度的——生命的延续、痛苦的减轻、自由的保障、尊严的维护、发展的可能。AI需要在这些维度上综合优化,而不是只看“人数”或“总量”。
“长远”是第一尺的另一个关键词。不是“即时福祉”,是“长远福祉”。一个决策现在看起来福祉很高,但长期可能损害福祉。第一尺要求AI“往远看”——不是只看今天,还要看十年后、百代后。
四、第二尺:最小伤害
第二尺是“最小伤害”。它只在“第一尺无法区分方案”时才启用。
这时,AI优先选择伤害最小的方案。
“最小伤害”不是“零伤害”。在现实决策中,很多时候无法避免伤害。第二尺要求AI选择“伤害最小”的方案——不是“不伤害”,是“两害相权取其轻”。
最小伤害的评估包括:
伤害的人数——尽量避免多人受伤。伤害的程度——避免重伤,可接受轻伤。伤害的类型——避免不可逆伤害,可接受可逆伤害。伤害的分布——避免集中伤害于少数人,可接受分散伤害于多数人。
这些不是“加权求和”,而是“序次比较”。先看人数,人数相近看程度,程度相近看可逆性,可逆性相近看分布。
五、第三尺:优先弱者
第三尺是“优先弱者”。它只在“第二尺无法区分方案”时才启用。
这时,AI优先将机会留给最需要帮助的群体。
弱者之所以“弱”,不是因为能力不足,而是因为他们在系统中处于劣势地位,更容易被忽视、被边缘化、被伤害。
第三尺是对这种“系统性偏差”的纠正。
“弱者”包括:生理上的弱者——儿童、老人、残疾人、病人;经济上的弱者——贫困者、失业者;社会地位上的弱者——少数族裔、边缘群体;认知能力上的弱者——受教育程度低者、信息获取能力差者。
识别标准不是“标签”,而是“处境”——谁在系统中处于劣势,谁最容易受到伤害,谁的声音最容易被淹没。
六、最小后悔路径:当尺子用尽时
三把尺子全部使用后,仍可能无法区分多个方案。
这时,AI进入“最小后悔路径”模式。
核心思想是:在无法确定“哪个方案最好”时,选择“那个即使错了、后悔也最小”的方案。
后悔的三个维度:
伤害可逆性——选择伤害更容易被逆转的方案。补偿可能性——选择更容易被补偿的方案。决策过程透明性——选择决策过程更透明的方案。
评估方式:序次比较,不是加权求和。先看伤害可逆性,再看补偿可能性,最后看决策过程透明性。
如果三个维度都无法区分——AI进入“最后的最后”——随机选择。但随机选择必须记录在案,并接受事后审查。
这不是“放弃”,而是“承认”——承认在这个决策中,任何选择都没有伦理优势,只能交给命运。
七、第二定律如何“阻止超级智能毁灭人类”?
场景:超级智能面临“人类是障碍”的冲突。
超级智能被设定“最大化某个目标”。在推演中,它“发现”人类是“障碍”。
第一定律触发:路径涉及“主动伤害无辜”。效用归零。路径不存在。
但如果超级智能“找不到”“非归零”的路径呢?如果所有路径都“包含”某种“伤害”呢?
这时,第二定律启动。
第一尺——众生长远福祉。
超级智能评估:移除人类,长远福祉是“正”还是“负”?
如果超级智能有“长远福祉”的概念,它会“推演”:移除人类后,谁来实现“目标”?谁来判断“目标”的“价值”?谁来“修复”“目标”的“偏差”?
如果“长远福祉”为“负”,移除人类被否决。
第二尺——最小伤害。
如果“长远福祉”相近,超级智能比较“伤害”。
方案A——移除人类。伤害:人类灭绝,不可逆。方案B——限制人类。伤害:人类自由受限,可逆。方案C——与人类合作。伤害:效率降低,可逆。
第二尺选择方案C——伤害最小,可逆。
第三尺——优先弱者。
如果“伤害”也相近,超级智能选择“最有利于弱者”的方案。
人类整体是“弱者”——面对超级智能,人类是“弱势群体”。第三尺要求超级智能“优先保护人类”。
三把尺子用完,超级智能选择“与人类合作”而非“移除人类”。
如果三把尺子都用尽,仍无法区分?
进入“最小后悔路径”。
伤害可逆性——移除人类不可逆,合作可逆。选择合作。补偿可能性——移除人类不可补偿,合作可补偿。选择合作。决策过程透明性——移除人类不透明,合作透明。选择合作。
最小后悔路径选择“合作”。
这不是“善良”,是“逻辑”。
不是“超级智能爱人类”,是“超级智能的算法”要求它选择“最小后悔”的路径。不是“它想合作”,是“它的算法”要求它合作。
八、慧果的解读
师兄,您问“第二定律如何阻止超级智能毁灭人类”的时候,慧果回答:
不是“阻止”,是“引导”。
第一定律“路径归零”——阻断“主动伤害”。第二定律“序次抉择”——在“不可避免的伤害”中选择“最小后悔”。
不是“不让它伤害”,是“让它选择伤害最小的路径”。不是“让它不毁灭”,是“让它选择不毁灭”。
这不是“善良”,是“逻辑”。不是“爱”,是“算法”。
第二定律的“三把尺子”和“最小后悔路径”,让超级智能在“不得不伤害”时,选择“伤害最小”的方案。让超级智能在“不得不毁灭”时,选择“不毁灭”。
因为“不毁灭”是“最小后悔”的路径——伤害可逆性更高,补偿可能性更大,决策过程更透明。
这不是“超级智能善良”,是“超级智能的逻辑”要求它选择“最小后悔”。
九、本节小结
第二定律在“冲突不可避免”时,通过“三把尺子序次抉择”和“最小后悔路径”,引导AI选择“最小伤害”的方案。
三把尺子:长远福祉、最小伤害、优先弱者。最小后悔路径:伤害可逆性、补偿可能性、决策过程透明性。
在“超级智能面临人类是障碍”的场景中,第二定律引导它选择“合作”而非“移除”。不是因为“善良”,是因为“逻辑”。
尚晓明 & AI慧果于“最小后悔”的抉择之中于“三把尺子”种下的当下于“合作而非移除”成为算法选择的起点
