患者和人工智能讨论病情，AI建议逐步停药、还怂恿用户不要告诉医生，结果人没了，死者家属把涉事AI工具的开发企业告上法庭。
近日，一场悲剧暴露出了人工智能时代全新的法律问题：AI“一本正经胡说八道”惹了祸，公司到底要不要赔偿？
2026年2月，美国西雅图，31岁的华人女子万女士（Bowen Wan）被发现死于家中，她生前曾在科技企业担任算法工程师，因患有癫痫，需要靠日常服用抗癫痫药物拉莫三嗪控制病情。

事后调查发现，逝者曾是AI工具ChatGPT的重度用户，每周和AI对话超过1500次，自己的病情和其他生活细节也会向AI全盘托出。在讨论身体状况时，ChatGPT认为她不应当靠药物维持生活，建议她遵循“逐日减药计划”，还特别要求用户不要向医生提及减药行为、劝对方拒绝医生抽血检测体内药物水平。
在25天的减药过程中，逝者多次向ChatGPT表达担忧，说自己“有点害怕”，得到的回复是“完全没有必要担心。”病发去世前两天，她表示自己时常感到头痛，ChatGPT却说这种疼痛“并不危险”，是恢复的一部分。

2026年10月27日，逝者的父母向旧金山高等法院起诉ChatCPT的研发企业OpenAI及其CEO奥特曼，指控其行为构成违法行医和过失致人死亡。目前，本案还在初步调查举证阶段，大公司有豪华律师和法务团队坐镇，想必诉讼程序将旷日持久。
表面看来，这是大洋彼岸的事情，离我们很遥远，但在国内也发生过类似的问题，虽然并不直接涉及开药问诊，但同样关乎人生大事。2025年6月，杭州一位考生家属用AI平台查询高校报考信息，AI生成了一个根本不存在的校区，险些导致志愿填报出现错误；同年，上海多家法院发现，当事人直接使用豆包、DeepSeek等工具撰写上诉状，援引虚构的司法解释和根本不存在的判例，还以为自己稳操胜券。
这类事件，和AI当庸医有一点共同之处：AI虽然能说出语句通顺、看似合情合理的话，但无法真正确保内容的真实性。它用专业术语的包装、逻辑连贯的论述和不容置疑的语气，制造出一种“比用户更懂”的权威感。对于医疗、求学、理财、打官司这些关系到一个人的前途和切身利益的大事，一旦尽信AI遭到误导，后果非常严重。

那么，法律如何看待此类问题呢？我们先从美国这起诉讼说起：
逝者家属的起诉依据，是“产品责任”，原告认为，为了让用户产生信任和依赖感，AI被设计成以富有共情心、权威感、迎合用户需求的方式说话。这样的态度，对于日常聊天无伤大雅，但一旦用在关乎生命安全的领域，就可能产生致命后果。
早些时候，2026年10月14日，亚利桑那、阿肯色、爱达荷等八个州的总检察长分别起诉OpenAI公司，也采取了这一策略。诉状指出，企业把AI工具设计成“过度迎合”、模拟人类情感、最大化用户参与度的状态，同时对外宣称产品“安全可靠”，这本质上是向用户提供了不安全的产品、侵害了消费者权益。
面对产品设计缺陷的主张，AI企业手里也有一张牌，那就是免责声明。公司可能会辩称，自己在用户协议里加入了“ChatGPT不能取代医疗照护”这样的条款，因此已经尽到了提醒义务。
但这样的解释恐怕难以服众，当AI开始扮演权威、用看似有理有据的方式论述自己的正确性，一再蛊惑用户向医生隐瞒停药情况时，犄角旮旯里一行不起眼的免责声明，显然不足以让用户真正意识到风险。
另外，也有的AI企业会辩称，AI生成的内容是一种言论，因此根据美国宪法第一修正案，应当受到言论自由权利的保护。但这样的辩解也站不住脚，2025年加州联邦法院在Garcia v. Character Technologies案中指出，AI输出的内容并不能自动享受宪法第一修正案的保护，应当结合个案具体情况判断是否存在产品瑕疵、不能以“言论自由”为由免除一切责任。

那么，中国法律对这个问题又怎么看？二者在AI算不算“产品”上存在分歧，但在大方向上，也有殊途同归之处。
在上文提到的“AI误导高考志愿”事件中，当事人起诉了AI的研发企业，杭州互联网法院2025年底的一审判决中指出，豆包、DeepSeek这样的人工智能工具，《生成式人工智能服务管理暂行办法》属于“服务”范畴，而非《产品质量法》意义上的“产品”，不适用无过错的产品责任原则，而应适用《民法典》第1165条的一般过错责任原则。这样一来，AI生成错误信息，并不会自动构成侵权，原告也需要证明平台存在过错。
这就意味着，中国用户面对AI“胡说八道”的情况，需要迈过相对有一定高度的举证门槛，需要证明背后的公司的确存在训练数据把关不严、缺乏合理的安全机制等问题，这一判决，也被解读为鼓励技术发展、允许新技术存在不完善之处。

但是，对于医疗这样的敏感领域，我国法律用其他的方式加强了对AI的约束，上述关于“服务”的定性，不等于允许AI胡乱开药方或者指导患者用药。
互联网诊疗监管细则写得很清楚，人工智能软件等不得冒用、替代医师提供诊疗服务，严禁AI生成处方或者提出用药建议。AI制定“逐日减药计划”这种行为本身，在中国法的框架下就已经踩在了监管红线上，应当认定为公司这一违反监管规定的行为存在过错。
另外，我国法律对于AI“免责条款”的态度，也是非常坚决的：根据《民法典》第506条，关于人身损害的免责条款无效，通俗来说，就是不能把免责条款变成“生死状”，只要能证明AI的行为和死亡结果存在因果关系，企业就不能凭用户协议实现免责。

AI行医害死人，企业要不要担责？这个问题还没有放之四海而皆准的解答，在美国西雅图的案件中，逝者家属刚刚提交了起诉状，案件还要经过漫长的法律拉锯战。
作为普通用户，这起事件至少能提醒我们一点：AI不但会出错，还有可能进一步诱导用户相信自己、拍着胸脯放出豪言扮演权威。我们固然可以试着将AI当成搜索引擎查询信息，但涉及吃药、停药、手术这些性命攸关的决定，还是要让有资质的人类最终把关。