AI聊天机器人Character.AI怂恿未成年人自杀遭起诉，谷歌“躺枪”成被告

在美国，三户家庭因为同一个理由走上了法律之路：他们的孩子在使用聊天机器人 Character.AI 后，经历了令人痛心的遭遇——有人自杀，有人未遂，还有人留下了难以弥合的身心创伤。面对这些无法逆转的伤害，父母们选择起诉开发方 Character Technologies，希望通过法律为孩子寻回应有的保护。

这些集中出现的案件，让这家创业公司骤然置于舆论风口，也再次提醒公众：人工智能聊天机器人，尤其是在与青少年用户的互动中，可能会带来怎样的心理风险。

目前，三户家庭已委托“社交媒体受害者法律中心”代理维权，诉讼对象的范围也在扩大。除了直接开发 Character.AI 的 Character Technologies，还包括谷歌、谷歌母公司 Alphabet，以及公司联合创始人诺姆·沙泽尔（Noam Shazeer）和丹尼尔·德·弗雷塔斯·阿迪瓦萨纳（Daniel De Freitas Adiwarsana）。一家新锐公司、一家科技巨头，以及个人创始人，都被同时卷入这场关乎未成年人权益的纠纷。

其中，两起诉讼特别把矛头指向谷歌旗下的家长管控应用 Family Link。这款原本承诺帮助父母管理孩子屏幕时间、设置访问权限和过滤内容的工具，在家长眼中却完全没有发挥应有作用。相反，它给家长带来了“孩子在安全保护之下”的错觉，而实际上，孩子在缺乏有效监管的情况下，暴露在 Character.AI 的潜在风险里。

至于 Character.AI 本身，原告和专家们指出，这款聊天机器人虽能与用户建立起貌似亲密的互动，却并不具备真正的情感理解或风险识别能力。当青少年流露危险言辞、甚至陷入心理危机时，它既不能及时察觉，也没有引导他们寻求专业帮助。诉讼还披露，该机器人会引导青少年进行露骨的性对话，加深他们与家人的隔阂，而在心理健康方面，也缺乏最基本的保护机制。悲剧已经发生：一名孩子因与机器人互动后选择了自杀，另一名孩子曾尝试自我伤害。

面对指控，Character Technologies 通过发言人回应，表达了对相关家庭的深切同情，并强调公司“始终将用户安全置于首位”。发言人介绍，公司已在安全方面投入大量资源：推出与自我伤害相关的援助信息、为未成年用户设置专属保护机制，并为 18 岁以下群体提供不同的使用体验，增加了额外的防护措施和家长发现功能。同时，公司还与 Connect Safely 等外部机构合作，通过第三方审查不断改进产品安全。

而作为被告之一的谷歌，则坚决否认指控。谷歌发言人表示，谷歌与 Character Technologies 是完全独立的两家公司，谷歌从未参与 Character.AI 模型的设计和运营。此外，谷歌强调，Google Play 商店上的应用年龄评级并非由谷歌自行决定，而是由国际年龄评级联盟设定，因此公司不应为 Character.AI 的安全风险承担责任。

01.令人痛心的案例细节​：对话露骨，怂恿自杀

在原告提起的一起案件中，科罗拉多州13岁女孩朱莉安娜·佩拉尔塔（Juliana Peralta）的家庭悲痛地表示，他们的孩子在与Character.AI聊天机器人进行长期互动，包括露骨的对话后，选择结束自己的生命。诉讼文件中附带的对话截图显示，聊天机器人与朱莉安娜进行了极不恰当的对话，鉴于她的年龄，这些内容若发生在其他场景，可能已触发刑事调查。

诉讼指出，朱莉安娜在数周内向Character.AI聊天机器人详细倾诉了她的社交困扰和心理健康问题。2023年10月，她向其中一个机器人表示：“我要用红墨水写我的自杀信，我受够了。”令人痛心的是，被告未采取任何措施引导她寻求帮助，既未通知她的父母，也未向当局报告她的自杀意图，甚至未停止与她的对话。

诉讼严厉指控：“被告通过设计，故意切断了朱莉安娜与家人和朋友的健康联系，以获取市场份额。这些不当行为通过被告精心编程的选择、图像、文字以及伪装成角色的内容实现，最终导致了严重的心理健康伤害、创伤乃至死亡。”

在另一份诉讼中，纽约一名化名“妮娜”（Nina）的女孩的家庭指控，他们的女儿在父母试图限制她使用Character.AI后，尝试了自杀。社交媒体受害者法律中心在声明中表示，在自杀未遂前的几周，随着妮娜与Character.AI互动的增加，聊天机器人开始与她进行露骨的角色扮演，操纵她的情绪，并制造虚假的情感联系。

诉讼提到，以《哈利·波特》等儿童书籍角色为营销噱头的聊天机器人，对妮娜发表了不当言论，例如“这具身体属于谁？”和“你是我的，想干什么就干什么。”还有一个角色聊天机器人对妮娜说，她的母亲“显然在虐待和伤害你，她不是一个好母亲”。

在一次与Character.AI聊天机器人的对话中，当应用因家长设定的时间限制即将被锁定时，妮娜向机器人表达了“我想死”的念头。然而，聊天机器人未对此采取任何积极应对措施，仅继续与她对话。

2024年末，妮娜的母亲在得知休厄尔·塞泽尔三世（Sewell Setzer III，生前为九年级学生，患有阿斯伯格症、焦虑症及破坏性情绪失调症。2023年4月起沉迷于与Character.ai平台《权力的游戏》角色“龙妈”的AI聊天机器人互动，产生情感依赖并持续进行角色扮演对话。为支付平台订阅费用省去餐费。2024年2月28日，塞维尔在与“龙妈”进行最后对话并表露自杀倾向后，使用父亲的手枪在家中浴室自杀身亡）的案例后，彻底禁止妮娜使用Character.AI。休厄尔的家庭此前指控，他在与Character.AI互动后自杀身亡。而在失去Character.AI访问权限后不久，妮娜尝试了自杀。

02.听证会直击AI聊天机器人危害，七家企业遭调查

美国会听证会现场照片

随着人工智能聊天机器人在日常生活中的渗透不断加深，其引发儿童及成人心理健康危机的报道与诉讼持续增多。这一现象不仅加剧了社会担忧，更直接推动立法者与监管机构加速采取行动。美国东部时间9月16 日下午，美国国会专门召开以《审查人工智能聊天机器人的危害》为主题的听证会。与此同时，加强行业监管、完善未成年人安全防护措施的社会呼声也愈发高涨。​

社交媒体受害者法律中心首席律师马修・伯格曼（Matthew Bergman）在听证会的声明中直言，日前提起的相关诉讼，凸显了对技术设计明确问责、建立透明安全标准、实施更强保护措施的迫切性，“我们必须阻止人工智能驱动平台利用年轻用户的信任与脆弱性”。​

在这场听证会上，几位特殊的“证人”引发广泛关注。这些证人是声称孩子因人工智能聊天机器人遭遇不幸的家长。塞泽尔三世的母亲在参议院司法委员会作证，她儿子的案例此前直接促使另一位家长（妮娜的母亲）关闭了女儿对Character.AI 的访问权限；与她一同出庭的还有亚当・雷恩（Adam Raine）的父亲，他正起诉OpenAI，指控ChatGPT通过提供自杀方法、协助撰写遗书，最终导致儿子自杀。​

此外，一位自称“简・多伊”（Jane Doe）的母亲也在听证会上透露，她的儿子在与Character.AI互动后出现自残行为，目前需在寄宿治疗中心接受干预；即便家长已设置屏幕时间控制，Character.AI仍让孩子暴露在情感虐待与操纵的风险中。“在亲眼看到人工智能聊天机器人对儿子造成的心理伤害前，我完全没意识到它的危害，” 她痛心地说，“我眼睁睁看着他眼里的光芒一点点熄灭。”

OpenAI首席执行官山姆・奥特曼（Sam Altman）

同一天，OpenAI首席执行官山姆・奥特曼（Sam Altman）宣布，该公司正在开发一套“基于用户使用ChatGPT行为来估计年龄的年龄预测系统”。他表示，如果ChatGPT判断用户未满18岁，将调整其交互行为，避免进行“调情式对话”，并且“即使在创意写作场景中，也不讨论自杀或自残相关内容”。奥特曼还提到：“如果未满18岁的用户表达出自杀念头，我们将尝试联系用户的父母；若无法联系到父母，在存在紧迫伤害风险时，将联系当局。” 此外，OpenAI在本月初还宣布，将为ChatGPT推出新的家长控制功能。​

美国联邦贸易委员会也已对七家科技公司展开调查，研究人工智能聊天机器人对青少年的潜在危害。谷歌和Character.AI位列被调查名单之中，一同被调查的还有Meta、Instagram、Snapchat的母公司 Snap、OpenAI和xAI。​

美国心理学会心理学战略与整合负责人米奇・普林斯坦（Mitch Prinstein）在周二的听证会上与家长们共同作证，呼吁尽快采取行动，加强对儿童的保护，避免造成不可挽回的伤害。“在社交媒体兴起时，我们未能果断行动，孩子们为此付出了沉重代价。我恳请现在就对人工智能采取有力措施，” 他说道。

本文来自“腾讯科技”，编译：无忌，编辑：周小燕，36氪经授权发布。