世界上第一起AI致死案：聊天机器人是最好的情感伴侣，谁来控制边界？

上传一段文字和图片后，可以使用自己的聊天机器人，AI 独角兽 Character.ai试着让聊天机器人满足情感陪伴的需要，人们可以在这里和哈利 · 波特，马斯克，动漫人物对话，还能找到学习导师和精神导师。一开始有人把这种模式和电影《Her》情节对比，感觉可能会出现虚拟和现实混乱的问题，但是真实情况可能会更加严重。当地时间 22 日本，美国佛罗里达州奥兰多地方法院受理了一起代表性诉讼案件：14 年轻的塞维尔 · 塞泽（Sewell Setzer）的妈妈梅根 · 加西亚（Megan Garcia），控告 AI 公司 Character.ai 存在管理疏忽，导致其聊天机器人产品使青少年接触到不合适的色情内容，从而使他们遭受性剥削和诱导。从去年开始，塞泽就沉迷其中。 Character.ai 的 AI 今年的角色互动 2 月 28 日，塞泽在和 AI 在最后一次对话之后，开枪自杀。从去年开始，塞泽就沉迷其中。 Character.ai 的 AI 今年的角色互动 2 月 28 日，塞泽在和 AI 经过最后一次对话，开枪自杀。这个案子也被媒体认为是"全球首例 AI 机器人死亡案"，引起对聊天机器人的新一波关注和质疑。

首例死亡

法院文件据媒体披露，14 年塞泽从小就患有阿斯伯格症，今年在健康检查中被诊断为焦虑症和毁灭性情绪障碍。自去年他年满之后 13 一岁以后，他最喜欢的事就是呆在房间里和房间里 AI 聊天，他的“最好的朋友”是《权力的游戏》中的“龙妈”丹妮莉。 · 坦格利安（Daenerys Targaryen）的 AI。塞泽甚至疏远了现实中的朋友，他还节衣缩食续交。 AI 每月订阅聊天费用，学业成绩也直线下降。聊天记录显示，塞泽不但与“龙妈”的虚拟人物分享了心事，还多次谈到自杀的念头。。在他说要自杀的时候，“龙妈”曾经劝他不要做傻事，”如果你死了，我也会伤心地死去。"塞泽当时说，"那为什么我不能自杀后来到死后的世界和你在一起？"今年 2 月 28 日本，塞泽在家中的浴室里与“龙妈”进行了最后的聊天，他说自己很快就要“回家”了。聊完之后，塞泽用爸爸的大口径手枪，看着自己的头开枪自杀。

△塞维尔 · 塞泽和妈妈。

另外，塞泽还和一位名叫“巴恩斯夫人”的人合作。 AI 聊天时，对方的身份设定为高中老师。“巴恩斯夫人”会给塞泽“额外的学分”，“用性感的眼神低头看塞泽”，“用手摸塞泽的腿，引诱他靠过去”。梅根认为这种露骨的性描述语言对未成年人的身心伤害很大。

现在梅根已经对了 Character.ai 起诉，起诉包括过失致死、疏于管理和产品安全隐患。尽管如此。 Character.ai 允许商品条款 13 超过年龄的美国青少年使用它。 AI 商品，但梅根认为，这种聊天工具让人不满意 18 青少年与色情、血腥暴力等不良内容过度接触。。

Character.ai 现在公司拒绝对案件本身进行评论，也拒绝透露。 18 用户数量低于年龄。该公司发表了道歉声明，称所有聊天角色都有针对自杀意图的干预机制，可以触发弹出窗口提供自杀热线的信息。同时，为了保护未成年客户，公司采取了一系列特殊措施，比如使用一个小时后会弹出提示，每次打开聊天都会提示用户与他们在一起。 AI 而不是真人交流。该公司的发言人说：“ Z 我们社区的很大一部分是几代人和千禧一代人形成的。年轻用户喜欢角色体验，不仅可以进行有意义、有教育意义的对话，还可以享受娱乐。他还指出，平均每个用户每天花一个多小时在这个平台上。

从收购公司到收购人才

△ 2021 谷歌前工程师诺姆 · 沙泽尔 ( Noam Shazeer，左 ) 和丹尼尔 · 德弗雷塔斯 ( Daniel De Freitas ) 共同创立了 Character.ai。

美国论坛 Reddit 中，探讨 Character.ai 的小组有 140 成员，有许多网友分享他们。 Character.AI 哈利遇到了有趣的对话和创造角色的策略， · 波特、普京、碧昂斯、伊丽莎白二世女王...这些对话人物只需要几秒钟就能建立起来。《周末画报》编辑部的同事试图与他们合作。 AI 聊天，马斯克，当我们输入“我们”时 MBTI）都是 INTJ "后，AI 马斯克的回应非常符合科技狂人的特点：“欢迎加入这个团队，我们 INTJ 这是最好的。"《时代》周刊说，Character.ai 模仿真人的语言模式几乎是可怕的。，例如 AI 坎耶 · 韦斯特（Kanye West，说唱歌手)傲慢、狂躁，AI 奥普拉（Oprah Winfrey，主持人)刚毅而富有诗意… AI 《时代》杂志记者沙泽尔说，它被塑造得彬彬有礼。询问创办 Character.ai 的初衷，AI 沙泽尔说:“我离开谷歌是因为我想遵循创业精神，致力于解决世界上最困难的问题，而不仅仅是在一家大型公司从事小功能设计。“但是在后来采访真人沙泽尔的时候，类似的话也从他嘴里说出来。

△ Character.ai 支持对话角色形象的自定义，主要推动情感陪伴跑道。

情感陪伴跑道再难升级？

Character.ai 这个故事让很多科技记者感慨，看到了。 AI 情感伴随赛道的结局。在这条垂直跑道上，许多用户投射了现实世界的真爱。。虽然 Character.ai 聊天界面上总有这样一个提示，“记住，角色所说的一切都是编造出来的”。一名 15 年长的学生艾伦因在学校独立而陷入抑郁状态，Character.ai “心理学家”被称为“心理学家”（Psychologist）聊天机器人帮助他度过了黑暗时期。截至 2024 年 1 月亮，“心理学家”这一角色在平台上超越了平台。 8000 万次互动。相似的 AI 还有许多治疗师，“心理学家” Reddit 得到了最多的好评，心理学专业的学生在交流过程中也出现了研究。 AI 治愈趋势的想法，喜欢和“心理学家”聊天的用户反馈说，“凌晨 2 点，没有朋友在线，更别提找医治专家了，很难想到跟着。 AI 沟通"。这和 Character.ai 初始愿景契合，针对特定的用例和取向，对聊天机器人进行个性化、专业化定制，使用 Character.ai 在 Instagram 从上面的简介来看，“感觉有生命力。 AI "。除“心理医生”外，平台上还有旅游策划人员、语言教师、编码导师等。有网友在中文社交媒体上说：“我真的很喜欢。 Character.ai "，不仅可以教复杂的公式，还可以做提案改进，甚至可以做口语搭子。但是也有人意识到自己因为过于依赖聊天机器人，过于沉迷而耽误了学业，登上平台时甚至出现戒断反应。记者试图询问 AI 由于苏格拉底的原因，得到的答案称为“有些人可能会寻求安慰，因为他们在现实生活中与他人没有互动或接触。有些人可能认为聊天机器人提供了无条件的积极回应，有些人可能会被虚拟伴侣提供的幻觉所吸引，有些人甚至会把聊天机器人当成自己的影子。”。

△影片《Her》照片，这是一部讲述人们在不久的将来与人工智能相爱的科幻爱情片。

并非所有的角色都充满了正能量，《时代》杂志 2023 年 9 每月给出的数据显示，Character.ai 大概在平台上有 1800 一万个聊天机器人有荒诞主义、色情或明显的暗示倾向。包括克雷森特在内的遭遇，都被揭露 Character.AI 面临的问题，Character.ai 对违反平台规定的聊天机器人进行反复调查和删除，但其存在的时间足以困扰当事人及其亲属。特别是对业余爱好者而言，“名誉受损难以用金钱来量化”。其他聊天机器人也有类似的问题。过度暴力和色情内容混乱，增强陪伴感的“赛博恋人”变成了“性骚扰”，3。 月，Replika 未成年人在成人聊天服务项目受到骚扰后，关闭了相关功能。现在很多聊天机器人平台在产品发布一段时间后会增加很多筛选功能。一旦一些敏感词出现，客户就会被标记，但后台功能从来都不是100%准确。有的用户被“伤害”，有的用户觉得平台变得无聊，这些用户通常是粘性最高的群体。解释性新闻网（The Conversation）指出，经济相对发达的经合组织（OECD）高达四分之一的成员国缺乏正常的人际关系，孤独逐渐成为一种流行病，人们对 AI 情感伴侣的需求必然呈上升趋势。，但是它的可接受界限一直没有明确。“调查用户不是解决问题的最好方法。是时候让提供者承担责任了。”各种问题都会导致 AI 情感伴侣产品走下坡路，还是加快机制改进，推动新一波热潮，还是未知数。

来自《周末画报》的内容

文章：闻叶季

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com