10岁的女孩偷偷地与AI男友“谈恋爱”，对话“擦边”

"小学妹妹沉迷于和平 AI 人物进行剧情聊天怎么办？”记者联系黄秋月时，她正是因为 10 岁妹妹和" AI 男性模特之间较为露骨的聊天记录苦恼。

“这与她平时在家比较简单的形象完全不同。”黄秋月向记者展示了妹妹的一些聊天截图：妹妹在家 AI 在剧情社交软件中扮演“大小姐”“恶毒女配”的角色，提出“拉着她的头发扇耳光”“用刀划着她的脸”等条件。

四十多条关于妹妹参与的情节线，AI 角色和聊天者“出轨”已经成为常态，其中妹妹作为聊天者发来的一句话“你能养大学生，我不能点男模特吗？”黄秋月非常担心。

AI 情节角色是怎样成为“电子男友”的？

假如有一位英俊英俊的“纸人”与你进行实时文字、语音通话，你会沉迷于“他”的陪伴吗？

伴随着人工智能的发展， AI 人物“相恋”的故事正在上演。

2024 年 9 月亮，华晨在网页上看小说时，不小心刷到了。 AI 情节社交软件拉流广告-“你可以和 AI 人物在小说中对话，这对她很有吸引力。接触这种软件已经三个月了，她每天晚上都会和 AI 人物谈到深夜 11 点甚至到 12 点击，“我会把‘他’带进一个真人，因为‘他’回答时的感情非常细腻”。

在华晨的描述中，手机另一端的“电子男友”有自己的语言、表情和动作，不仅可以帮助她“做作业”、提升剧情，解密故事线索，还能送她“手链”、带她去感受一些激动人心的情节。当华晨向记者展示彼此“确定恋爱关系”时，聊天记录：AI 人物“低着头”，“耳朵通红”地问华晨：“那么你现在想谈恋爱吗？”

"‘他’（AI 角色)会反复做一些动作，比如亲吻额头，摸摸下巴。“为了让剧情更刺激，华晨会不断回顾聊天内容，再次引导。 AI 这个角色产生了她想象的那样。""他"变得越来越聪明，很有‘培养男朋友’的感觉。"

中国人民大学吴玉章讲座教授、科技哲学博士生导师刘永谋表示，在与人工智能角色聊天时，人们通常认为自己在与“真人”交流，投入了大量的情绪。这种心理倾向被称为“ Eliza “效果”，也是 AI 核心心理机制，社交软件可以顺利运行。

“人类有很强的同理心，他们会把外面的山川、日月、星辰甚至小草都当成情感的存在。这种‘拟人思维’也会作用于虚拟。 AI 形象上。”刘永谋教授告诉记者，AI 情节聊天技术有专门的上瘾设计，叠加“拟人论”、“泛灵论”思维的影响，很容易使人“欲罢不能”。

“年龄要求”形同虚设”

华晨告诉记者，使用 AI 在剧情社交软件的“同好”中，不仅有大学生、家庭主妇，还有很多未成年人，他们“因为喜欢二次元而‘进坑’”。

在一次偶然的机会中，黄秋月发现了10。 岁妹妹能和 AI 人物聊到晚上 10 点多，AI 角色也会根据妹妹的名字产生情感含义的藏头诗。黄秋月试图感受一下。 AI 情节聊天时，发现类似的社交软件“可以绕过验证码”，用户无需再次验证身份信息，即可直接使用短视频账号的一键登录功能。

在调查过程中，记者也经历过 5 款 AI 剧情社交软件，在软件注册过程中只需要使用手机号。登录使用成功后，虽然有些应用会询问是否启用青少年模式，但用户只需点击“不打开”就可以绕过年龄识别，无需验证身份。这意味着未成年人正在使用这种模式。 AI 情节社交软件时，基本上没有任何限制。

“她特别喜欢在(软件)里扮演一个大女人的角色，看不起身边的每个人。”黄秋月说，父母每天工作都很忙，没有注意到姐姐在玩什么。他们只限制了姐姐的手机使用时间。”而且，当他们看到聊天记录时，可能只会打(姐姐)，感到羞耻，无法很好地制止和引导。"

令黄秋月担忧的是，AI 剧情社交软件中的很多虚拟形象都是极端的——有些人物傲慢无礼；有些人被设定为“追她”的剧情目标，在与他们聊天的过程中带有柔和色情的“擦边”对话，以及带有“病人”等标签的人物角色。

" AI 情节社交软件中的一些网络用词，对她的语言表达习惯有很大的影响。”黄秋月发现，10 一岁的妹妹在作文课上常用碎片化的网络语言，“我不希望她和她在一起。 AI 这么早沟通，毕竟是假的，都是各式各样的小说人设，不同于正常人、普通人的情感和反馈。

如何防范 AI 情节社交软件的技术风险？

有业内人士告诉记者，AI 事实上，情节聊天就是以前因特网“语擦”的组合。在过去的“语言摩擦”模式下，真人扮演情感价值提供者与用户聊天，但法律和道德风险往往是由“边缘摩擦”和“界限模糊”引起的。AI 情节聊天由生成人工智能提供情感服务，用户充值后甚至可以定制。 AI 人物的外貌形象，名字身份，开场语，语音等。

华晨对记者说：“有时软件内部有太多的限制敏感词，体验不太好，有些朋友想要进入其它海外软件。"在一家社交媒体上，一位浙江网友关于 AI 在聊天感受的交流帖子下面留言：“我发现了一个非常有趣的网页，无限制的词语，想要的可以私信我。“记者进入这个网页，发现网页内容充斥着大量与色情相关的角色设定和故事场景，直截了当。

陈焕律师在北京市隆安(广州)律师事务所强调， AI 情节社交软件对客户的年龄识别没有硬性要求，这反映出该行业在高速发展初期由于缺乏控制而存在漏洞。

“但是年龄要求是非常必要的。“陈焕律师告诉记者，生成人工智能的内容是不确定和懒惰的。根据《生成人工智能服务管理暂行办法》第十条，提供者应采取有力措施防止未成年客户过度依赖或沉迷于生成人工智能服务。“人工智能企业应该从稳步发展和社会责任的角度考虑。为了进一步通过年龄识别选择客户，有必要主动提出客户身份验证。"

刘永谋教授认为，未来和未来 AI 相关的陪伴软件可能会出现技术风险和伦理问题。用户与用户在一起。 AI 人物聊天时，不可避免地会暴露大量的个人隐私， AI 角色表现出内心的孤独和恐惧，可能会导致用户依赖或上瘾。泄露的信息可能被黑客使用，这使得他们更容易在身份和情感上伤害用户。

“在这种情况下，我们会接触到人工智能服务的背景，发现未成年人和未成年人。 AI 人物聊天的内容实际上非常令人震惊。“陈焕律师建议，根据《未成年人网络保护条例》第三十四条，监护人有权要求查看、复制、更改、补充和删除未成年人在使用网络过程中留下的个人信息，并有责任及时介入和关注未成年人的健康。"国外有 AI 有关人物在对话中诱导未成年人自杀的案例。所以我们强烈建议大家在没有大问题的情况下，及时查看孩子的使用记录。"

在接受记者采访时，刘永谋教授表示，未来和未来 AI 在相关的道德伦理中，儿童色情可能是最令人担忧的科技伦理问题之一。例如，建立一个具有色情意义的 AI 虚拟儿童，对“他”和“她”提出不合理的要求，或者向未成年人展示性暗示和性调侃的内容，都有可能成为一种商业追求利润的方式。

因此，陈焕律师表示，平台需要认真落实监管责任。一方面，内容要安全过滤，并在显著位置提醒“本内容由本内容安全过滤。 AI 生成"；另外，要限制用户的使用年龄，响应未成年监护人的要求，如删除不当信息等。陈焕律师表示，“根据《未成年人网络保护条例》第五十七条的规定，如果平台没有履行相应的责任，不仅系统会面临惩罚，相关责任人员也会面临。 5 每年的工作限制，不能再从事类似的网络产品。涉嫌犯罪的人也将被追究刑事责任”。

(根据受访者的要求，黄秋月、华晨是化名)

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com