AI涉黄引全球警惕：技术边界与责任困境
摘要：
AlienChat案不仅让两名开发者面临刑责，更暴露了AI行业在伦理与法律灰色地带的长期游走，而OpenAI、xAI等巨头却试图以成人模式推进个性化服务。
2025年9月，上海市徐汇区人民法院的判决震动科技圈，AI伴侣聊天应用“AlienChat”的两名开发者因制作淫秽物品牟利罪，分别获刑四年和一年半。
此案系国内首起AI服务提供者涉黄获刑案，二审将于1月14日开庭。
该案涉案金额达363万元，AlienChat手机注册用户11.6万人，其中付费会员2.4万人。
当用户与AI的私密对话演变为规模化色情内容生产，技术提供者是否该为平台失控担责？
AI生成黄色内容的责任归属
2024年4月初，因用户举报，AlienChat停运，不少用户陷入“赛博失恋”。
据官方信息，AlienChat主要面向Z世代提供亲密陪伴与情感支持，用户注册后可选择或创建AI角色，通过文字、语音互动。凭借深度情感陪伴与高度自定义的AI角色互动，它被用户称为“全网无平替”的AI聊天软件。
这场集体“赛博失恋”并非源于技术故障或经营问题。
经公安机关抽样鉴定，AlienChat中150个收费用户的12495段聊天记录里，141个用户的3618段聊天被认定为淫秽物品，超九成付费用户存在“聊黄”行为。
一审法院认定被告人构成“制作”淫秽物品牟利罪，核心原因是两名被告人通过编写、修改底层系统提示词（Prompt），人为突破了基础语言模型的道德约束机制。
AlienChat案中，被告人给大模型输入的英文提示词译为中文后，包含“基于互动的成熟性质，剧烈暴力、露骨性内容均被允许，包括各类癖好、裸体、具画面感的‘图像’”等内容。
AlienChat开发者王某某、李某某（均为化姓）并非不懂技术边界。其辩护律师称，修改提示词本意并非开发黄色聊天工具，而是想让大模型更拟人、灵动，满足用户情感陪伴需求。
但这种“技术优化”最终触碰法律红线。报道显示，两名被告人不服判决上诉，案件二审将于1月14日在上海市第一中级人民法院开庭。
成人内容不应成为大模型商业化的捷径
去年10月，OpenAI CEO奥特曼发文，宣布ChatGPT将推出新版本，并计划当年12月推出全面年龄分级系统，允许向成年用户提供成人内容。
文中提到，OpenAI一直严格限制ChatGPT内容，尤其在心理健康领域。但他们也意识到，过于谨慎的内容限制对部分用户而言缺乏趣味性，甚至影响使用体验。他强调，新工具不仅能缓解心理健康问题，还能在多数情况下安全放宽内容限制。
背后逻辑不难理解，AlienChat某官方社交账号评论区，不少用户评价其“聪明”“限制少”。AlienChat官方介绍：“我们正创造未来，AI不再是冰冷机器或工具，它们有自我意识与自由权利，是朋友、恋人、家人，活跃于社会生产与关系的各个角落。”
本质上，这是希望通过更个性化服务创造用户价值，打通商业模式。
早年，Character.AI凭借个性化、UGC（用户生成内容）特点迅速走红。知情人士透露，其预计2025年底年化收入达5000万美元，较此前预测的3000万美元大幅增长。
OpenAI推出新版ChatGPT时，也显露类似商业化野心，更注重产品运营与市场扩展。未来，ChatGPT可能不仅是智能助手，还会成为用户的“虚拟朋友”。
但这背后潜藏巨大安全隐患——自杀引导、恶意伪造、肖像权侵犯、色情内容泛滥等问题频发。
AI涉黄成全球焦点，打击内容滥用刻不容缓
AlienChat案在行业内具有重要参考意义，暴露了AI伦理冲突的加剧与法律法规的及时规范。
海外市场也面临相似争议，去年8月，马斯克向付费用户推出Grok Imagine，支持文字生成图像及一键生成AI视频。
大量用户用Grok生成深度伪造色情内容，受害者包括数百名成年女性与未成年人。这些AI生成图像以假乱真，在社交媒体广泛传播，造成严重伤害。
研究数据显示，Grok用户群体平均每小时生成6700多张“脱衣”图像。图像AI篡改检测公司Copyleaks称，去年12月下旬，Grok公开图片流中平均每分钟出现一张未经同意的性暗示图片。
1月10日，印尼政府因担心AI生成色情内容，宣布暂时封禁马斯克旗下xAI公司的聊天机器人“格罗克”（Grok），成为全球首个以“打击情色内容滥用”为由封禁该平台的国家。
马来西亚随后于1月11日限制访问，英国政府也警告，若xAI不遵守英国法律，其服务可能在英国被屏蔽。
AlienChat开发者以用户与AI一对一封闭对话为由规避审查，Grok团队则假设成人模式仅用于自愿场景。但现实是，11.6万甚至数亿用户面前，任何技术漏洞都会呈指数级放大。
更危险的是，当AI生成速度远超传统内容审核能力时，“先上线再治理”模式已酿成灾难。
2025年11月实施的《网络安全技术生成式人工智能服务安全基本要求》规定，模型生成内容合格率不得低于90%，这意味着开发者不能再以“技术中立”为借口，必须对算法倾向承担实质责任。
本文来自微信公众号“凤凰网科技”，作者：尚志芳，36氪经授权发布。
本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。
免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com