一年后的“二亿诈骗案”，AI变脸犯罪更加疯狂

摘要：

在某社交媒体“AI变脸服务”的帖子下，回复一切:“视频，照片，随意更换”。在一个二手平台上，客户只需要提供5秒视频和清晰的五官照片，支付9.9元即可获得定制的变脸视频。2.9元的低价安装包也触手可及粗糙的变脸工具。

换脸的定制成本有多高？回答是——只要一杯奶茶钱。各大平台上，变脸服务数不胜数，只要9块9，就可以很快得到一个真假难辨的变脸内容。

伴随着AI技术的快速发展，关于DeepFake(深度伪造)的讨论也越来越激烈。

受害者，从世界知名艺术家泰勒·斯威夫特、跨国公司高管、韩国未成年人，到今年春节期间因AI配声刷屏的雷军。2024年国庆期间，未经授权的雷军AI语音包和换脸视频在网上疯传。网友调侃:“十一放了七天假，八天被雷军吵醒。”

不久前，“雷军称AI变脸拟声成违法高发区”这个话题也在微博热搜中排名第二，相关讨论达到1.4万，可见DeepFake正在成为困扰大多数网友的一把尖刀。

正如雷军所说：“一开始我以为是网友赞不绝口，我可以接受拿我开玩笑，但是内容比较差，太多的时候很难防范，网友也在抱怨。”。

应该重视深度伪造带来的各种风险。

香港最大的AI诈骗案令人震惊。

震惊一时的中国香港跨国公司诈骗案，曾描述过如此戏谑的一幕。

有一天，跨国工程公司Arup香港分公司的一名员工突然收到一封会议邮件，邀请他参加总部高管发起的重要会议。

起初，他有些怀疑，但随着他进入会议，他看到了熟悉的高管面孔，他的警惕性逐渐放下。包括公司CFO在内的许多高管不仅参加了会议，还打开了视频和麦克风。在演讲中，他们讨论了一起秘密收购案件。讨论结束后，这些高管还为中层管理人员安排了任务。

这名员工在会议上没有发表任何演讲，但他完全接受了会议的真实性。会后，邮件和即时通讯消息来了。其中一名领导要求员工将2亿港元(约1.8亿人民币)转入5个账户。

这个员工就这样做了，五天后，在与真正总部的交流中，他发现自己被骗了。

更令人震惊的是，在这次神秘的会议上，这名员工实际上是唯一的真人。其他所谓的高管都是由犯罪分子根据高管在公共平台上的视频信息技术生成的。他们是虚拟数字人，但他们很难区分真假。

这个问题发生在一年前。对于AI行业来说，一年的时间，代表着技术的飞跃已经成为指数级的上升。

因此，犯罪的频率也越来越高。

银川某建材公司主管张先生于2025年1月接到“领导”视频通话，要求紧急转账。由于AI换脸技术高度真实，他两次转出20万元。日前，《法制日报》报道称，天津李先生被AI制作的“领导”视频诱导转账95万元，警方与银行联动冻结83万元。山西某犯罪分子甚至利用AI变脸通过人脸识别注册虚假公司，虚开了42多万元的增值税发票。

一方面是不断高发的诈骗案件，另一方面是客户浅薄的防范意识。

"有没有高手会AI变脸？"

凤凰网科技在搜索各大平台信息时发现，仍有不少人对换脸技术缺乏风险意识。在某社交媒体上的“AI变脸服务”帖子下，回复清一色：“视频，照片，随意更换”。在一个二手平台上，客户只需要提供5秒视频和清晰的五官照片，支付9.9元即可获得定制的换脸视频。2.9元的低价安装包也触手可及粗糙的变脸工具，而DeepFaceLab等相关开源软件将全网传播的教程结合起来，使得技术的滥用呈现出全员化的趋势。在这一技术平权的背后，出现了法律监督与犯罪手段之间的严重失衡。

法律法规与技术进步之间的时差正在制造监管真空。以杭州互联网法院2023年审理的虞某案为例，犯罪嫌疑人利用AI变脸技术制作淫秽视频非法牟利，被告支付6万元并公开道歉。

咨询了相关领域的律师后，凤凰网科技发现，虽然现行法律和管理规范明确禁止使用信息技术伪造肖像，但动态图像得到了保护。然而，在责任边界和赔偿计算标准的某些方面缺乏量化规则。目前，由于立法尚未完全，处罚与利润不成正比，这给了犯罪分子更大的动力。

与此同时，系统化的犯罪链是由技术的滥用衍生出来的。诈骗组织利用云合成技术生成复制声像，通过社交平台准确窃取目标对象的生物特征数据，实施“数字分身”诈骗。

AI变脸当然也不是真的无可挑剔。

现有技术仍然存在可识别的生理漏洞，例如，微表情缺失、光影不匹配、皮肤过度光滑、声音不间断、语速快等问题，这些技术限制为公众提供了一个关键的识别窗口。

平台是否应该承担更大的责任？

随着AI技术的普及，内容生产的门槛大大降低，但也让网络时代充满了强烈的AI气息。特别是一些AI产品的幻觉率越来越差，使得虚假信息随着时间的增长而增长，客户一不注意就会陷入真假难辨的困境。

目前，这类问题在短视频平台上尤为明显。大量违背常识和道德底线的AI生成内容正在污染互联网，如“甄嬛吃汉堡”、“宠物猫狗说实话”、“AI雷军”等。，并通过算法推荐迅速传播，从而占据高质量内容的生存空间。

更令人担忧的是，一些用户盲目信任AI“一本正经的废话”。比如缺乏识别能力的老年人，正在被各种“赛博乖孙”所控制。有网友说奶奶最近经常对着手机屏幕“嘿”。仔细一看，她才知道视频里拿着元宝，奶奶的AI一个接一个地生成了一个好孙子。

但是所有这些，真的没有遏制的手段吗？

在此之前，《人工智能生成合成内容识别方法(征求意见稿)》对此提出了明确规定。

例如在生成阶段，为了让用户一眼就能发现内容的AI生成特性，在相关内容的特定位置添加直观可见的显式标识。在传播阶段，平台的职责更为重要，需要能够识别和提示AI内容的能力。2023年，Tiktok发布了《关于人工智能生成内容的平台规范》，要求创作者主动标注AI生成内容，违规者将面临惩罚。

另外一个内容平台的相关运营也告诉凤凰网科技，对于AI生成的内容，内部一直持谨慎态度。“从生态治理的角度来看，AI内容的风险肯定是很大的，但从用户活跃的角度来看，在大大降低生产门槛后，一批新账号就会长出来。”因此，平台一直对AI内容持摇摆态度。

但是对于突发事件中的AI谣言，平台更需要主动承担识别和抹杀的任务。

比如最近微博上流传着“一位男明星连续七天赌输光10.3亿元流动资产并抵押资产”的消息， 3月10日晚，微博首席执行官王高飞(账号“来来去去”)专门回应，称“AI分析后判断传闻缺乏实质性证据，主要信息来源为匿名账号和营销号，存在动机和逻辑漏洞……”。此后，3月11日，周杰伦经纪公司杰威尔音乐官方微博也发表声明，正式辟谣。

AI脸部交换技术引起的社会震荡正在重塑人类与技术共存的界限。在这种情况下当生物数据变成9.9元可以交易的商品时，这背后隐藏的系统风险已经超出了个人的预防范围。许多观点认为，其规范之路任重道远。

数字文明的真正考验在于能否在代码世界中重建人文价值的锚点。将技术向善的原则转化为法律条款、算法规则和公民意识，而不是简单地安装技术补丁。只有这样，我们才能在日益强大的数字世界中守住每个人的底线。

本文来自微信公众号“凤凰网科技”，作者：梁思琦，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com