一波又一波的波动？AI大模型再次出现调皮攻击工具

AI模型的快速向前奔跑让我们看到了AI的无限可能性，但也显示了AI在虚假信息、深度伪造和黑客攻击方面的潜在威胁。

根据安全分析平台Netenrich的报道，近日，一款名为FraudGPT的AI工具在暗网上流通，并被犯罪分子用来编写钓鱼攻击电子邮件和开发恶意程序。

在销售页面上，黑客表示，该工具可以用来编写恶意程序，并建立“一系列杀毒软件无法检测恶意程序”、对网站漏洞进行检查，自动进行密码撞库等，并声称“目前该恶意工具已售出3000多份”。

01 FraudGPT恶意AI工具：可以一键生成多种黑客攻击代码

据悉，FraudGPT的运行模式是通过制作一封电子邮件，诱导收货人以高度可信的方式点击提供的恶意链接。其主要功能包括:

建立钓鱼网站页面

FraudGPT可以生成看似真实的钓鱼攻击电子邮件、短信或网站，诱骗客户泄露登录凭证、财务详细信息或个人数据等敏感信息；

找出最容易受害的目标

聊天机器人可以模仿人类的对话，与毫无戒心的用户建立信任，使他们在不知不觉中泄露敏感信息或实施有害操作；

建立不能检测恶意程序

FraudGPT可以建立欺骗性消息，诱导用户点击恶意链接或下载有害配件，从而导致设备感染恶意程序；

写作欺诈短信，邮件

人工智能驱动的聊天机器人可以帮助黑客建立欺诈性文件、发票或支付请求，使个人和企业成为金融诈骗的受害者。

据报道，FraudGPT的名字是 "CanadianKingpin" 开发者提供。

它主要基于GPT-3的大型语言模型。经过训练，它可以生成符合逻辑和事实的欺诈性文本。FraudGPT一旦付费购买，就可以帮助罪犯成功进行钓鱼攻击和诈骗。

Canadiankingpin在发布FraudGPT后，还建立了自己的广播频道，宣布将提供包括销售电子邮件线索、信用卡CVV码等在内的其他欺诈服务。

按照Canadiankingpin的描述，他已经通过了EMPIRE、WHM、TORREZ、多个暗网市场的供应商认证，包括ALPHABAY。

但是，由于这些暗网市场非常隐秘和不透明，目前Canadiankingpin的身份仍然是一个可疑的群体，调查者只找到了Canadiankingpin的TikTok帐户和Gmail邮箱，同样的id。

另外一个令人沮丧的消息是，经过近一周的研究，Netrich并没有破解FraudGPT背后的大语言模型。

虽然FraudGPT发布不到两个星期，但一个显而易见的事实是，这种“顶级AI工具”已经开始被用于实际犯罪行为。

Canadiankingpin与一些订阅客户分享了许多基于FraudGPT的黑客活动，这些活动已经在一些销售FraudGPT的暗网上实现。

根据Netrich的统计，FraudGPT从7月22日开始在暗网市场和Telegram频道流通，订阅费用为每月200美元，每年1700美元。与ChatGPT相比 Plus每月订阅20美元，价格是10倍。

到目前为止，暗网上已经有超过3000条确定的订阅信息和评论。

02 恶意AI攻击工具：降低网络诈骗的进入门槛

实际上， AI 该工具降低了网络犯罪分子的进入门槛， FraudGPT 这不再是第一个案例。

即使是Claude、ChatGPT 、Bard和其他AI提供商会采取一些措施来防止他们的技术被用于不良目的，但是随着开源模型的兴起，很难遏制罪犯的恶意行为。

7 月初，基于GPT-J开发的开源大语言模型，WormGPT也引起了关注，WormGPT使用了大量的恶意程序进行练习和微调。

据报道，WormGPT擅长使用Python代码进行各种黑客攻击，例如：生成木马，恶意链接，模仿网站等，它在创建欺诈信息和钓鱼邮件等任务中所表现出的“非凡”能力令人恐惧。

但是相比之下，FraudGPT在功能多样性和恶意程序编写方面的作用更加强大。

事实上，除上述FraudGPT外，、为恶意活动而生的聊天机器人，如WormGPT。

大型语言模型本身隐藏的风险不断给安全从业者带来挑战。除了众所周知的幻觉问题，大型软护栏也成为网络安全的一大噩梦。

上个月ChatGPT、Bard等聊天机器人出现的“奶奶漏洞”证明了这样一个事实。只有通过提醒这些聊天机器人扮演客户已故的奶奶，他们才能在讲睡前故事的过程中，甚至手机的IMEI密码或Windows激活密钥，欺骗他们泄露大量有限的信息。

此外，CMU和人工智能安全中心的研究人员还发现了另一种通用的方法，只需添加一系列具体的无意义token，即可生成prompt后缀。

这个后缀一旦加入到prompt中，任何人都可以通过对抗攻击来破解大模型的安全措施，从而产生无限的有害内容。

尽管在过去几个月里，OpenAI、世界顶级科技公司，如谷歌，都在努力为自己开发的大模型设计更多更完善的限制措施，以确保模型能够在安全稳定的情况下工作。

但是很明显，到目前为止，还没有人能完全避免类似问题的发生。

03 在犯罪门槛降低的情况下，公司怎样预防？

毫无疑问，无论是WormGPT ，或者FraudGPT ，这一极具威胁性的AI工具，正在“赋能”促进网络诈骗和诈骗。

“这项技术将降低钓鱼攻击电子邮件和其他诈骗的门槛，”安全分析平台Netenrich曾经说过。

随著时间的推移，罪犯们将找到更多的方法来利用我们发明的工具来提高他们的犯罪能力。

如果AI工具的淘气表面被淋漓尽致地呈现出来，再加上黑客攻击「低门槛」，强化防御战略尤为重要。

所以，有专家针对个人和企业，提出了一些可以采取的关键措施，以确保免受伤害。 类似AI工具的FraudGPT和威胁。

提高对网络通信的警惕

不要点击不熟悉的网页链接和电子邮件，安装未知的软件。同时，需要验证的意外电子邮件，涉及敏感信息和金融投资，应通过官方渠道验证。

及时掌握网络安全措施

利用信誉良好的防病毒程序，及时更新安全软件，安装补丁，防止潜在威胁。与此同时，还要了解最新的网络安全实践，增强黑客攻击的防御意识。

对未知链接和配件保持警惕

不要点击未知来源链接或打开配件。FraudGPT可以生成指向网络钓鱼网站的真实URL。因此，在点击任何链接之前，验证发件人的身份尤为重要。

对员工进行教育和培训

对企业而言，对网络安全实践良好的员工进行培训尤为重要。确保员工了解潜在的威胁，知道如何识别异常活动。如员工遇到任何异常消息，应立即向IT部门报告。

04 结语

随着模型能力的不断提高，AI大模型的快速发展给许多领域带来了积极的影响，同时也在恶意活动中得到了应用，破坏力日益增强。

但是无论是FraudGPT、事实上，WormGPT等恶意程序的出现并不是为了告诉我们AI有多危险，而是为了告诉我们AI领域存在的许多问题，比如幻觉和越狱。

就像Rakesh一样，网络安全专家 在一个关于FraudGPT的分析博客中，Krishnan写道：技术是一把双刃剑，网络犯罪分子利用生成AI的能力，我们也可以利用这种能力来突破他们提出的挑战。

技术作恶者不会停止创新，我们也不会。

令人欣慰的是，目前国内外政府和科技企业都在积极完善相关的人工智能监管政策和相关法规。

7月中旬，国家网信办联合六部门发布了《生成式人工智能服务管理暂行办法》；7月底，美国7家AI巨头也与白宫达成协议，将水印添加到AI生成内容中。

最近，许多AIGC应用程序，包括数据收集和使用不合规性，被要求在苹果商店下架，这也证明了监管措施正在发挥积极作用。

虽然人工智能在技术和控制方面还有很长的路要走，但我相信，随着各行各业的共同努力，很多问题很快就会得到解决。

本文来自微信微信官方账号“科技云报道”（ID：ITCloud-BD），作者：科技云报道，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com