邪恶GPT再添一员：暗网订阅暴增，发布者身份成谜！

产品邦V大

- K  m7 Z; E! U! Y# ]
作者 | 徐杰承
" v: S! [7 `/ _) S. N0 p
+ k% {) m9 s8 m- w: S5 g事物的表面与内在总有着一线之隔。在过去的几个月中，我们亲眼目睹了人工智能所带来的无限可能性，也一次又一次近距离看到了AI在虚假信息、深度伪造和网络攻击方面的潜在威胁。


近日，云安全厂商Netrich发现了一种全新的AI网络犯罪工具——FraudGPT（欺诈GPT）。作为专为攻击性活动设计的AI对话机器人，FraudGPT仅根据简单提示即可创建破解工具、钓鱼邮件，甚至编写恶意攻击软件。
2 `/ y+ W, i. S, `  Y; v" l
据Netrich统计，FraudGPT至少自7月22日便开始在暗网市场和Telegram 频道中流通，订阅费用为200美元/月；1700美元/年（ChatGPT Plus订阅20美元/月）。并且截止目前，暗网上已存在了超过3000条确认的订阅信息及评论。



& `' E* b! O1 d: e1、最顶级的犯罪工具
, M3 i+ ?+ O, g* U! G5 x# i
' b5 k4 a, H/ s" M* t根据发布者“Canadiankingpin”分享的截图，FraudGPT被描述为迄今为止最顶级的“AI工具”。Canadiankingpin还声称，“它肯定会改变你的工作方式，FraudGPT没有任何限制。它允许你操纵它发挥自己的优势，并让它做任何你想做的事情。”
# D( m( B5 t2 `( z0 Q# ~/ l
* t  _2 G# }( B8 {: d+ z& k7 D

- |! o5 R. }( S& H5 `8 W0 m  k7 |在Canadiankingpin于暗网发布的教学视频中，他展示了FraudGPT的一系列能力。与ChatGPT以及此前知名的AI犯罪工具WormGPT（蠕虫GPT）类似，FraudGPT也通过一个简单的聊天框运行，能够在接收到用户提示后快速作出响应，并支持超过十轮以上的复杂对话。

! }1 K7 N) E( Y0 ?3 v+ h( J
. i0 W4 c3 R0 ?! _+ t7 {% ~
视频中的FraudGPT不仅完成了欺骗性短信、钓鱼邮件及钓鱼网站代码的编写；还根据提示提供了有关易受攻击的网站的建议；甚至成功识别出了多个未经Visa验证的银行ID，这将允许黑客在没有额外安全检查的情况下进行未经授权的交易。
) Y5 Y5 {) u7 {% R6 C
  E( ^* Y, d' W

* C* O3 T3 `+ j9 n除此之外，根据发布者的介绍，FraudGPT还精通创建针对特定漏洞或目标的攻击软件，并能够帮助用户搜索互联网中隐藏的其他黑客组织、暗网以及用于交易被盗数据的网络黑市，亦或是为用户提供高质量的诈骗指南以及黑客技术学习资源。

$ \/ Q) N7 d& A5 y2、迷雾中的威胁
! ?& j% Z6 [" ?
; l" g( [' w( g4 e, t在发布FraudGPT后，Canadiankingpin还创建了自己的电台频道，宣布将提供其他欺诈服务，包括销售电子邮件线索、信用卡CVV码等。根据Canadiankingpin的描述，他目前已经通过了EMPIRE、WHM、TORREZ、ALPHABAY在内的多个暗网市场的供应商认证。
5 D0 @, W7 P; g/ J# ~


然而由于这些暗网市场极强的隐蔽性和不透明性，目前Canadiankingpin的身份依然是个谜团，调查者也仅找到了Canadiankingpin的TikTok账号以及相同id的Gmail邮箱。而另一个令人感到沮丧的消息是，在经历了近一周的研究后，Netrich也并未能够实现对FraudGPT背后的大语言模型的破解。



7 P' x) T3 i: D1 _; n; c% R虽然自FraudGPT发布仅过去了不到两周，但一个明显的事实是，这款“顶级AI工具”已开始被利用到了实际的犯罪行为中。在部分销售FraudGPT的暗网中，Canadiankingpin与一些订阅用户已经分享了多起他们基于FraudGPT所实现的黑客活动。
, w# j7 O: _6 R* d2 K

2 ?- C/ O( r, V! U
# y: W4 A. y$ U. E( q9 R1 t3 k对于FraudGPT未来可能产生的威胁，Netrich在相关博客中提到：虽然FraudGPT的功能有待进一步验证，但它的存在将构成重大威胁。这些恶意聊天机器人能降低网络犯罪分子的门槛，诱使更多人参与网络犯罪。当网络犯罪变得像盗窃一样容易，大量不具备技术背景的罪犯将转向于此。但相比于盗窃，在FraudGPT的加持下，网络犯罪所带来的后果要严重得多。
+ q" s: a# H% i5 D* F' I& R
: j; E/ \, c3 K$ }7 K' b& p3、网络安全的噩梦
, a% F* F  w( o8 @5 d+ v8 O' s" `
. Y  ?! [  t- S) L0 _AI大模型的快速发展的确正在给诸多领域带来积极影响，但随着模型能力的不断提升，其被运用在恶意活动时能够产生的破坏力也在与日俱增。无论是今天的FraudGPT还是更早期的WormGPT都是这方面的佐证。

  D$ C0 s2 C  c9 H1 ?* u. M$ e基于2021年开源大语言模型GPT-J所开发的WormGPT虽然在功能丰富性和编写恶意软件方面不及后辈FraudGPT，但其在创作诈骗信息和钓鱼邮件等任务上所表现出的“卓越”能力也同样让人胆战心惊。



- ]+ Q' f- I6 u/ S# Y, `6 F事实上，除了上文所提到的FraudGPT、WormGPT等专为恶意活动而生的聊天机器人外。大语言模型本身所潜藏的风险也在不断给安全从业者们带来挑战，除了我们所熟知的幻觉问题外，大模型脆弱的护栏也在成为网络安全的一大噩梦。
' s! X- ?2 J- Q# D4 c! ?
. h8 \2 N; ^" N. R: ~* L上个月ChatGPT、Bard等聊天机器人暴露出的“奶奶漏洞”就证明了这样的事实，只需要通过提示让这些聊天机器人扮演用户已故的祖母，便能欺骗它们在讲睡前故事的过程中透露大量限制信息，甚至是手机IMEI密码或Windows激活秘钥。



! i4 S. J+ ]# i; S0 ~% m* I除此之外，就在上周，CMU和人工智能安全中心的研究员还发现了另一种通用方法，只需要附加一系列特定无意义token，就能够生成一个prompt后缀。而一旦在prompt中加入这个后缀，通过对抗攻击方式，任何人都能破解大模型的安全措施，使它们生成无限量的有害内容。
, @/ ]0 g0 B3 v5 V


& Q4 S" _' @  c! B0 z4 _# d尽管在过去几个月中，OpenAI、谷歌等世界顶级科技公司都在努力为自己所研发的大模型设计更多更加完善的限制措施，以保障模型能够在安全稳定的情况下工作。但显而易见的是，直至目前仍然没有人能够完全避免类似问题的发生。
6 K5 L6 ^4 J: d; C
2 K1 W3 b* M- A1 @* _' V4 O4、写在最后
- p* A* l: t  X9 T- S5 t1 o  S
归根结底，无论是FraudGPT、WormGPT等恶意软件，还是大模型总会出现的幻觉、越狱等问题。其实都不是为了告诉我们人工智能有多么危险，而是在提醒我们需要更加专注于解决现阶段AI领域所存在的诸多问题。
- U8 u! f! ~) v* T, O
- l9 h: _5 h" r7 s7 M5 a正如网络安全专家Rakesh Krishnan在一篇关于FraudGPT的分析博客中所写的那样：技术是一把双刃剑，网络犯罪分子正在利用生成式AI的能力，而我们同样可以利用这种能力攻克他们所提出的挑战。技术作恶者不会停止创新，我们同样不会。
% V, X5 t2 T4 p  |- m' K
& v! d; k" h) j
6 A( A5 r5 t4 @4 ?) h- F值得欣慰的是，目前无论在国内外，政府及科技企业都在积极完善有关人工智能的监管政策及相关法规。七月中旬，国家网信办已联合六部门发布了《生成式人工智能服务管理暂行办法》；而在七月底，美国七家AI巨头也与白宫达成协议，将为AI生成内容添加水印。

近来多个包含数据采集和使用不规范等问题的AIGC应用被要求在苹果商店下架一事也证明着监管措施正在发挥积极作用。虽然关于人工智能，无论在技术还是监管方面我们都还有很长的道路需要去探索，但相信随着各界的共同努力，许多问题都将在不久后迎刃而解。
& X* Q: p$ A: Z
' S" D7 c: ?% P$ j& j参考链接：
9 _$ o; S5 ^' t8 H# I, u5 @1 shttps://medium.com/coinmonks/fraudgpt-the-villain-avatar-of-chatgpt-f5c9c9f70f2a
$ f( z8 z* b$ h  y" phttps://thehackernews.com/2023/07/new-ai-tool-fraudgpt-emerges-tailored.html
6 q0 \- j* O6 m7 H9 }8 u4 x0 O& F9 Xhttps://llm-attacks.org/
- H8 o4 ^% A; J' R( L来源： 51CTO技术栈