未来由AI生成的网络钓鱼电子邮件可能比我们如今看到的电子邮件攻击更加有效、破坏性更强。
ChatGPT出现伊始，媒体和安全权威人士就发出了网络钓鱼预期井喷的警告：更令人信服，速度也大大加快。IBM X-Force Red安全团队希望对这一主观假设进行客观评估。
他们选择的方法是向医疗保健企业员工投放AI生成的网络钓鱼电子邮件和人类编写的电子邮件，测试对比二者的效果。共有1600名员工被选中：800名员工接受AI网络钓鱼，而另外800名员工接受人类网络钓鱼。
调查的结果是，相对于人类，AI生成网络钓鱼的速度要快得多（五分钟五个简单提示对比IBM社会工程师花费16个小时）；但人类社会工程目前比AI网络钓鱼更加有效。
IBM X-Force Red首席人员黑客Stephanie Carruthers将人类的成功归结于三个重要因素：情商、个性化，以及更为简洁有效的标题。IBM在测试报告中指出：“人类能够以AI梦寐以求的方式理解情绪。我们能够编写触动心弦的叙事，听起来更加真实，让收件人更容易点击恶意链接。”
简而言之，当前算法对所存储知识的重编译并不像开源情报（OSINT）驱动的人类叙事那么令人信服。
但情况并没有那么简单。
首先，测试结果非常接近。人类网络钓鱼收获了14%的点击率，而AI网络钓鱼是11%。人类编写的钓鱼邮件有52%被报告为可疑，而AI电子邮件是59%。
其次，AI还处于起步阶段，而人类社会工程已积累了几十年的经验。两个问题：能否更有效地利用AI（例如，使用不同的提示；也就是说，更好的提示工程），以及未来几年AI会有多大改进？
Carruthers注意到了这些问题。她向媒体透露：“我花费几个小时创建提示工程并找出哪些有效，可以说，我最初生成的那些都是垃圾。用AI生成很多东西都是垃圾进垃圾出。”Carruthers很确信这些就是当前能够获得的最佳提示了。“我觉得我有非常扎实的原则和技术来完成我要求它做的事情……我对结果很满意。”
有个例子可以阐释Carruthers的工作。可以用提示让ChatGPT给出不同风格的答案。鉴于AI明显缺乏“情商”，我们能不能指示AI以更强烈的情绪回答呢？“我最开始获得的答复还好，但感觉有点机械，有点冷硬。”Carruthers表示。于是她尝试注入一点温情。“但我越投入，它就越像是开始罢工了——冷酷度上变本加厉，或者干脆变得古古怪怪。很难找到其中的平衡点。”
第二个问题则是巨大的未知：未来几年AI会有多大改进？这个问题本身又分为两部分：公用AI能有多大改进，以及犯罪AI能有多大改进？
生成式AI从所摄入的东西中获取信息。公共生成式AI必须警惕这一点，要避免吸收危险的个人信息，防止后续在回答中重新浮出。犯罪AI就没有这种顾虑。所以，公共AI的主要来源是表面网络（有合规护栏），而犯罪AI则没有这样的限制——很可能将表面网络和暗网都用作其数据源，没有任何护栏。
犯罪AI纳入并组合被盗个人数据的潜力可能催生高度个性化的鱼叉式网络钓鱼。如果再结合上提升过的情商，结果就可能与当前IBM测试的大不相同了。
当然，这是主观臆测，也是IBM在研究中试图避免的。但鉴于ChatGPT已经在网络钓鱼方面获得了11%的成功率，我们就不应该完全无视掉这一点。
Carruthers自己的主要研究结论也承认了这一点。“如果你在我开始研究之前问我谁会赢，我会说是人类，毫无疑问。但随着我深入提升工程，我开始有点紧张了：这些电子邮件越来越好了。”
“因此，我觉得我最大的收获就是质疑未来会变成什么样子。如果我们持续改进生成式AI并让它听起来更像个人，这些网络钓鱼电子邮件就可能会是毁灭性的。”
IBM X-Force相关报告
https://securityintelligence.com/x-force/ai-vs-human-deceit-unravelling-new-age-phishing-tactics/
* 本文为nana编译，原文地址：https://www.securityweek.com/the-64k-question-how-does-ai-phishing-stack-up-against-human-social-engineers/
声明：本文来自数世咨询，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
