澳大利亚战略政策研究所（ASPI）国际网络政策中心4月发表题为《武器化深度造假—国家安全与民主》的报告。报告介绍了深度造假的定义、优势以及常见应用工具，分析了深度造假在网络犯罪、鼓吹活动和虚假消息、军事欺骗和国际危机、削弱制度信任等四个领域的危害影响，并提出研发和部署深度造假检测技术、改变在线行为、创建和实施数字认证标准等三项对策建议。奇安网情局翻译报告全文，供读者参考。
前言
造假无处不在。学术分析表明，如果没有新的传感器、软件或其他专用设备，它们很难被发现，因为每5张照片中就有1张是欺诈性的。深度造假及其提供的服务有可能导致信息被压制以及对公共当局和信任的普遍信心崩溃。我们不仅要对虚假或危险的主张做出反应，还要应对那些利用上述主张开展邪恶活动的人。除非我们有反面证据，否则我们不应该假定假新闻的存在，但是当我们认定有假新闻时，就不应该允许其进行鼓吹。我从未比今天更加确定这一点。
GPT-2深度学习算法
该报告的前言是由机器编写的，使用了一种“深度造假”算法（一种人工智能形式）来生成文本和头像。深度造假日益逼真且易于创建。我们使用免费开放源软件花了大约5分钟生成了上述前言。
一、有什么问题？
深度造假技术并非天生有害，其底层技术具有良性用途。但是，深度造假技术的易获取性使网络犯罪分子、政治活动家和民族国家能够快速制造出廉价、逼真的伪造品。这项技术降低了大规模开展信息战的成本，并扩大了参与者的范围。与其他技术和社会趋势相结合时，深度造假将构成最大风险：其将增强网络攻击，加速在线鼓吹和虚假信息的传播，并加剧对民主制度的信任度下降。
二、有什么解决办法？
从影印机和Photoshop软件到深度造假，任何可用于产生虚假或误导性内容的技术都可被武器化。报告认为，决策者最大程度地减少武器化深度造假后果的机会日益减少。任何响应都必须包括三项工作措施：
1.投资并部署深度造假检测技术；
2.改变在线行为，包括采取政策措施，使数字受众能够批判性地进行内容互动，并加强可信交流渠道；
3.创建和实施数字认证标准。
三、什么是深度造假？
深度造假是通过深度学习（AI的子集）创建的数字伪造品。深度造假可以创建全新的内容或操纵现有内容，包括视频、图像、音频和文本。它们可以被用来诽谤目标，冒充或勒索民选官员，以及被用于网络犯罪活动。
深度造假的第一个公开事例发生在2017年11月，当时流行的在线留言板Reddit的用户使用基于AI的“脸部互换”工具将名人的脸孔叠加在色情视频上。自此，使用深层造假技术的方式变得广泛，并且该技术使用方便。免费软件和流行的智能手机应用程序（例如FaceSwap或Zao）使日常用户可以创建和分发内容。其他服务可以低价获取：例如Lyrebird语音生成服务为其工具提供订阅包。简而言之：深层造假技术已经普及。
由于计算能力的提高，以及AI技术继续减少训练深度造假算法所需的时间和人力，深度造假软件可能会继续变得更便宜、更易获取。例如，生成对抗网络（GAN）可以缩短AI的训练过程并使之自动化。在此过程中，两个神经网络相互竞争以产生深层造假。“生成器”网络创建虚假内容。然后，“辨别者”网络尝试评估内容是真实的还是虚假的。这些网络竞争数千个甚至数百万个周期，直到无法区分真实的和虚假的输出。GAN模型现在可以广泛使用，其中许多模型可以免费在线获取。
（一）深度造假优势
并非所有的数字伪造都是深度造假。人们使用软件编辑工具创建的伪造品通常被称为“廉价造假”（cheap fakes）。“廉价造假”技术包括加速、减速、粘贴或重新融入，以更改图像或视听素材。使用深度学习的一个关键优势是它可以使创建过程自动化。这使得低技能用户也可以快速创建逼真的（或“足够好”的）内容。深度造假的另一个优点是，人和机器通常无法轻易检测到欺诈。
（二）深度还是廉价？
2019年5月，在社交媒体上流传的一段视频显示，美国众议院议长南希·佩洛西在新闻发布会上口齿不清，就好像喝醉或不适一样。该视频是“廉价造假”：录像是真实的，但速度降低到75％，并且音调被调整为正常范围内的声音。
同样，2018年11月，极右翼的阴谋网站InfoWars传播了一段经剪辑的视频，看起来CNN记者吉姆·阿克斯塔对员工采取了激烈行为。
在这两个事例中，专家（和一些非专业观众）迅速将视频识别为假视频。尽管如此，它们还是有影响。佩洛西录像“病毒式”地传播，她的政治对手使用该视频宣扬她不适合担任议长。白宫新闻秘书的官方推特账号发布了阿科斯塔的视频，以证明否决阿科斯塔新闻通行证的决定是合理的。
视听“廉价造假”甚至早于数字时代。在1983年英国大选前夕，英国无政府主义朋克乐队Crass的成员将玛格丽特·撒切尔和罗纳德·里根演讲的节录拼接在一起，在领导人间进行了虚假的电话交谈，他们都做出好斗的、具有政治破坏性的表态。
（三）常见的深度造假例子
深度造假过程可被应用于所有数字媒体。深度造假品通常是多种工具的混合物。七个常见的深度造假工具包括：
1.换脸
用户将目标脸部嵌入另一个身体。此过程可以应用于静止图像和视频。可通过专用应用程序在线获取此技术的简单版本。
喜剧演员比尔·哈德尔在印象独白期间转换为不同角色的深度造假视频
2.重新投射
来自目标源的面部被映射到用户上，从而允许造假者操纵目标的面部运动和表情。
研究人员使用Face2Face工具控制弗拉基米尔·普京的面部运动
3.口型同步
用户在目标视频上复制口部动作。结合音频生成，此技术可使目标述说虚假内容。
该视频描绘了另一个事实，其中阿波罗11号登陆失败，尼克松总统发表了他在现实生活中从未发表过的严肃演讲，似乎在悼念留在月球上死亡的美国宇航员。
AI智库Future Advocacy 制作的一段视频描绘了英国政要杰里米·科尔宾和鲍里斯·约翰逊相互支持对方为2019年英国大选的首选候选人
4.动作传递
源视频中人的身体运动可以传递给真实视频中的目标人。
艺术家布鲁诺·马尔斯的舞蹈动作通过动作传递技术映射到一名《华尔街日报》记者
5.图像生成
用户可以创建全新的图像，例如面孔、物体、风景或房间。
由深度造假生成器创建的三幅肖像
6.音频生成
用户从真实语音的少量音频样本中创建合成语音。该技术可以与口型同步工具结合使用，从而使用户将音频“叠加”到预先存在的剪辑中。
Overdub软件允许用户用键入的字词替换录制的单词或短语
Lyrebird语音双重软件利用一个小型音频样本创建语音克隆
7.文字生成
用户可以生成人工文本，包括社交媒体或网络论坛上的简短“评论”，或长篇新闻或意见文章。人工生成的评论特别有效，因为此类在线内容有较大的可接受误差范围。
研究人员在监视爱达荷州医疗补助豁免回应研究中生成的深度造假文本；所有研究参与者都认为该回应源于人类
“ Botnet”，一个自述社交网络模拟器应用程序，允许单个用户与由机器人生成的假评论进行互动，这些机器人喜欢并参与用户的帖子
四、武器化深度造假
深度造假技术并非生来就是危险的，它可用于良性目的，从日常生活的搞笑（例如流行的应用程序 FaceSwap）到更重要的应用（例如，在即将上映的电影中“投射”逝去的好莱坞演员詹姆斯·迪恩，此举引发争议）。深度学习（Deep learning）在社会、经济等诸多领域也得到广泛应用，包括尖端医学研究、医疗保健和基础设施管理。然而，在与其他恶意活动（网络攻击、鼓吹活动）或趋势（对制度的信任度降低）相结合时，深度造假将加剧现有风险，并产生增强效果。这将增加对安全与民主的挑战，加速并扩大其在四个关键领域的影响。
（一）网络犯罪
深度造假将为网络攻击者提供新工具。例如，音频生成可用于复杂的网络钓鱼攻击。2019年3月，在首次报道的深度造假网络犯罪活动中，犯罪分子利用人工智能（AI）技术模仿高级管理者的声音，骗取英国一家能源公司首席执行官转账22万欧元。还有证据表明，深度造假内容可以欺骗生物特征扫描仪，例如人脸识别系统。换脸和其他基于视觉的深度造假也越来越多地被用来制造未经许可的色情制品（实际上，估计90％的深度造假被用于色情）。随着深度造假技术的泛滥，预计它还将被用于进行网络经济破坏活动。2013年，美联社（其账户已被“叙利亚电子军”劫持）发布一条推文称，美国总统奥巴马在爆炸中受伤，从而引发了美国股市短暂但严重的跳水。这个例子其实是政治性的，结合犯罪行动的更逼真的欺骗行为（想象一个深度造假的宣称爆炸视频）将极具破坏性。
（二）鼓吹活动和虚假信息
在线鼓吹活动已经成为严重问题，特别是对于民主国家而言。而深度造假将降低开展大规模信息战的成本，并扩大参与者的范围。如今，鼓吹活动主要是由人来操控，例如俄罗斯的“巨魔农场”。不过，深度造假技术的提高，特别是文本生成工具的改进，将帮助将操控人员摆脱出来。这样做的主要原因不是因为深度造假能比人类生成的内容更真实，而是其能够以比当前信息战模式更快、更经济的方式生成“足够好”内容。
深度造假将对所谓的俄罗斯鼓吹活动模式产生特殊增值效应。相比合理性和一致性，该模式更强调虚假信息的数量和速度，以便压倒、迷惑和分裂目标。目前，国家有资源开展协调一致的广泛信息战行动，但是经验丰富的非国家行为者已经表现出通过开展信息战达成战略效果的意愿。由于深度造假技术降低了在线鼓吹活动的成本，非国家组织可能会在上述空间日渐活跃。这就增加了擅长信息战的极端组织利用该技术的可能性。
特别令人关注的是，使用自动文本生成工具生成虚假的在线参与，例如对新闻文章、论坛和社交媒体的“评论”。这类互动容错范围较大，因此深度造假无需复杂就能产生效果。俄罗斯互联网研究机构，一家位于圣彼得保的“巨魔农场”，在2016年美国总统大选前每月有约125万美元的干涉美国政治预算。据称，“巨魔农场”工人有十分严格的工作日程安排：每天12小时轮班，每天必须发布135条评论，每条评论至少200个字符。文本深度造假能够实现自动化，大大降低了操作技能、时间和成本。人工智能生成的文本还可以“戏弄”社交媒体和搜索引擎趋势算法，这些算法根据受欢迎程度和参与度来优先考虑内容。俄罗斯已经在影响力行动中采用该方法。
深度造假还可使鼓吹活动更加有效。例如，在线鼓吹活动经常使用虚假账户和“机器人（bots）”来放大内容。然而，“机器人”很容易被检测出来，因为其缺少在线参与经历或令人信服的数字角色。深度造假生成的图面和文本可以帮助弥合上述差距。2019年，记者们发现，情报人员创建了一个虚假LinkedIn账户“凯蒂·琼斯”，可能意在收集安全专业网络在线信息。研究人员通过技术图片分析和一种相对老套的办法曝光了虚假“凯蒂·琼斯”，即：向LinkedIn上所列出的雇主（战略与国际研究中心）询问是否有一个名叫“凯蒂·琼斯”的员工。重要的是，深度造假不必是不被发现的，这使宣传机构受益。他们只需要“足够好”，即可增加欺骗性消息的可信度。
可疑情报收集活动中使用的深度造假LinkedIn个人资料图像
最后，需要特别关注的是，深度造假可能会被用于治理薄弱和种族紧张地区的鼓吹活动和虚假信息。通过社交媒体传播的误导性内容，例如非文本照片和虚假声明，助长了包括印度、缅甸和斯里兰卡在内的国家的种族暴力和杀戮事件。错归（Misattributed）图像已被用作信息战的有效工具。这种高度分裂的内容因其能激发情感而迅速传播。
（三）军事欺骗和国际危机
通常而言，人们对深度造假的关注集中在害怕高质量的先进伪造品足以蒙混过专业人员的检查。这类深度造假可能会改变国内选举、议会或法律程序、外交或军事活动的进程。
不过，这种情况不太可能发生，因为有经验的专业人员很可能会：
使用可用的检测工具；
寻找确凿证据；
根据其来源和背景评估证据；
经过深思熟虑再根据内容采取行动。
但在极端情况下，超现实的深度造假可能会产生严重影响：即，在时间攸关、风险较大的形势下，如国际性危机或军事突发事件。伪造的视听内容可被用于降低军事指挥官的态势感知（或构建实际“事实”，或通过操纵合法数据流掩盖事实真相）。在政治危机中，行动者可能会利用深度造假内容煽动暴力。想象一下，参与战争犯罪的军事人员的逼真图像或视频被用于煽动暴力报复。
（四）削弱制度信任
2018年5月，比利时荷语社会党成为第一个使用深度造假技术影响公众辩论的政党。该党在脸谱上发布了一段视频，称美国总统特朗普鼓励比利时退出有关气候变化的《巴黎协定》。该党称该视频旨在引发辩论，而不是欺骗。视频的口型同步不够完美，还发表了视频系伪造的免责声明。在线社区和新闻网站很快就揭穿了真相。此次深度造假未影响比利时大选。
然而，公众越来越了解深度造假技术，并且不确定这种技术如何被广泛地加以利用，这可能会破坏人们对正当个体和机构的信息交流的信任。将深度造假技术武器化的一个有效手段是不使用它，而是利用该技术的存在引发怀疑和不信任。例如，2019年，加蓬总统阿里·邦戈发布了一条视频，以消除公众对其健康状况的猜测，而反对者反驳说这是一个深度造假视频。该指控可能在挑起加蓬未遂的军事政变中扮演了某种角色。
加蓬总统阿里·邦戈的讲话，被错误地指认为深度造假
研究人员将这种加剧动态称为“骗子的红利”。即，努力揭穿假消息或鼓吹活动会使观众难以相信所有信息源。这种现象表明，必须对武器化深度造假进行有效政策响应。各国政府必须尽早采取行动，让公众相信政府正在应对武器化深度造假的挑战，以免恐慌或轻信造成比造假更大的负面影响。
五、建议
为了应对武器化深度造假带来的挑战，决策者应与业界紧密合作，在三个方面发力。这些努力应解决武器化深度造假带来的挑战，同时使社会对深度造假加剧的问题更有弹性，包括网络攻击、在线鼓吹活动、军事欺骗以及制度信任削弱。
（一）检测技术
有工具可以用来检测某些深度造假过程。不过，总地来说，先进深度造假生产者正在让检测者输掉“军备竞赛”。检测工具对于有意愿和时间来评估数据真实性的用户最有价值，例如政府、法院、执法机构和大型公司。对于紧急情况调用的深度造假，例如突发新闻、选举活动或具有快速时限的军事或商业决策，如果处理虚假内容前没有足够的时间进行部署，检测过程可能收效甚微。
检测并不能完全缓解深度造假的在线虚假消息（“足够好”通常就足够有说服力）和假消息，这些信息容易点燃人们的情绪并快速传播，而非让人们保持理性。研究还表明，揭穿虚假或误导性内容的努力可能适得其反，它会进一步传播或使内容合法化，进而消耗现有的信任。检测也无法解决对制度信任的挑战，因为个人造假的曝光将对社会的信任力带来负面影响，即使是合法内容。自动检测工具可以给在线审查内容（尤其是在选举广告活动和宣传政治主张情况下）打上更连续、更有原则性的标签和标记，可能帮助降低深度造假在鼓吹活动和假消息中的有效性，并提升公众对在线资料真实性的信任。
各国政府应与业界共同合作：
为进一步开发和部署检测技术的研究提供资金，特别是用于政府机构、媒体组织和事实核查员；
要求数字平台部署检测工具，尤其用于识别和标记利用深度造假生成的内容。
（二）行为改变
当前，高质量的视听材料已广泛被媒体和个人接受为可信的。换句话说就是，眼见为实。不过，还需要开展意识活动，突出本地和国际实例，帮助公众理解这些问题，鼓励用户批判性地介入在线内容，包括考虑来源和背景，适当情况下可以使用检测工具或检查真实标志。
为了应对武器化深度造假对制度信任带来的风险，政府应加倍努力，确保公众拥有可信沟通渠道获取真实信息，特别是在危机期间。
各国政府应与业界共同合作：
支持可信的信息提供者，例如本地和国家新闻媒体机构；
加强对专门的透明度机构和倡议的支持；
鼓励社交媒体平台扩展验证用户项目，通过严格检查实现验证，帮助用户识别信息来源，以便更好地评估其是否可信；
为政府创建危机期间提供公共信息的公认通信规程（例如，通过可信消息平台、社交媒体账户或国家广播频道）；
制定时间敏感或政治敏感态势下的立法和政策“防火墙”，以解决检测或认证相关解决方案不充分的问题（例如，在选举前的几小时内实施“媒体封锁”）。
（三）验证标准
监别所有虚假内容的一个可选方案是标记所有合法内容。几个世纪以来，机构通过开发确保真实性的实践和程序来应对新兴造假技术的发展。例如，复印机的商业化为伪造者提供了新的机会。技术应对（如采用模拟水印和聚合物钞票）以及新法律和政策（如通过可信第三方“认证”原始文件副本）应对了该挑战。
时光流逝，数字内容认证系统将会变得更加复杂，这将部分缓解武器化深度造假带来的风险。特别是，加密和开放分布式记账“区块链”技术可被用来验证数字内容。政府将发挥关键作用，确保验证标准普遍适用，并促进其广泛采纳。
各国政府应与业界共同合作：
支持研究适当的验证技术和标准；
引入与数字水印和更强大的数字链监管要求相关的通用标准。
本文作者
声明：文章仅供交流参考，不代表本机构立场。
声明：本文来自奇安网情局，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
