随着企业逐渐将应用程序转移至云端,并通过应用程序编程接口(API)暴露各种功能,网络罪犯也纷纷快速转向利用这一新暴露出来的攻击界面。借助机器爬虫,黑客能够大幅增加其攻击的波及面和有效性。与许多新技术的情况类似,安全再一次滞后了。

管理咨询公司AArete技术实践总经理John Carey称,问题在于企业必须合理安排其安全预算。客户通常是看不到反机器爬虫技术方面的投入的。他说:“工具和技术稀缺,而且越来越贵。同时,由于是个有利可图的犯罪领域,威胁范围也正在扩大。”

针对API的机器爬虫攻击问题愈趋严峻

今年早些时候,安全公司Radware和研究公司Osterman Research发布了一份报告,指出2020年有98%的企业遭受过针对其应用程序的攻击,82%报告称遭到恶意程序攻击。最常见的攻击类型是拒绝服务(DoS),86%的企业都经历过;网络爬虫攻击次之,84%的企业遭遇过;账户劫持则有75%的企业报告过。

受访企业中55%将API安全当做“首要工作”,59%表示要在2021年“大力投资”API安全。仅四分之一的企业表示用过机器爬虫程序管理工具。至于明年,59%的企业计划大力投资API防护,51%打算投入Web应用防火墙,但仅32%考虑投资反爬虫管理工具。此外,仅52%的企业将安全完全集成进API持续交付,而集成进Web应用的比例则是63%。

情况只会越来越糟数字经济保护委员会(CSDE)、消费技术协会和美国电信协会(USTelecom)3月的一份报告指出,由于2025年物联网设备的数量预计可达到800亿,相当于全球人口数量的十倍,机器爬虫的破坏潜力也将随其利用物联网设备而呈指数级增长。API是很容易得手的目标,因为企业可以通过API将后端数据和功能暴露给可信合作伙伴、客户和公众。CSDE建议采用API网关来辅助抵御恶意机器爬虫。

根据安全公司GreyNoise Intelligence的数据,在过去三个月里,有超过6800个IP地址一直在扫描互联网上的ENV文件(用于存储数据库登录凭证、口令和API令牌的配置文件)。GreyNoise研究主管Nathan Thai透露,这些扫描流量中,1.4%已知呈良性。“一些安全公司会扫描这些文件,他们没有恶意,只是在做调查或者编撰报告。”

另外23%的流量就是恶意的了,因为相同的IP地址还参与了其他可疑行为。剩下75%归属未知类别,可能是无害的研究,也可能是网络罪犯在执行被动监视,好根据监视情况通过其他渠道做别的坏事。Thai称:“通常情况下,他们会一次做完,因为他们根本不在乎会不会被逮到。”最大的流量来源是哪儿呢?云托管提供商Amazon、Linode、微软、阿里巴巴和DigitalOcean。

而且这种活动还在升级。过去六个月来,执行机会性ENV爬取的机器爬虫的活动规模直接翻了个倍。Imperva的《2021恶意僵尸网络报告》揭示,恶意机器爬虫如今占据了所有网站流量的四分之一,相较于去年上升了6%,而且三分之一的登录尝试都是恶意的。

更糟糕的是,恶意爬虫程序还越来越智能了。Imperva应用安全战略总监Edward Roberts表示:“更难以检测和阻止的高级僵尸程序构成了去年恶意爬虫流量的主体。”这种恶意程序是造成API高速滥用、误用及攻击的根本原因。随着API数量每年成倍增长,恶意黑客也有了更多途径来入手敏感数据。

如何利用针对API的机器爬虫攻击

佛瑞斯特研究所首席分析师Sandy Carielli表示,爬虫程序常用于凭证填充攻击,也可用于库存囤积。她说:“当限量版运动鞋、音乐会门票或最新游戏系统等抢手商品开始发售时,机器爬虫会抢在合法人类用户之前一拥而上,瞬间抢光库存。”然后爬虫程序运营者就可以转售这些商品牟取暴利了。

Carielli表示,企业也会使用机器爬虫。“不道德的公司会用爬虫程序从竞争对手的网站上爬取价格,然后将自己的价格设得略低一点,或者爬取高端产品的产品信息和图片,再用在自己的网站上兜售假货。”

DDoS工具和Web应用防火墙防不住所有类型的爬虫程序攻击。企业需要专用的反爬虫程序管理解决方案。Carielli称:“注意,爬虫攻击合法业务逻辑。你不是要阻止所有人登录或购买产品,而是只阻止恶意爬虫。”

看一家银行是如何对抗恶意爬虫的

一家中型金融机构的网络安全技术经理Jeff表示,被阻止的流量中85%都来自恶意爬虫程序。其余15%要么是地理封禁的登录尝试,要么是合法人类用户尝试太多次登录,或者使用了过时代理或应用。

不是所有机器爬虫网络流量都会被阻止。有些流量来自良性爬虫程序。Jeff称:“我们与Quicken和Mint等其他金融机构和聚合器合作。从某种意义上讲,这些都是爬虫网络,因为这就是在多个站点执行多项功能的API。恶意爬虫程序则只要能切进来就可以造成大量破坏。最糟糕的情况是,恶意爬虫程序能够冒充用户,收集该用户的财务信息。”

网络罪犯也能以其他方式利用机器爬虫网络。例如,他们可以利用网页爬虫找出哪家银行提供最佳费率,然后创建账户用来洗钱。Jeff表示:“你会发现有机器爬虫网络不断利用真实账户转移资金,只不过是以自动化的方式转移。网络罪犯还会利用机器爬虫网络来绕过限制。他们可能位于受限制的国家,将机器爬虫网络设在不受限国家的云提供商处,从而绕开合规监管。”

为识别机器爬虫程序,Jeff所在的公司审查机器人程序的用户代理名称和IP地址。如果是已知恶意IP地址,就立即阻止。然后查看其与API的交互方式,查找cookie或会话重放、异常行为模式和其他可疑行为的迹象。

Jeff称:“如果请求的第一个页面是账户状态页而不是登录页面,那就不正常了。假设我们知道某账户持有者是个22岁的大学生,每两周周五会存入200美元,而现在开始每周几次存入大量现金,那事情就不对劲了。”

Jeff拒绝透露银行内部使用了什么工具来识别恶意行为。而在外围边缘,他们采用Salt Security。该工具的人工智能和机器学习大幅减轻了内部安全团队的工作量。

只要发现一起机器爬虫程序攻击,往往该攻击中的所有请求都有某种共性,比如相似的请求构造模式,或者共同的源地址,或者都使用同一个代理。Salt Security首席产品官Elad Koren称:“如果是合法请求,就会按一定顺序进来。”这样就可以使用通用参数识别同属于该攻击的其他流量,或者标记目标账户以加强安全防护。Koren表示:“机器爬虫网络通常只是攻击的一部分。加上账户劫持,一拿到登录凭证,他们就能借助更高级的工具深入进来,卷走资金。”

常用机器爬虫网络检测技术

Radware和Osterman Research的调查研究显示,Web应用防火墙(WAF)是检测机器爬虫流量最常用的技术,48%的企业都使用这种技术。此外,47%的企业查找已知恶意IP地址,43%使用全自动区分计算机和人类的图灵测试(CAPTCHA),34%采用速率限制,26%构建自有解决方案,仅24%使用专用反机器爬虫程序技术。

Constellation Research副总裁兼首席分析师Andy Thurai称:“只要实现得当,CAPTCHA非常有效。我们知道,抵御机器爬虫程序的成功率高达90%。一般说来,视觉处理挑战非常有效,需要人脑来解决。”

速率限制和WAF也很有效。Thurai表示:“实现得当的API安全应当按用户、位置和身份限制API使用的速率,或者阻止不受支持的协议、调用方式或可疑包头或内容。”专用机器爬虫程序防御解决方案还会监测规模、签名、地理频次和流量内容等流量特征。

区分良性机器爬虫程序和恶意机器爬虫程序很有必要。例如,大多数客户通信都迁移到了聊天机器人等机器人程序上了。所以,任意给定时间上都有大量良性机器人程序流量流经网络。模式识别有助于区分这二者。

反恶意爬虫供应商

佛瑞斯特研究所去年发布的相关报告显示,反机器爬虫程序管理领域的市场领导者是Netacea、PerimeterX、Akamai Technologies和Imperva。国内的主流厂商为大型公有云厂商,如阿里云、腾讯云,以及一些专注该细分领域的公司,如瑞数信息、星阑科技等。

声明:本文来自数世咨询,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。