国家互联网应急中心网络安全应急技术国家工程实验室、启明星辰积极防御实验室(ADLab)、西安四叶草信息技术有限公司、北京同余科技有限公司联合发布

目录

引言

一、智能音箱市场现状与发展趋势

二、智能音箱技术发展现状

  • 2.1智能音箱系统组成

  • 2.2智能音箱内部结构

三、智能音箱网络安全案例分析

  • 3.1 网络安全风险

  • 3.2 网络安全案例

  • 3.2.1硬件调试接口暴露

  • 3.2.2固件内置后门

  • 3.2.3服务端口越权

  • 3.2.4 DLNA服务越权

  • 3.2.5代码缺陷

  • 3.2.6硬编码秘钥

四、智能音箱隐私安全案例分析

  • 4.1 隐私安全风险

  • 4.2 隐私安全案例

  • 4.2.1信息过度采集

  • 4.2.2敏感信息泄露

  • 4.2.3语音识别错误与亚马逊Alexa事件

  • 4.2.4语义理解错误与智能音箱报警

五、安全推进建议

  • 5.1网络安全建设

  • 5.2隐私安全建设

引言

随着物联网和人工智能的快速发展,智能音箱成为创业者和互联网巨头共同热捧的暴款智能硬件的标杆和典范,成为下一代用户流量入口的典型代表,进而成为抢占家庭入口和智能家居枢纽的理想载体。

与其它物联网产品不同,智能音箱具有两个明显的特征:一是直接采集语义丰富的用户语音信息,使其触动了用户的隐私敏感神经;二是其CPU、内存和硬盘等计算资源相对丰富,又搭载了标准的操作系统和应用环境,使其成为黑客攻击的理想对象。

引起智能音箱隐私受严重关注的原因主要有四个方面:一是生产厂商对用户数据饥渴般的采集,使得被采集数据与产品功能极为不对称,造成过度采集;二是被采集的数据在传输、存储、处理和交换过程中受到的保护较少,导致隐私数据泄露;三是作为AI典型代表的语音识别还存在一定量的错误概率,导致智能音箱被错误唤醒进而采集非用户授权的语音;四是智能音箱的语义识别功能也存在一定的错误概率,从而可能错误理解用户命令,引发意料之外的隐私风险。

智能音箱网络安全风险主要体现在以下四个方面:一是智硬件试接口的隐藏和保护不到位,降低了攻击者的分析难度;二是厂商预留的后门被攻击者发现之后可能被大面积利用;三是厂商开放的端口和服务没有经过严格的安全保护,存在被攻击者恶意利用的可能;四是在软件设计与开发过程中缺少安全方面的考虑,导致固件中存在可能被攻击者利用的空间(过期或不安全的第三方组件),进而完成对智能音箱的任意控制。

智能音箱作为一个贴近用户生活的产品,厂商应对由设备、APP和云端构成的智能音箱系统体系采取完善的安全防护措施。然而,由于大多厂商对《网络安全法》理解较少,而《个人信息安全规范》要求又很宽泛,智能音箱面临的安全问题较为严重。为解决这一问题,需要网络安全监管机构、智能音箱厂商和物联网安全厂商的共同努力。

威胁指数进行了综合分析,发现多数省份情况良好,而广东、北京等省市安全形式相对严峻。

1、智能音箱市场现状与发展趋势

2017年,智能音箱用户量占比排名第一的是美国,用户量占比为73%;其次为英国,用户占比为10%;德国排名第三,用户占比为8%;中国、加拿大分列四、五位,用户量占比为3%和2%。在消费升级的背景下,中国智能音箱市场迅速崛起,2018年中国用户量将进一步扩大,用户占比达到10%。

Strategy Analytics的数据也显示,2018年Q3,全球智能音箱出货量同比增长197%,达到创纪录的2270万部,并在2018年最后一个季度超过1亿台的使用量。亚马逊在第三季度依然市场占有率最高,占据了32%的份额,谷歌以23%的份额紧追其后。

Canalys报告数据预测,未来智能音箱的用户量将保持快速增长势头,到2020年达2.25亿,并有望在2022年超过3亿;2019 年中国智能音箱市场出货量将增长至 2960 万台,市场规模将破百亿元,成为除美国之外最大的智能音箱市场。亚马逊、谷哥、阿里巴巴、百度、小米和苹果成为全球智能音箱出货量排名靠前的六个厂商,市场占有率约为85%。

2、智能音箱技术发展现状

2.1智能音箱系统组成

智能音箱系统由智能音箱、智能音箱APP、智能音箱云,以及智能音箱下连的物联网设备共同组成。

图1典型的智能音箱系统组成

智能音箱是一种基于语音的人工智能的重要落地形态体现。通过将智能音箱与第三方的物联网设备互联,如手机、智能家居和智能汽车等,用户可以用声音来控制周围环境,从而改变用户与周边环境的互动方式。

当用户说一个特定的唤醒词时,用户的声音会被送到云端进行处理。智能音箱的设计理念是,它听到一个唤醒词就会立刻被唤醒并开始记录,这意味着可能存在备在用户不知情的情况下存储对话的可能性。

2.2智能音箱内部结构

智能音箱的典型内部结构如下图所示。在智能音箱样繁多的外形结构下,核心部件基本相似,主要包括全向麦克风、WiFi与蓝牙天线、WiFi与蓝牙芯片、DSP芯片、主板与电源,以及开关和按键等。

图2典型的智能音箱内部结构

3、智能音箱网络安全案例分析

3.1 网络安全风险

智能音箱带有运算功能较强的CPU,其内存和固态存储也较大,运行有完整的操作系统和应用程序,是物联网设备中硬件资源较为丰富,操作系统标准化较好的一类产品,常常成为黑客关注的重点对象。

由于智能音箱厂商对网络安全问题的重视程度不够,导致智能音箱在硬件设备、固件开发、服务开放和软件开发中存在一些缺陷和隐患,给攻击者留下了可以深入分析智能音箱、控制智能音箱、通过智能音箱播放非法音频,甚至是从智能音箱获取数据的机会。

3.2 网络安全案例

3.2.1硬件调试接口暴露

为了便于生产和维护,许多智能音箱开放了对外的调试接口,包括JTAG接口、USB接口和UART接口等。通过调试接口,厂家可以对问题设备的固件进行调试和更新。

图3开放的调试接口

开放的调试接口同样为攻击者提供了分析固件和对设备发起攻击提供了便利,更进一步的攻击者可以向设备安装恶意的固件,本次测试发现数款智能音箱存在类似的问题。

智能音箱出厂时,厂商应将硬件调试接口进行隐藏或伪装,从而提高攻击者的攻击难成本,包括不焊接接口接插件、将调试接口伪装成其它器件、非重要器件将调试接口覆盖住,甚至是不引出调试接口等不同难度等级的处理方法。

3.2.2固件内置后门

由于厂商或开发人员的疏忽,或者是部分厂商或开发人员特定的目的,有些厂商会在智能音箱的固件中置后门。

图4智能音箱后门示例

本次测试过程中,发现部分厂商在智能音箱的固件中置后门,使得厂商以在用户不知情的情况下,远程地控制全网所有音箱,并执行任意系统命令,对用户隐私及设备安全埋下巨大的隐患。

3.2.3服务端口越权

因为业务需要,部分智能音箱外开放了服务端口。由于相关厂商和开发人员对服务端口可能存在安全风险认识不足,导致对端口不作权限控制或者安全控制等防护操作,使得攻击者可以通过越权使用开放端口,实现控制音箱播放恶意音频或者录音,甚至进行其他权限更高的操作。

图5未授权的开放端口

在本次测试中,发现某智能音箱开放了8080端口,攻击者通过向该8080端口发送特定的控制命令,即可实现对智能音箱完全控制。另外还发现某些智能音箱使用GoAhead Web Server作为web端管理,在开启CGI的情况下,可以远程代码执行。

3.2.4 DLNA服务越权

数字生活网络联盟DLNA由索尼、英特尔、微软等发起成立,旨在解决个人电脑、消费电器、移动设备和物联网设备在内的设备之间数字媒体和内容服务的无限制的共享。因此许多智能音箱厂商都在系统中使用DLNA服务,但由于缺乏对其安全性的控制,导致智能音箱存在较大的安全风险。

图6开放的DLNA服务

本次测试过程中,发现部分智能音箱开放了未授权的DLNA服务,局域网内的攻击者可以利用DLNA服务控制智能音箱播放恶意音频或者中断音箱正在播放的内容,攻击者甚至可以利用该安全隐患向用户播放反动音频或者恐怖音频,从而给社会和个人带来极大的负面影响。

3.2.5代码缺陷

部分厂商对安全问题不够重视,从而导致设计和开发人员在软件实现上不够严谨,存在较多的缺陷和漏洞,攻击者可以利用这些缺陷和漏洞,实现对智能音箱的任意控制。

本次测试中发现某款智能音箱在代码实现上存在缺陷,使得攻击者可以通过命令注入漏洞开启telnet服务,完全控制智能音箱并实现对设备的录音等恶意操作。存在命令注入代码如下图所示:

图7特殊字符串提取

测试者获取playurl后,通过精心的命令构造和拼接,可以让智能音箱执行任意命令。

图8任意命令执行

测试成功后,系统开启了telnet服务,攻击者可以利用该服务实现对智能音箱的任意控制。

图9成功开启telent服务

3.2.6硬编码秘钥

部分厂商会在产品面世初期做一些活动,如赠送会员,在有限期内使用付费服务。

若开发人员安全意识不足,则可能会将key硬编码至固件内部。以方便用于用户的使用,且不知这种情况下,若智能音箱存在安全风险。攻击者则可能通过入侵智能音箱的方式获取设备固件,在进行分析和逆向之后,使用内置的秘钥或口令在非正常授权的情况下消耗厂商资源,给厂商带来出乎意料的资产流失。

4、智能音箱隐私安全案例分析

4.1 隐私安全风险

人类的语音内容中包含丰富的个人信息。通过语音内容,分析人员可以获得用户的年龄、性别、籍贯、健康情况、周围环境等个人敏感信息。所以智能音箱的语音采集及利用涉及到敏感的个人隐私问题。

随着民众自我保护意识的提高及法律的进步,加强个人信息安全及隐私保护的呼声也越来越高。2018年,欧盟开始实施GDPR法案,要求企业必须保障个人隐私安全。2018年5月1日,国家《信息安全技术:个人信息安全规范》正式实施,填补了国内个人信息保护在具体实际标准上的空白。

4.2 隐私安全案例

4.2.1信息过度采集

智能音箱包含了硬件、固件、应用和内容等多个层面的要素,其产业链中存在很多厂家,包括智能音箱设备厂家、语音识别及语音合成平台厂家、远场音频处理厂家、NLP算法厂家、音频内容提供商、外围设备商等。

在智能音箱厂家与产业链厂家之间存在多个用户信息采集点,可能涉及到对用户使用的手机号、详细地理位置、WI-FI名称、WI-FI口令、设备MAC地址等隐私信息,有些厂商甚至借助智能音箱APP获取用户通信录、运动数据和已经安装的应用等信息,而这些信息对于产业链厂家来说不是业务所必须的。

4.2.2敏感信息泄露

本次测试过程中,对部分智能音箱开展了7*24小时的流量监控与分析,通过分析发现,被测智能音箱的上行和下行的绝大部分流量,均为明文数据,未采取严格的安全传输措施。

图10典型设备的监控流量

考虑到智能音箱均通过WI-FI连接到互联网,攻击者可以通过伪AP等手段,轻易地获取智能音箱采集和传输的各类数据,从而造成用户的敏感数据泄露,给用户的隐私安全带来极大的挑战。

4.2.3语音识别错误与亚马逊Alexa事件

AI语音识别不能做到百分之百的准确,这是AI技术存在的一个巨大Bug,如果用户或者用户环境中的电子设备在不经意间发出了一个与指令相似的声音,将可能导致用户的隐私信息被泄露,而用户对此却毫不知情。

在音箱的使用场景中,只有用户唤醒音箱后,音箱才能收集用户的语音信息。而由于有些音箱的唤醒算法存在缺陷,使得音箱经常在未被唤醒的情况下,自行唤醒,并且收集用户语音,上传到后台进行识别。这样会使得用户的隐私存在泄漏风险。在本次测试的音箱中有五款智能音箱存在不同程度的误唤醒情况。占比达到56%。

图11亚马逊Alexa

根据国外媒体“KIRO 7”报道,美国波特兰的Danielle是亚马逊智能音箱的忠实用户,她将家中几乎所有的电器都和Alexa连接,包括空调、灯光,甚至安全系统。突然有一天,有人打电话让她赶紧关掉他们家的Alexa,因为音箱可能是被黑客攻击了。在Danielle听得糊里糊涂的时候,对方告诉她,在他收到的语音中,包含Danielle和丈夫正在讨论木地板的事,Danielle这才反应过来:他们被Alexa监听了!

4.2.4语义理解错误与智能音箱报警

在智能音箱技术栈中,除了语音识别存在错误的可能,后续的自然语言理解过程中,也存在出现错误的可能,即智能音箱错误地理解了用户的指令,或者理解并执行了原本就不是给它指令,从而给用户带来隐私风险。

图12Google智能音箱

2017年7月2日晚上10点,美国新墨西哥州的Bernalillo县警察局接通的一个电话中没有人回应,只能听见激烈的吵闹声、模糊的呼救声和扭打、摔碎东西的声音。警方急忙根据线索赶到案发现场,这才发现:原来,一名叫Eduardo Barros 的男子在与其友Milana激烈争吵后,对她进行疯狂的家暴。Eduardo Barros拿出了一把枪,威胁要杀死自己的女友,并向她大喊“你是不是报警了”,但是家中的Google智能音箱误以为男主人是要报警,因此就真的向警察局发出了报警信息,而警察确实也接到了报警,成功的将Eduardo Barros拘留。

5、安全推进建议

由于智能音箱直接采集、传输、存储、分析和交换用户的语音以及音的衍生信息,涉及极为重要的个人隐私信息,提升智能音箱的安全水平需要从网络安全和隐私安全两个层面发力

5.1网络安全建设

考虑到智能音箱是一个纯粹的厂商控制、用户使用型产品,在整个产品生命周期中,用户对智能音箱的操作均在厂商规定的范围内,不会对智能音箱的安全带来影响,因此,该类产品的安全责任主要落在厂商肩上。

(1)厘清网络安全的责任

当智能音箱厂商完全独立运营设备、APP和云端,并享受由此带来的收益的同时,应充分认识到其自身肩负着设备、APP和云端的安全责任,责无旁贷。根据《网络安全法》的要求,厂商网络安全责任落实不到位并造成重大网络安全事故的,将面临严重的法律责任。

(2)重视产品安全建设

在厘清网络安全责任的基础上,智能音箱厂商应该在安全设计、安全开发、安全测试、安全上线和安全运维五个阶段,从设备、APP和云端三个方面,从硬件、固件、网络、应用和数据五个层面开展网络安全建设,全面提升智能音箱体系的安全性。

5.2隐私安全建设

(1)明确隐私安全的责任主体

去年发布的《信息安全技术:个人信息安全规范》对个人信息隐私有了框架性的要求,但对具体场景下的隐私安全责任划分不够清晰,在具体实施过程中存在分歧。

为了明确隐私安全的责任主体问题,网络安全监管部门应从上下两个方面进行工作:向上应该尽快推动个人隐私立法,加大对个人隐私保护的力度;向下应依据《个人信息安全规范》尽快落实具体场景的实施指导建议,明确场景中各个角色的隐私责任比例。

(2)落实隐私安全的实施策略

随着智能音箱行业的快速发展,每个智能音箱平台上的用户数量都较大,一旦发生个人隐私数据泄漏等安全事故,都将给智能音箱厂商和用户带来巨大的损失,因此,在个人信息安全保护相关法律法规尚不健全的条件下,厂商应该充分意识到隐私安全给自身商业价值带来的巨大挑战,充分参考国内外最佳实践,制定切实行的隐私安全策略,最小限度地采集用户信息,最大限度地保护用户隐私安全。

声明:本文来自工业互联网安全应急响应中心,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。