引 言
AI技术的突破性发展推动终端设备向高级智能化、个性服务化和交互多元化方向深度演进，赋予终端更强的计算能力、感知能力、意图分析能力、自主学习能力以及决策执行能力，为人类提供更加便捷、高效、智慧化的服务[1]。
然而，这种技术跃升也使智能手机面临前所未有的隐私与数据安全挑战：智能手机不仅作为通信工具，其融合社交、娱乐、支付、办公以及智能生态等多重场景需求，已经成为了个人信息的中心，而AI手机智能化体验离不开须大量的用户数据做支撑。基于跨场景、多维度分析所生成的综合性用户画像一旦泄露，个人关键隐私信息将被完全曝光。此外，移动端侧部署大模型的攻击面远大于云端[2]，一旦保留了用户的个人数据的端侧模型被攻击，可能导致个人与敏感信息泄露 ，甚至可以被利用来实施更加精准、隐蔽和危害性更大的攻击。
因此。AI手机场景下的隐私保护与数据安全，已成为当前行业亟待解决的核心问题。
一、AI手机概念、分类及部署模式
目前，行业内对于“AI手机”这一概念尚未达成统一的定义。以国际数据公司（IDC）对AI手机的定义标准为例，将AI手机分为“硬件支持的AI手机”和“生成式AI手机”两种。
其中，“硬件支持的AI手机”指的是具备专门用于AI计算的硬件加速器以及相应的软件支持的智能手机。这类手机能够在低功耗的条件下实现高性能的AI运算，并已广泛应用于自然语言处理（NLP）、计算摄影等具体领域。这一类型的智能手机早在近十年前就已上市，并在市场中取得了一定的普及。
另一类近年来在行业内受到高度关注的则是“生成式AI手机”。IDC将其定义为具备高性能片上系统（SoC）的终端设备，所搭载的神经处理单元（NPU）的运算能力应达到每秒30万亿次操作（TOPS），使得设备端可以更加快速、高效地运行基于int-8数据类型的生成式人工智能模型[3]。
随着技术的不断突破，当前智能手机端侧已经具备直接部署运行复杂AI模型的能力，让大模型装进口袋"真正成为可能。生成式AI手机的模型部署模式可分为云端部署、侧端部署、或者端-云协同部署三类，而端-云协同部署是目前生成式AI手机的主流方案。端侧模型执行例如图像增强、文本翻译低算力需求任务，多模态内容生成、跨平台数据整合等任务依然高度依赖云侧处理。值得注意的是，目前生成式AI手机的众多功能依然主要依赖云端进行数据处理，数据上云在提供更强算力与服务的同时，也进一步放大了隐私风险。为明确后续讨论的范围并避免概念上的混淆，本文所指的“AI手机”，特指能够支持生成式AI模型端侧运行的“生成式AI手机”。
二、生成式AI手机服务实现的技术要素
1 端侧大模型
是否能够在移动端直接部署并运行大模型，是判断“生成式AI手机”的关键特征。在终端设备部署的大模型可在本地完成对绝大部分数据的处理与分析，并结合用户输入、传感器数据等信息，持续进行初步的微调或更新（例如记录用户的语音特征和使用习惯等）。之后再由端侧设备上传本地参数至云端，构建出更精准的个性化模型[4]。由于手机终端直接与用户交互，因此能够实时采集并迅速利用交互数据对模型进行个性化的自适应调整，使端侧模型在持续使用中不断提升精准性，从而反过来进一步优化用户体验，最终实现更高效、更智能化的人机交互和服务。
2 AI智能体（AI Agent）
AI智能体（AI Agent） 是一种能够自主执行任务的软件程序，它通过观察环境、做出决策并执行相应行动来达成特定目标。AI智能体可以有效减少人类重复性工作，优化人与人工智能之间的交互方式，成为连接用户与数字世界的智能接口。通过用户设定的目标或提示词，AI智能体能够自主拆分复杂任务、调用适当的工具，并高效完成工作，甚至在没有明确指令的情况下自主推理出下一步的行动。
当AI智能体与大模型相结合时，其能力将得到显著提升。微软（Microsoft）的研究表明，大模型可以让智能体与用户实现更加自然流畅的交互，能够处理更加复杂的任务，例如代码生成、客户咨询和问题解决等。此外，研究还指出，AI智能体通过迁移学习和单次学习（one-shot learning）显著提高了通用性，能够更快地适应并完成全新的任务[5]。
生成式AI技术的普及，将推动智能手机孕育出一个甚至多个AI智能体（AI Agent）。智能手机作为终端设备，承载了大量的个人专属信息，可为AI智能体实现高度个性化的服务提供强大支撑[6]。端侧运行的多个AI智能体之间将进行频繁的数据交互与融合，模型不仅需要汇聚用户在第三方应用中的数据，还可能涉及第三方来源的多模态信息。这种多模态数据的融合一方面能够带来更全面的信息维度和更高的服务精准度，另一方面也显著增加了数据泄露和隐私风险的严重性[7]。
3 无障碍功能
无障碍功能是手机系统中为残障用户或有特殊需求的用户设计的辅助工具，通过无障碍服务，应用可以访问和模拟系统界面上的各种操作，如自动点击、读取屏幕内容等，来帮助视觉或行动不便的用户操作手机。
无障碍功能是系统内置的辅助功能，其设置的初衷具有正当性目的，因此使用无障碍功能的行为往往不会被系统自身或防护软件判定为有害行为。应用提供方可以轻易通过模糊的描述等方式“引导”用户开启无障碍功能，实现在系统层面“代替用户”读取信息或执行的操作。
当“AI智能体”和“无障碍权限”结合，能够让AI手机在操作层面突破常规权限的限制，从而实现更加自动化、个性化、跨应用的服务场景，例如：AI自动打开App完成订票、点咖啡等跨应用操作。在带来更多便利的同时也让无障碍权限被滥用的话题更为敏感。
无障碍权限被滥用将导致隐私泄露和恶意操作。无障碍服务允许应用读取屏幕、监控并捕获其他应用界面的信息，如果被恶意应用利用，用户输入的账号、密码、短信验证码等敏感数据都可能被实时截取并上传。无障碍权限可以让应用在系统层面做出跨应用、跨界面的操作，通过模拟点击、自动输入等操作，应用程序可能会在用户不知情的情况下执行支付、转账、修改账号密码等敏感操作，一旦被恶意利用，就相当于某种形式的“远程控制”或“自启脚本”。
通过“AI智能体 + 无障碍权限”技术实现的AI服务，智能体成了“跨APP操作”的核心甚至是用户操作的代理。一旦智能体被攻击者劫持和滥用，攻击者即可轻易获得对用户全部应用数据的全面访问与操控，而无需像传统攻击那样逐个攻破每个应用的安全防护机制，个人隐私信息泄露风险加剧。
4 意图框架
"意图框架"可以理解为一种围绕用户意图进行识别、分析、预测和响应，从而提供个性化服务的技术架构，使手机更好地“读懂”用户需求，提供更加贴心的服务体验。“意图框架”设计了统一的合作模式，并在开发者文档中提供了详细的接入指引。App开发者可以根据自身需求，自主决定是否接入该框架以及具体的接入方式，并且可以自由选择开放哪些应用场景和接口，以充分利用平台提供的功能与服务。然而，说服第三方App主动加入手机厂商构建的意图框架并不容易。目前，大量App尚未开放足够的意图接口，因此手机厂商更多地选择通过无障碍权限实现系统AI化，作为一种现实的权宜之计[7]。
三、AI手机的数据安全风险及防控措施
1 隐私保护与用户权益方面
用户是否真正了解自己所提供的信息和授予的权限究竟被用于何处？他们是否明白其中潜在的风险？事实上，许多用户并不清楚设备生成的数据究竟归谁所有，也不了解这些数据具体的用途。数据用途与授权的不透明引起了广泛质疑。尤其涉及隐私信息收集时，用户的知情权与同意权是否真正得到保障？
风险1：知情同意流于形式[8]
AI 手机对数据的采集和处理近乎“无孔不入”，并且可能实时进行。用户通常只能在安装或首次使用时“一键同意”，在复杂的隐私政策面前难以真正理解数据使用方式和后果。
安全建议：必须明确获得用户的主动授权，并且应采用“选择加入”机制而非默认启用。授权内容应具体、清晰，用户必须主动参与并了解决策过程，确保用户对数据使用和风险有充分认识。
风险2：多方主体责任划分不清[8]
AI 手机的生态往往由手机终端厂商、自研或第三方的大模型、App 开发者、云服务提供商等多方组成，数据从终端到云端可能经过不同的主体。一旦发生数据安全或隐私侵权事故，可能出现相互推诿，用户维权也变得更加复杂。
安全建议：手机终端厂商需明确手机智能体（如系统内置的 AI 模块）、大模型服务提供商以及相关 App 等各自的数据收集和处理范围。梳理跨主体的数据调用情境，签订或完善多方合同与合作协议，明确各方对数据安全、隐私保护的责任。
风险3 ：隐私政策内容冗长，未清晰说明数据用处[9]
AI 功能大幅增加，相关数据收集与使用情境更加多样，导致隐私政策内容冗长、专业术语大量出现，且涉及多方第三方服务。用户稍不留意，便可能不清楚自己究竟授权了什么、数据如何被使用或共享。
安全建议：以简明、易理解的方式展示最核心的条款（例如：收集了哪些关键数据？用于何种场景？可能与哪些第三方共享？），隐私政策应详尽说明实现各项AI功能所需的最小必要数据。
风险4：AI 系统出错时难以确定法律责任
AI 系统在做出决策（如推荐、筛选、风险评估）或生成内容时，可能出现歧视、虚假信息或错误。一旦造成侵权或利益损失，难以界定由模型提供方、手机厂商还是部署该 AI 的企业承担责任?
安全建议：由监管部门建立责任框架与问责制，明确责任划分指引。
2 移动终端部署大模型方面
大模型特有的安全风险在各类部署场景中均可能存在。端侧模型部署虽然具有“数据不出设备、实时本地响应”等优势，但也伴随着独特的安全与隐私风险：模型文件和参数直接存储在用户设备上，更易成为攻击目标。此外，端侧模型主要依赖终端自身的安全防护机制，这对终端设备的安全保障能力提出了更高要求。同时，端侧模型往往拥有跨越用户多个隐私域的数据访问权限（如同时访问相机、麦克风和消息内容），一旦被滥用或劫持，将严重加剧用户隐私泄露和数据滥用风险。因此，除了通用的移动安全问题外，移动终端部署大模型场景还需重点关注以下安全风险：
风险1：端-云协同部署模式下数据不可控风险
用户的数据上传到云端后，究竟如何被存储、训练或处理，有时对用户而言并不透明。
安全建议：加固端侧执行环境以及端云间数据传输的安全性，在硬件和技术层面强化用户对交互数据的管控。
风险2：端侧模型易被提取和逆向工程
端侧模型通常与应用程序一同部署于移动设备上，因此攻击者可借助逆向工程（如反编译APK文件）的方式较轻易地获取模型文件，从而暴露模型的结构与权重信息。例如，攻击者可以使用常见的APK反编译工具（如Apktool）轻松解包应用程序，提取出其中内置的模型文件，进而掌握详细的模型参数信息[10]。
安全建议：利用可信执行环境（TEE）隔离模型运算，对设备上的模型信息进行混淆，增加对已部署的 LLM 进行逆向工程的难度
风险3：针对端侧模型的白盒攻击
有研究表明，虽然端侧部署的模型（例如 TFLite 模型）通常被设计为黑盒模式（即不提供梯度信息，以防止攻击者实施直接攻击），但实际上这些模型仍然保留了完整的模型结构及权重参数，这使其面临白盒攻击的风险（参见文献：《Investigating White-Box Attacks for On-Device Models》）[10]。
安全建议：考虑使用纯代码（例如 C++）实现端侧模型[11]
风险4：端侧大模型能够调动手机内的个人信息和数据
深度学习技术依赖大量数据来提升模型性能，这种大规模的数据采集引发了严重的隐私问题。用户的高度敏感个人信息（如照片和录音）可能被数据收集企业长期甚至无限期地保存。更令人担忧的是，用户通常既无法删除自己的个人数据，也无法有效限制这些数据的具体用途和传播范围。
安全建议：端侧模型采用联邦学习技术，让数据始终保留在本地，并在上传模型更新前通过差分隐私和安全聚合技术加密处理，从而有效保护用户隐私[12]。
3 针对AI智能体
AI智能体可能面临来自应用层、API接口及人工智能应用程序等多个层面的威胁。尤其当引入AI代理（Agent）应用架构时，内存中毒与权限滥用等风险将更加突出,有关更详细的威胁情报和针对性的安全建议，可参阅OWASP发布的《Agentic AI – Threats and Mitigations》[13]。结合AI手机的具体应用场景的风险分析如下：
风险1：AI智能体内存中毒
AI智能体通常依赖长期记忆（例如上下文缓存、历史对话记录）进行智能决策，一旦这些记忆或上下文信息遭到恶意注入，攻击者便可能篡改存储数据、绕过安全检测机制，从而操纵智能体的决策行为。尤其在AI手机这一特定使用场景下，设备紧密伴随用户且功能丰富，应用场景复杂，因此用户可能遭受更直接、更现实的损失，包括财产损害、隐私泄露或误操作等风险。
安全建议：涉及隐私、支付、系统配置更改等关键操作应提示用户并进行二次确认、实施内存内容验证、内存访问验证机制、会话隔离机制。
风险2：AI智能体权限滥用
AI智能体通常具备调用外部工具或系统API的能力，一旦攻击者通过欺骗性提示或误导性操作成功操控智能体，就可能导致其滥用已授权的工具和应用。通过“识屏﹢模拟点击”等无障碍功能实现的代理操作来源于手机系统底层权限，使AI智能体在实现“跨应用、多权限”的同时还具备一定程度的自主决策能力。这种移动端的权限滥用将显著扩大攻击面，并带来更加严重的安全风险。
安全建议：执行严格的工具访问验证并设置明确的操作边界以检测和防止滥用。
4 无障碍功能的使用方面
风险1：以无障碍方式实现的AI功能合法性基础不完备
无障碍功能往往拥有更高系统权限，不仅能够监控和获取应用间或系统的各种交互信息，还可能涉及敏感个人信息的获取。《网络安全法》《数据安全法》《个人信息保护法》等法规均强调个人信息受法律保护，任何组织不得侵害，“识屏+模拟点击”模式目前的合法性基础并不充分：过度收集、知情同意不足、敏感信息处理不规范和安全风险都是主要短板。尽管现有法律并未明令禁止读屏技术，但其使用必须严格遵循《个保法》等法规的原则，包括最小必要、知情同意、敏感信息保护、以及处理者数据安全义务，否则相关个人信息处理行为将难言完全合法。此外，AI手机对外提供了独立的生成式内容服务，则需要符合《生成式人工智能服务管理暂行办法》的要求，其中第十一条同样强调了提供者对使用者的输入信息和使用记录应当依法履行保护义务。
安全建议：完善隐私政策和权限告知机制，做到简明透明。严格遵守最小必要原则，只提取完成指令所必需的数据。构筑内部防御系统，定期安全检测AI助手模块的漏洞并针对AI自动操作的重要行为（如支付转账），增加二次确认或生物认证。
风险2：可能侵害第三方App与其它正常用户的权益
通过“屏幕内容识别+模拟点击”方式操作第三方App，可能构成对第三方App商业权益的侵害，造成不公平竞争局面。自动化AI操作可能导致不公平市场竞争以及破坏运营策略。AI代理可能因内部设定或算法缺陷产生偏向操作，侵蚀APP正常的市场份额，同时AI自动操作可以充当自动脚本或游戏外挂钻运营策略的空子，损害平台和正常用户的权益。
安全建议：加强与第三方App平台的沟通合作，以开放接口和协同机制取代单方面的屏幕模拟操作。加强算法安全治理，确保算法没有不正当竞争或侵害用户权益倾向。
5 意图框架方面
在意图框架技术模式下，各类应用及服务通过标准化的接口与操作系统进行交互。需要重点关注接口鉴别缺陷、接口注入缺陷以及数据传输接口缺陷等问题可能引发的安全风险，并据此制定针对性的安全控制措施。
安全建议：针对接口鉴别、注入与数据传输中存在的具体缺陷，建立完善的接口安全防护机制，加强权限管理与访问控制，保障接口交互过程的安全性与可靠性。
四、总 结
AI 手机在功能与体验上带来“智能升级”的同时，也带来了更深层次的隐私与安全风险。一方面，海量个人数据（地理位置、健康信息、使用习惯等）被用来“喂养”模型，若遭遇泄露或滥用，后果难以承受；另一方面，AI 智能体在替代用户决策并自动执行任务时，也会在不透明的环境下放大误导、偏见或攻击造成的危害。这两大风险一旦叠加，威胁不仅局限于个人隐私，更可能对个人财产、社会稳定等层面产生严重冲击。唯有从用户层面保持警惕、从厂商层面落实责任并从行业层面强化监督，才能在享受便捷与创新的同时，最大程度降低个人及社会层面的安全风险。
参考文献
[1] 电信终端产业协会. 终端智能化分级研究报告 [R]. 2024.
[2] Chen D, Liu Y, Zhou M, Zhao Y, Wang H, Wang S, Chen X, Bissyandé TF, Klein J, Li L. LLM for Mobile: An Initial Roadmap[EB/OL]. arXiv preprint arXiv:2407.06573, 2024. https://doi.org/10.48550/arXiv.2407.06573
[3] IDC. The Future of Next-Gen AI Smartphones [EB/OL]. 2024-02-19. https://blogs.idc.com/2024/02/19/the-future-of-next-gen-ai-smartphones/
[4] 中国联通. 中国联通元景大模型AI终端合作白皮书 [R]. 2024.
[5] 智昇人工智能研究院. Manus AI智能体-AGI发展新范式的实践与测评 [R]. 2025.
[6] MediaTek, Counterpoint, 等. 《生成式AI手机产业白皮书》 [R]. (n.d.).
[7] 樊朔. AI手机时代，隐私会“裸奔”吗？ [EB/OL]. 财经网, 2025-01-28 20:17. https://finance.sina.com.cn/jjxw/2025-01-28/doc-inehptzu9878919.shtml
[8] 张维. 在技术创新与隐私安全之间寻求平衡 [N]. 法治政府, 2025-03-14(006). DOI:10.28241/n.cnki.nfzrb.2025.001529
[9] 王俊肖潇. 2024年竞争秩序场：算法治理仍在路上，端侧AI带来隐私新课题 [N]. 智库, 2025-01-23(012). DOI:10.28723/n.cnki.nsjbd.2025.
[10] Zhou M, Gao X, Wu J, Liu K, Sun H, Li L. Investigating White-Box Attacks for On-Device Models [C]//ICSE, 2024: 1–12.
[11] Zhou M, Gao X, Liu P, Grundy J, Chen C, Chen X, Li L. Model-less Is the Best Model: Generating Pure Code Implementations to Replace On-Device DL Models [EB/OL]. arXiv preprint arXiv:2403.16479, 2024.
[12] Shokri R, Shmatikov V. Privacy-preserving deep learning [C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, 2015: 1310–1321.
[13] OWASP. Agentic AI – Threats and Mitigations [EB/OL].2025. https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/
（本文作者：深圳赛西信息技术有限公司 符文田）
声明：本文来自CCIA数据安全工作委员会，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
