面向异构数据的具有隐私保护性能的公平联邦学习

吴炬¹ 苗银宾¹ 张炜斌¹ 刘淑英^2,3 马建峰¹

（1. 西安电子科技大学网络与信息安全学院，陕西 西安 710126；2. 西北大学计算机学院，陕西 西安 710127；3. 咸阳师范学院计算机学院，陕西 咸阳 712000）

摘 要联邦学习在非独立同分布数据场景下易因梯度冲突导致公平性失衡，且模型参数传输存在隐私泄露风险。现有公平性联邦学习算法虽有效缓解了梯度冲突，但复杂异质数据下局部与全局模型的一致性缺乏针对性优化，导致局部训练偏离全局最优，进而削弱公平性并限制整体模型性能。针对此问题，提出FedALF及LDP-FedALF算法。使用公平驱动目标和分层优化缓解梯度冲突；引入交替方向乘子法进行优化，在客户端局部目标函数中设计对偶变量项与二次惩罚项，构建局部与全局模型一致性约束，进一步提升公平性与模型性能；同时在模型传输中加入自适应本地差分隐私技术保护数据隐私。通过大量实验验证得出，FedALF相较于现有公平联邦学习算法，测试准确率平均提升10.82%，公平性平均提升19.80%；LDP-FedALF相较于现有公平联邦学习算法，测试准确率平均提升7.53%，公平性平均提升15.36%。

关键词联邦学习; 公平性优化; 交替方向乘子法; 隐私保护

DOI：10.11959/j.issn.2096-109x.AQ26019

引用格式：

吴炬, 苗银宾, 张炜斌, 等. 面向异构数据的具有隐私保护性能的公平联邦学习[J]. 网络与信息安全学报, 2026, 12(3): 78-92.

Wu Ju, Miao Yinbin, Zhang Weibin, et al. Fair federated learning with privacy protection for heterogeneous data[J]. Chinese Journal of Network and Information Security, 2026, 12(3): 78-92.

0 引言

联邦学习^[1-2]是隐私计算领域的核心技术范式，其核心理念是不传输原始数据，实现多客户端协同训练全局模型。这种“数据不动模型动”的分布式协作模式，成功平衡了数据隐私保护与模型性能优化的需求，已经在自然语言处理^[3]、目标检测^[4]、人脸识别^[5]等众多领域展现出巨大的应用价值。然而联邦学习在实际部署中面临显著异构性瓶颈，主要体现在两方面^[6]：一是系统异构，即参与训练的客户端在计算能力、网络带宽、存储资源等系统资源上存在显著差异；二是数据异构，即参与训练的客户端数据非独立同分布（non-independent and identically distributed, Non-IID）。异构性催生了联邦学习系统公平性的多元需求^[7]，包括贡献公平、参与机会公平、模型性能公平。

本文聚焦模型性能公平，即客户端之间测试精度分布集中且波动较小^[8]。该公平性内涵旨在避免数据分布差异导致部分客户端获得显著更差的模型服务。这反映了联邦学习作为协作式学习范式的核心诉求——各参与方应获得相对一致的模型质量，而非仅追求平均性能最优。目前研究者对联邦学习公平性的研究已经取得了一些进展。文献[9]提出无偏联邦学习框架，其优化目标为适配客户端数据分布的任意混合分布，而非仅拟合多数客户端，从而实现模型对不同客户端的性能均衡。但是，文献[9]未显式处理梯度冲突，针对这个不足，文献[10]提出联邦公平平均（federated fair averaging, FedFV）算法，通过余弦相似度检测梯度冲突，调整梯度方向与幅度以消除冲突，平衡公平性、准确率与效率。为了进一步从数学严谨性上保证冲突消解，文献[11]将联邦学习建模为多目标优化问题，提出联邦多梯度下降+算法（federated multi-gradient descent algorithm plus, FedMGDA+）。该算法实现简单、超参数调节少，可收敛至帕累托平稳解且不牺牲任何用户性能。在此基础上，文献[12]进一步提出联邦多方向公平指导（federated multi-directional fair guidance, FedMDFG）算法，通过多梯度下降与公平指导目标计算无冲突的公平下降方向，并设计低通信成本的步长线搜索策略，同时兼顾公平性与收敛性。但上述方案仅聚焦于模型级梯度冲突，未能关注深度神经网络中浅层负责局部特征提取、深层聚焦全局特征融合的层级功能差异性。这种差异性会导致客户端在不同层级的梯度更新方向出现分歧，进而引发层级梯度冲突^[13-15]，影响局部与全局模型的层级协同效果。为了应对此问题，文献[16]提出了分层优化公平联邦学习（layer-wise fair federated learning, FedLF）算法，通过静态公平驱动目标和分层优化缓解了模型级和层级梯度冲突。

目前的公平性联邦学习主要存在以下两个问题。

（1）局部与全局模型一致性不足。现有公平联邦学习算法虽通过公平驱动目标^{[12, 16]}等方法缓解了梯度冲突，但在复杂异质数据场景下，未对局部模型与全局模型的一致性进行针对性优化。

（2）现有公平性联邦学习算法^{[16, 25]}在设计过程中大多未充分考虑隐私保护^[17]需求，仅聚焦于公平性与性能的平衡，却忽视了模型参数（或梯度）传输过程中的隐私泄露风险——攻击者可通过梯度反推等技术还原客户端原始数据^[18]，严重限制了算法在隐私敏感环境下的应用。

在联邦学习的异构数据场景下，梯度冲突是公平性受损的主要原因。模型级梯度冲突表现为梯度方向对立，聚合更新偏向部分客户端；层级梯度冲突源于神经网络各层功能差异，表现为各客户端在不同层级的梯度更新方向出现分歧。若仅处理模型级冲突而忽略层级梯度冲突，则无法从根本上缓解公平性受损问题。更为关键的是，当缺乏一致性约束时，客户端会过度适应本地数据分布，使本地模型参数空间逐渐偏离全局最优区域。这种偏离使得后续轮次中客户端梯度方向更加分散，从而加剧模型级与层级梯度冲突，甚至出现“越训练越不公平”的现象。因此本文选择引入一致性约束来缓解这个现象。

需要指出的是，传统联邦学习中关于局部与全局模型一致性的研究主要聚焦于模型参数的一致性，以提升收敛速度和缓解Non-IID带来的精度下降，其一致性目标不涉及公平性约束。而本文的一致性是在公平性驱动目标下的更新方向对齐：局部模型更新不仅需要与全局参数保持一致，还要避免偏离公平优化轨迹，防止客户端沿性能分化方向偏移。这使得一致性约束成为与公平更新方向协同优化的动态过程，这是传统方法面临的新挑战。

针对现有公平联邦学习算法局部与全局模型一致性不足和缺乏隐私保护两大问题，本文提出一种基于交替方向乘子法优化的隐私保护公平联邦学习（LDP-FedALF）算法。本文的贡献如下。

（1）提出了基于交替方向乘子法（alternating direction method of multipliers, ADMM）优化的隐私保护分层公平联邦学习框架，解决了传统公平性联邦学习未兼顾隐私保护和模型性能优化的问题。

（2）引入ADMM优化模块，将对偶变量项与二次惩罚项融入客户端局部目标函数，有效抑制局部训练偏离全局最优方向的问题，基于现有公平优化逻辑，在进一步提升模型公平性的同时提升全局模型整体性能。相比于传统仅依靠近端正则化的一致性方法，ADMM利用对偶分解机制将复杂的全局约束解耦为可并行求解的局部子问题，不仅显著降低了高维参数下的计算复杂度，更在数学严谨性上保障了分布式场景下局部更新与全局公平目标的高度一致。

（3）在客户端局部模型参数上传前，采用自适应本地差分隐私（local differential privacy, LDP）机制，通过引入更少的噪声实现隐私保护，在保证模型精度的同时提升算法在隐私敏感环境下的可行性。

（4）在Fashion-MNIST、CIFAR-10及CIFAR-100等公开数据集的不同异质数据场景下，对本文算法进行系统性测试。实验结果表明，该算法在复杂异质场景下的公平性指标与平均测试准确率均优于现有公平联邦学习算法。

1 相关工作

作为联邦学习的基础算法，联邦平均（federated averaging, FedAvg）算法^[1]通过客户端本地随机梯度下降（stochastic gradient descent, SGD）与服务器参数加权平均实现去中心化隐私保护训练，但其依赖独立同分布（independent and identically distributed, IID）假设，在实际Non-IID数据场景下易引发梯度抵消、收敛缓慢及个性化不足等问题。为了应对这一不足，文献[6]提出的近端联邦优化（federated proximal, FedProx）算法，在FedAvg算法基础上引入近端正则项，通过约束客户端局部模型与全局模型的参数偏差，有效缓解传统联邦学习收敛缓慢、泛化能力下降的问题。但其未充分考虑客户端数据分布的几何差异。针对此不足，文献[19]提出了一种新颖的层次化Sinkhorn距离聚类联邦学习算法，以最优传输代价衡量数据分布，通过层次化聚类策略动态调整聚合权重，提升高异构场景下的模型准确率与鲁棒性。为了更精准地过滤无效更新，文献[20]提出了一种融合自适应聚合、正则化与元学习优化的联邦学习（federated learning with adaptive aggregation, regularization and meta-learning optimization, FARMO）算法，有效地抑制低质量更新并增强模型自适应能力。随着数据异构程度的加剧，单纯的聚合优化已难以维持模型性能，研究者开始引入知识蒸馏与强化学习等先进机制。文献[21]提出了基于知识迁移的联邦学习（federated learning via knowledge transfer, FedKT）算法，通过模型分割蒸馏与一致性约束，缓解Non-IID导致的性能退化。文献[22]提出了基于强化学习与知识蒸馏的非独立同分布数据联邦学习（federated learning on Non-IID data via reinforcement learning and knowledge distillation, FedAgent）算法，结合强化学习客户端选择与知识蒸馏，解决Non-IID环境下精度退化、收敛缓慢等问题。此外，文献[33]提出了基于交替方向乘子法的联邦优化算法（federated learning algorithm based on alternating direction method of multipliers, FedADMM）框架，通过在局部客户端子问题中引入对偶变量，有效提升了联邦学习在系统和数据异质环境下的收敛稳定性。

然而，这些方法并未考虑联邦学习过程中的公平性问题，即最终模型在客户端上的表现效果差异巨大，导致边缘客户端参与积极性下降，进而影响模型整体性能。因此，研究者们进行了一系列公平性算法的研究。文献[23]提出分位数联邦平均（quantized federated averaging, qFedAvg）算法，针对联邦学习中数据异构与资源异构引发的客户端性能失衡问题，通过贡献感知的权重分配机制，解决了数据与资源异构引发的客户端性能失衡问题，有效改善了异构场景下客户端间的性能差异。但这种强制性的均衡往往难以保障每一个参与方都能获得最优的模型体验。为了实现一种更具包容性且能兼顾个体差异的公平分配，文献[8]提出了Ditto个性化联邦学习算法，通过局部个性化模型训练和全局共识约束，解决了传统联邦学习在Non-IID场景下性能失衡和客户端之间的公平性问题。在公平与隐私的协同方面，文献[24]提出了公平与差分隐私联邦学习（federated learning with fairness and differential privacy, FedFDP）算法，通过公平感知梯度裁剪、损失自适应裁剪及最优公平性参数，并结合Rényi差分隐私进行隐私分析，解决了联邦学习中公平性、差分隐私保护与模型性能难以协同优化的问题，实现了三者的高效平衡。为了克服静态策略在复杂环境下的局限性，文献[25]提出了融合动态学习率调整、策略性客户端选择、局部模型自适应与伪标签技术的公平动态个性化联邦学习（fair dynamic personalized federated learning with strategic client selection, FairDPFL-SCS）框架，有效解决了联邦学习中Non-IDD数据导致的模型个性化适配不足、客户端间公平性失衡及训练效率低下的问题。

然而，目前的公平性研究大多只关注模型级的梯度冲突，未关注模型的层级冲突。FedLF算法通过分层策略解决了这个问题，然而其忽略了Non-IID设置带来的全局模型与局部模型的一致性问题，导致模型在高数据异质环境下稳定性和鲁棒性不足。因此，本文将ADMM算法引入FedLF算法来缓解Non-IID数据带来的影响，同时加入自适应LDP机制，进一步提升现有公平性联邦学习的模型整体性能、公平性和安全性。现有公平联邦学习算法的比较见表1，FedALF为基于交替方向乘子法优化的公平联邦学习算法。

表1 现有公平联邦学习算法的比较

2 预备知识

2.1 联邦学习

联邦学习的目标是求解全局模型，使所有客户端的加权平均损失最小化，公式化描述形式如下：

(1)

其中，为第i个客户端的本地数据集，为中的第k个样本，为的样本量，为所有客户端的样本总量，为模型训练损失函数，为全局模型参数，m为参与客户端的总数，为d维实时向量空间，为客户端i的本地损失，为客户端损失加权和。

2.2 ADMM

ADMM^[26-27]是由Douglas-Rachford分裂算法与Bregman迭代算法融合衍生的经典分布式优化技术，其核心优势在于能将高复杂度的带约束优化问题拆解为多个可独立求解的子问题，在降低求解难度的同时适配分布式计算与并行处理场景。因此，ADMM在联邦学习、信号处理等需要协同优化的领域被广泛应用。

首先针对带线性约束的凸优化问题构建统一数学模型。假设待求解的优化目标是最小化由两个凸函数与构成的目标函数，同时满足线性等式约束，其数学表达式如下：

(2)

其中，与为待优化向量，分别对应分布式场景下不同节点的局部参数；、为已知系数矩阵，为约束目标向量。为有效处理上述约束优化问题，ADMM 引入增广拉格朗日函数，将约束条件融入目标函数，其定义如下：

(3)

其中，即为增广拉格朗日损失函数，是拉格朗日乘子向量，用于衡量约束条件的违反程度。二次惩罚系数用于平衡约束满足度与目标函数优化速度。下面以第k轮为例，首先固定当前轮次的和，求解x的局部最优解（记为）。此时x的优化子问题的数学表达式为：

(4)

在得到后，下一步固定与，对z执行类似的最小化操作，求解z的局部最优解（记为）。该过程同样仅依赖与已更新的，对应的数学表达式为：

(5)

最后，基于和计算新一轮：

(6)

上述过程完成了一次ADMM算法的迭代，重复执行此过程进行后续更新。

2.3 自适应LDP

差分隐私（differential privacy, DP）^[28]是一种通过扰动原始数据来保护数据隐私的标准范式，这样任何攻击者都无法从获得的数据中推断出原始隐私信息。自适应LDP^[29]的定义如下。

假设为一个随机扰动机制，对于任意一对输入x和x"，以及的任意一个输出Y，如果满足-LDP，则必须符合以下不等式

(7)

其中，是的隐私预算，的值越小，表示隐私保护程度越强，但也意味着数据可用性越低^[30]。

2.4 主要符号表

本文所用的主要符号见表2。

表2 主要符号

3 问题描述

3.1 系统模型

方案采用“客户端-服务器”二级架构，核心由参与训练的客户端与负责全局协调的服务器两类实体构成，二者通过传递经过自适应LDP保护的模型参数实现协同训练，全程不传输原始数据以保障隐私安全。

服务器：中心服务器是服务提供者，负责协调客户端之间的间接数据交换和进行全局模型的聚合。

客户端：客户端是一组申请协同服务的请求者，负责进行局部模型训练并对训练结果完成自适应LDP保护。

系统模型如图1所示。

图1 系统模型

（1）服务器按预设策略采样客户端，向选中客户端下发当前全局模型参数。

（2）客户端以本地数据为基础，结合ADMM约束优化局部模型，生成局部更新并通过注入噪声的方式实现自适应LDP保护。

（3）客户端将添加噪声的局部模型参数、对偶变量及损失信息上传至服务器。

（4）服务器融合局部更新，计算公平且无梯度冲突的全局更新方向，更新全局模型。

重复上述步骤，服务器将新的全局模型参数广播至客户端，客户端同步更新后进入下一轮迭代，直至模型收敛。

3.2 威胁模型

在本文的系统中，服务器和客户端是诚实但好奇的，具体来说，所有实体都诚实地遵循最初设置的学习协议，但服务器会通过客户端的本地模型推断客户端的隐私信息，客户端也可能通过全局模型尝试推断其他客户端的隐私信息。此外，客户端的数据统计异构性强，上述实体可能造成如下潜在威胁。

（1）模型精度和公平性下降：客户端的数据集呈现Non-IID分布，不仅会使模型的公平性受损，还会导致全局模型的精度降低。

（2）数据隐私泄露：中央服务器是诚实但好奇的，服务器会通过客户端的本地模型推断客户端的隐私信息。

3.3 问题定义

本文考虑由1个中央服务器与m个客户端组成的“服务器-客户端”二级联邦学习架构，记客户端集合为。每个客户端持有私有数据集，其中为客户端k的样本数量。设全局模型参数为（d为模型参数维度），客户端k的局部模型参数为，局部模型与全局模型有相同网络结构。联邦学习的核心流程为迭代优化：服务器第t轮选择子集参与训练，下发当前全局模型；客户端基于在ADMM优化下完成局部训练，随后使用LDP机制对模型加噪，将加噪后的局部模型、更新后的对偶变量以及局部损失值上传至服务器；服务器通过公平目标驱动和分层聚合策略更新全局模型，迭代直至模型收敛。

联邦学习的公平性定义为全局模型在所有参与客户端上的性能均衡性。公平性指标定义为和之间的夹角，令其为，表示如下：

(8)

其中，为全局模型在各客户端上的准确率构成的向量，其中是当前模型在客户端n的准确率，是和相同维度的全1向量。与全1向量之间夹角越小，代表模型在客户端间的性能均衡性越好，公平性越优。该指标与方差、基尼系数等传统公平性指标在本质上一致，均反映了客户端性能的均衡程度。选用本文指标的核心原因在于，其基于余弦相似度衡量准确率向量与理想公平状态的方向契合度，既能规避传统指标对极端值的过度敏感，又能有效识别“少数客户端占优、多数客户端受益不足”的伪公平场景，更精准契合联邦学习“所有参与方均衡受益”的核心需求，同时具备直观的物理意义与严谨的理论支撑，为公平性评估提供更鲁棒、更贴合实际场景的量化依据。

模型级梯度冲突定义为：客户端全局梯度方向对立导致聚合更新方向损害部分客户端利益。如和分别是第t轮客户端i和客户端j的梯度，它们满足，本文认为其为模型级别的冲突，最终更新方向将会与其中一个的梯度方向冲突。

层级梯度冲突定义为：深度神经网络各层功能差异引发客户端层级梯度分歧。如和分别是第t轮客户端i和客户端j的第k层的梯度片段，是更新方向在第k层的分量，且，则最终更新方向在第k层不利于客户端i而有利于客户端j。

3.4 设计目标

本文方案的核心设计目标如下。

（1）公平性：全局模型应在不同客户端之间实现性能均衡，即各客户端的测试准确率分布集中、波动较小，避免数据异构导致部分客户端被系统性忽视。

（2）隐私安全：在模型参数传输过程中，应抵御来自服务器或其他客户端的隐私推断攻击，在满足严格形式化隐私保障的前提下，确保攻击者无法从上传参数中有效还原客户端的原始数据或敏感属性，满足-LDP隐私保护要求。

（3）模型效用：在保障公平性与隐私安全的前提下，方案应保持较高的全局模型精度与稳定的收敛性能，避免公平性约束或隐私保护机制引入过多噪声或优化偏差，导致模型实用性下降。

4 方案设计

4.1 技术思路

为解决传统联邦学习的公平性缺陷，首先须明确其本质是多目标优化问题，即最小化由各客户端局部目标函数构成的向量：

(9)

FedMDFG^[12]通过动态目标函数增强多目标优化公平性，核心是依据模型状态调整优化方向，引入公平驱动目标，通过计算目标值分布与理想公平状态的偏移生成反向修正向量，避免客户端性能失衡。但该方法存在明显不足：客户端目标值接近时，该修正机制对微小差异过度放大，反而引入不必要的偏移，导致优化方向偏离真实公平最优解；引入的超参数影响算法表现，导致收敛性难以保证，在实际部署中须反复调参才能获得稳定性能。

为弥补这些缺陷，FedLF设计了更有效的静态公平驱动目标，核心是通过最小化，提高全1向量与目标向量（由各客户端局部目标函数构成）的余弦相似度，进而缩小客户端间目标函数的差异。因此，FedLF的优化目标可以扩展为如下多目标优化问题

(10)

相较于FedMDFG的动态目标，该静态目标不需要复杂的动态调整机制，更便于分析收敛性及收敛速率。关键在于，对于原问题的非帕累托平稳解，始终存在一个优化方向，既能保证所有客户端的梯度与该方向形成公共下降关系，又能降低公平驱动目标，这一特性确保新增公平目标不会影响联邦学习的收敛性。其中，第t轮公平驱动目标的梯度计算公式如下：

(11)

其中，为所有客户端梯度的拼接向量。

FedLF采用的迭代方式更新模型，其中是第t轮的分层公平更新方向，整个方案的核心在于该方向的精准计算与优化。首先明确两类梯度冲突的定义：模型级梯度冲突指客户端i和j的梯度满足，而层级梯度冲突则是客户端在网络层k的梯度片段满足（其中为客户端i在层k的梯度片段）。现有公平联邦学习算法仅聚焦模型级梯度冲突，无法避免层级更新方向偏向部分客户端的问题，因此FedLF需要通过专门设计的优化问题获取各层更新方向片段，即第t轮l层的更新方向。具体为求解最小化问题：

(12)

其中，为公平驱动梯度在层l的片段。考虑部分层参数维度过大，直接求解式(12)的效率极低，因此本文基于卡罗需-库思-塔克（karush-kuhn-tucker, KKT）条件^[31]推导得到替代表达式：

(13)

其中，和需要满足非负性及求和为1的约束，这些参数可以通过求解下面的(m+1)维对偶二次优化问题高效获取：

(14)

受文献[32]启发得出，层级方向片段满足以下特性：若存在非负向量（且各元素之和为1），使得，则；若所有层的均为，则全局更新方向，此时模型达到帕累托平稳状态；但如果仅部分层的，这些层的参数会陷入停滞、停止更新，这种情况通常发生在梯度矩阵的秩小于m时。当层参数维度时，该梯度矩阵的秩几乎必然等于m；但部分层的参数维度时，梯度矩阵秩可能小于m，进而导致。为解决这一问题，当某层的时，本文将该层与相邻层合并，并重新计算合并后层的；若结果仍为，则重复层合并操作，直到得到非零方向或所有层合并完成。最后合并所有层得到模型更新方向。随后对归一化处理，其中。这样得到的更新方向可以在降低公平性驱动目标的同时应对模型级冲突和层级冲突。

Non-IID数据分布会干扰联邦学习的公平性，导致局部模型在训练过程中逐渐偏离全局最优方向，不仅降低了全局模型精度，还进一步损害了系统公平性。因此本文采用ADMM优化损失函数以缓解这一影响，如下：

(15)

其中，是客户端i持有的本地对偶变量，t为当前轮次，是二次项系数。

客户端i通过最小化该局部损失函数来更新模型：

(16)

接着，更新对偶变量：

(17)

最后，服务器完成全局模型的更新：

(18)

其中，是第t轮被选中参与本地训练的客户端集合，是全局学习率。本文依据FedADMM^[33]的经验，将的值设为1，该取值可平衡ADMM优化过程中的约束满足度与目标函数优化速度，既避免过小导致一致性约束失效、局部模型偏离全局最优方向，也防止因过大让惩罚项占比过高、压制局部模型的个性化更新，是分布式场景下ADMM算法收敛性与优化效率的理论平衡解。

自适应LDP技术的核心逻辑实现如下：所有操作均在客户端本地执行，基于模型分层权重特征实现个性化扰动。当客户端i获得第t轮本地模型，它首先计算每一层的权重范围，客户端i计算第l层权重最大值和最小值，计算该层的中心与半径：

(19)

为确保该层所有权重落在区间内，本文对该层内的每个权重计算其相对于层中心的偏移量，作为扰动的核心对象：

(20)

其中，偏移量可正可负，且满足，确保扰动始终围绕层中心进行，不偏离权重分布范围。为了进一步减少扰动范围，本文将扰动函数设计为分段函数，根据不同条件以不同方式扰动不同的权重。为此，首先从伯努利分布中随机采样一个伯努利变量b，其满足指定的概率，伯努利变量b取1的概率如下：

(21)

基于采样得到的伯努利变量b，对偏移量进行自适应缩放，生成扰动后权重：

(22)

该函数通过调整偏移量的缩放比例实现隐私保护，既不改变层中心位置，又能根据权重个体特征差异化扰动。文献[30]用半径代替了偏移量，其缩放因子也略有不同，如下：

(23)

在该方案中，半径和缩放因子是固定的，而本文则根据每个权重相对于中心的偏移量进行扰动，使得同一层中的所有权重被扰动为不同的值，从而实现了真正的自适应性。由于可正可负，为简单起见，假设偏移量为正；当为负时，结论同样成立。因此本文方案中添加的噪声量为：

(24)

而在文献[30]中，添加的噪声量为：

(25)

由于，通过比较式(24)和式(25)可以得出，本文的方案引入了更少的噪声。

对于任意相邻权重和，其偏移量分别为和，其概率比值需满足：

(26)

由式(26)解得。故当隐私预算满足该条件时，机制满足-LDP。本文实验中将取为2，已满足上述阈值。本文的实验结果验证了当取值为2时，在实现隐私保护的同时仅略微降低准确率。

本文算法的核心在于通过FedLF的分层公平优化与ADMM的一致性约束的深度融合，实现公平性与模型性能的联合提升。具体而言，FedLF从梯度层面缓解了模型级与层级的梯度冲突，为公平性提供基础优化方向；而ADMM则从优化结构层面引入对偶变量与二次惩罚项，将局部与全局模型的一致性显式编码到客户端子问题中，从而在Non-IID数据下抑制局部训练偏离全局最优，避免公平性在局部迭代中被削弱。二者形成“方向引导+结构约束”的互补机制：FedLF确保更新方向在不同客户端之间均衡，ADMM则保障局部更新过程始终与全局目标对齐，从而在复杂异构场景下同时提升公平性与模型性能。在此基础上，LDP模块以轻量级自适应扰动方式在模型上传前进行隐私保护，其扰动粒度与模型层级结构对齐，使得隐私保护机制可无缝嵌入上述优化流程中，不干扰公平性约束与一致性约束的收敛行为。三者分别从公平性优化、一致性约束与隐私保护3个维度协同作用，共同构成面向异构数据的公平隐私保护联邦学习整体框架。

4.2 复杂度分析

从计算复杂度角度分析，本文方案在标准联邦平均算法的基础上引入了3项主要开销：分层优化、ADMM一致性约束与LDP扰动。FedAvg的客户端计算复杂度为，其中E为本地训练轮次，d为模型参数量。服务器聚合复杂度为，其中m为参与客户端数。本文方案中，分层优化的额外计算主要来自每轮对每层求解一个m+1维对偶二次优化问题，其复杂度为，其中L为模型层数，m为本轮参与客户端数量，该开销远低于神经网络前向与反向传播的计算量。ADMM模块在客户端本地增加了对偶变量更新与二次惩罚项计算，复杂度为，相当于额外一次参数更新的计算量。LDP扰动仅对上传模型进行逐层缩放处理，复杂度为，且仅在每轮通信前执行一次。因此本文方案主导时间复杂度的部分仍然是，与FedAvg算法的计算复杂度处于同一量级。

在通信开销方面，本文方案的单轮通信量级仍与FedAvg算法保持一致。FedAvg算法每轮客户端上传本地模型参数，通信开销为；本文方案中，客户端需要额外上传ADMM对应的对偶变量（与模型参数维度相同，均为d），因此单轮通信开销为。对偶变量的引入是ADMM实现局部与全局一致性约束的必要代价，通信开销处于同一数量级，且通信轮次未增加，整体通信开销仍处于可接受范围内。

4.3 算法流程

本文方案由客户端更新和服务器聚合的主进程两部分组成。算法流程如图2所示。

图2 算法流程

在客户端进程中，各客户端通过最小化局部目标函数迭代更新本地模型参数。该函数融合私有数据集经验风险、ADMM对偶变量约束项与强制局部和全局模型之间保持一致性的二次惩罚项，从而在优化过程中综合考虑多种因素，在局部学习目标与全局一致性约束之间实现合理权衡。为兼顾数据隐私保护与模型整体效用，客户端引入LDP隐私机制对更新后的参数添加可控噪声扰动，以降低敏感信息泄露风险。最终将加噪模型参数与局部损失值回传至服务器，完成单轮本地迭代更新。客户端更新如下。

算法1 客户端更新

输入 本地学习率，本地训练轮次，数据批次集合B，局部模型参数，本地对偶变量

输出

（1） for 迭代轮次 e=0,1,…,1 do

（2） for 每个批次 do

（3） 根据式(16)更新局部模型

（4） end for

（5） end for

（6）for in do

（7） 根据式(19)计算所有层中心

（8） for do

（9） 根据式(20)计算偏移量

（10） 根据式(21)采样伯努利变量b

（11） 根据式(22)对自适应添加噪声

（12） end for

（13）end for

（14）最终得到加噪模型

（15）更新对偶变量

（16）return

在主进程中，服务器首先完成全局模型的初始化，随后进入迭代训练阶段。每一轮通信时，服务器随机采样本轮参与训练的客户端子集，将当前全局模型下发至选中客户端。客户端在本地利用ADMM约束进行优化，完成局部模型更新后，将模型参数与损失值返回服务器。服务器收集所有本地更新后，借助公平驱动目标计算公平驱动梯度，并逐层计算梯度，以同时缓解模型级与层级梯度冲突；若某层出现零更新方向，则将其与相邻层合并后重新计算。随后，服务器将所有层方向拼接为整体更新方向，经归一化缩放后对全局模型进行更新，如此循环直至模型收敛。整个过程通过分层聚合与ADMM约束，强化了局部与全局模型的一致性，在提升公平性的同时兼顾了模型性能。

算法2 主进程

输入 初始化模型，学习率，全局轮次T

输出 全局模型

（1） for 全局迭代轮次 t = 0, 1,…, T-1 do

（2） 服务器筛选本轮客户端集合

（3） for do

（4）

（5）

（6） end for

（7） 服务器获得本轮所有参与客户端的梯度

（8） 根据式(11)计算公平性驱动目标梯度

（9） for do

（10） 根据式(13)计算

（11） end for

（12） while do

（13） 合并相邻层重新计算

（14） end while

（15） 合并所有层得到

（16） if

（17） 停止本轮模型训练

（18） 对进行归一化处理

（19） 更新模型

（20） end for

（21）return

5 实验与结果分析

5.1 实验设置

本文使用的公平性指标为问题定义中的公平性指标，具体指的是客户端准确率构成的一维向量与全1向量之间的夹角。本文实验选用Fashion-MNIST^[34]、CIFAR-10及CIFAR-100^[35]这3类公开数据集以覆盖不同复杂度的图像分类任务，其中Fashion-MNIST为28像素×28像素的单通道灰度图，包含10类衣物图像；CIFAR-10为32像素×32像素的红绿蓝（RGB）三通道彩色图，涵盖10类自然场景图像；CIFAR-100同样为32像素×32像素的RGB三通道彩色图，类别数扩展至100类细分类图像，3类数据集难度依次递增，数据分布更具挑战性，可充分验证算法在高度异构环境中的适配能力和稳定性。对于Fashion-MNIST和CIFAR-10使用的卷积神经网络（CNN）架构包含两个5×5的卷积层、两个2×2的最大池化层及两层全连接层。对于CIFAR-100，用相对复杂的CNN模型进行训练，该模型包含3个3×3的卷积层、3个2×2的最大池化层、批量归一化层、ReLU激活层、Dropout层及两层全连接层。

在实验数据预处理阶段，本文采用两种不同的数据集划分模式：第一种为每个客户端含两种类别的数据，此场景为经典Non-IID设置划分方法，用于测试算法在常规异质环境下的表现；第二种为每个客户端仅含一种类别的数据，是一种严苛的数据孤岛场景，突出数据分布的极端异构特性，数据异构程度更高，更能考验算法的鲁棒性与性能上限。本文的算法分为FedALF及其隐私保护版本LDP-FedALF，后者在模型上传前引入了自适应LDP技术。本文选用的基线方案为FedLF算法^[16]、FedAvg算法^[1]、qFedAvg算法^[23]，基线方案严格参照原作者的开源代码进行重构，超参数设置与原文最佳状态保持一致，确保对比实验的公平性。本文在硬件环境为单卡RTX 3090的云服务器上进行仿真实验。Python版本为Python 3.8，PyTorch版本为PyTorch 1.13.1。实验的参数设置如下：全局迭代轮数为500轮，客户端数量为100个，每轮参与客户端的比例为0.1，批处理大小为50，全局学习率为0.5，惩罚系数为1，隐私预算为2。

5.2 实验结果分析

本文测试了不同算法在Fashion-MNIST、CIFAR-10及CIFAR-100数据集下的平均测试准确率和公平性指标，所有实验均独立重复运行10次，记录均值与标准差，平均测试准确率（公平性指标）见表3。FedALF算法和LDP-FedALF算法在平均测试准确率和公平性方面较对比方法均有提升。相比FedALF算法，LDP-FedALF算法在实现隐私保护的基础上仅略微降低了平均测试准确率和公平性。Pat1为每个客户端含两种类别的划分策略；Pat2为每个客户端仅含一种类别数据的划分策略；公平性指标为客户端平均测试准确率构成的向量与全一向量的夹角，值越小则代表公平性越好。

表3 平均测试精度（公平性指标）

图3~图8分别展示了平均测试准确率和公平性指标随全局迭代轮数变化的曲线。实验为Pat1数据分割下不同数据集实验结果。

图3 Fashion-MNIST平均测试准确率对比

图4 Fashion-MNIST公平性指标对比

图5 CIFAR-10平均测试准确率对比

图6 CIFAR-10公平性指标对比

图7 CIFAR-100平均测试准确率对比

图8 CIFAR-100公平性指标对比

从图3~图8可以清晰地看出，FedALF算法和LDP-FedALF算法的收敛速度均快于FedAvg算法、FedLF算法、qFedAvg算法等对比联邦学习算法，在数据集的训练初期，这两种算法平均测试准确率快速攀升并率先进入稳定阶段，而其他基线算法仍需更多迭代轮数才能达到相近的收敛状态；且收敛后的准确率始终保持领先优势，尤其是在数据复杂度更高的CIFAR-100数据集上，这种精度优势更为明显，充分体现了其在异质数据场景下更强的模型泛化能力。在公平性方面，本文算法的公平性指标下降速度更快，从训练初期便快速低于其他对比算法，且随着迭代轮数的增加持续稳步下降，最终稳定在更低的数值区间。相较于FedLF算法，LDP-FedALF算法在部分数据集的平均测试准确率最高提升4.18%，公平性最高提升13.29%。相比于FedALF算法，LDP-FedALF算法在实现隐私保护的基础上略微降低了准确率和公平性。

CIFAR-10数据集上模型在10个客户端下的测试准确率热力图如图9所示。由图9可以看到，之前的方法在某些客户端上性能显著下降，而有利于其他客户端。相比之下，本文算法获得了一个更公平的模型，在客户端之间具有更均匀和更高的精度。

图9 CIFAR-10数据集上模型在10个客户端下的测试准确率热力图

不同隐私保护机制下模型测试准确率对比如图10所示。图10对比了FedALF算法、LDP-FedALF算法与 DP-FedALF（传统差分隐私）在相同隐私预算（=2）下的测试准确率变化情况。从图10可以看出，在Fashion-MNIST数据集上，LDP-FedALF的准确率曲线与 FedALF整体趋势基本相近，收敛后二者准确率保持在相近水平；而DP-FedALF在训练过程中准确率明显偏低，收敛后与FedALF相差大约8个百分点。上述结果表明，本文提出的自适应LDP机制在实现严格隐私保护（-LDP）的同时，能够将准确率损失控制在较小范围内，相较于传统差分隐私方案在模型可用性方面具有明显优势。

图10 不同隐私保护机制下模型测试准确率对比

6 结束语

针对Non-IDD数据场景下联邦学习面临的模型公平性失衡与参数传输隐私泄露两大核心挑战，本文聚焦现有公平联邦学习算法在复杂异构环境中局部与全局模型一致性不足、隐私保护缺失的关键问题，提出了融合交替方向乘子法与自适应LDP的LDP-FedALF算法。该算法通过静态公平驱动目标与分层优化逻辑，有效缓解了模型级与层级梯度冲突；借助ADMM优化框架引入对偶变量项与二次惩罚项，构建局部和全局模型一致性约束，从根本上抑制了局部训练偏离全局最优方向的问题，实现了公平性与模型性能的同步提升；同时，通过客户端本地执行的自适应LDP技术，在满足隐私安全要求的前提下最大限度地降低了噪声对模型精度的影响。实验结果充分验证了算法的优越性，在Fashion-MNIST、CIFAR-10及CIFAR-100这3类数据集的不同异构场景下，相较于现有公平性联邦学习算法，本文的算法准确率和公平性都有提升。相比于FedALF，LDP-FedALF在实现隐私保护的同时仅带来轻微性能损耗。

未来研究可进一步探索ADMM超参数的自适应调整策略和自适应调整公平性驱动目标，以适配更复杂的系统异构环境。

作者简介

吴炬，男，西安电子科技大学网络与信息安全学院硕士生，主要研究方向为联邦学习、隐私保护。

苗银宾，男，西安电子科技大学网络与信息安全学院教授，主要研究方向为隐私计算、人工智能安全。

张炜斌，男，西安电子科技大学网络与信息安全学院博士生，主要研究方向为可信人工智、无线感知安全。

刘淑英，女，咸阳师范学院计算机学院教授，主要研究方向为机器学习、网络数据安全。

马建峰，男，西安电子科技大学网络与信息安全学院教授，主要研究方向为应用密码学、无线网络安全、数据安全、移动智能系统安全。

声明：本文来自网络与信息安全学报，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。