原文标题：Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off
原文作者：Yuecheng Li, Lele Fu, Tong Wang, Jian Lou, Bin Chen, Lei Yang, Jian Shen, Zibin Zheng, Chuan Chen
原文链接：https://openreview.net/pdf?id=C7dmhyTDrx
代码链接：https://github.com/6lyc/FedCEO_Collaborate-with-Each-Other
发表会议：International Conference on Machine Learning (ICML) 2025
研究背景
联邦学习（Federated Learning, FL）作为一种隐私保护的分布式机器学习范式，允许客户端在不共享本地数据的情况下协同训练全局模型。然而，传统的联邦学习系统仍然面临隐私泄露风险，例如通过梯度反演攻击（如DLG）推断用户原始数据。
为增强隐私保护，差分隐私（Differential Privacy, DP）被广泛引入联邦学习框架（即DPFL）。然而，DP机制引入的噪声会破坏模型语义完整性，尤其是在多轮通信中噪声累积导致模型性能显著下降。如何在保证隐私的同时提升模型效用，成为当前DPFL研究的核心挑战。
研究动机
通过Case Study，本文验证了一个关键发现：平滑联邦学习的全局语义空间（即让客户端能够 “互相协作” ）是提升模型效用的关键。
如下热力图展示了十个客户端在不同训练阶段其全局语义空间的平滑度，颜色从红到蓝代表平滑度增加。柱状图则展示了每个客户端在不同训练阶段对第十个类别的测试准确率；在第十类语义理解上出现显著变化的客户端被标记为粉色，其余为绿色。
受此启发，本文将高阶张量低秩优化的思想应用于服务器侧的参数更新过程，从而能够灵活控制客户端间的语义融合/平滑程度。
方法简介：FedCEO
本文提出了一种名为 FedCEO (letting clients “Collaborate with Each Other”) 的新框架，其核心思想是让客户端在语义层面进行动态的协同互补，以缓解DP噪声对模型效用的负面影响。
关键创新点：
张量低秩近端优化：
在服务器端将客户端上传的噪声参数堆叠成高阶张量，通过截断张量奇异值分解（T-tSVD）动态地截断高频成分，恢复语义完整性。自适应平滑机制：
根据不同的隐私预算 (ε) 和训练轮次 ( I )，动态调整截断阈值，实现全局语义空间的自适应平滑。
参数更新公式如下：
这使得自适应、细粒度的客户端协作成为可能——而不仅仅是简单的加权平均！
论文中证明，传统的FedAvg算法是本文FedCEO框架的一个特例。与FedCEO相比，FedAvg意味着在谱空间中仅保留最低频分量，代表了一种粗粒度的相互协作，缺乏对不同DP设置和连续训练过程的适应性。
此外，本文在谱域中可视化了FedCEO在服务器端的参数优化过程，直观地揭示了模型效用提升的原因。
具体算法流程如下：
理论保障的效用-隐私权衡：
论文在理论上证明了得益于参数优化的低秩性，FedCEO在效用-隐私权衡上比现有SOTA方法提升 ，其中d为输入维度。
具体的，本文首次将用户级差分隐私与张量低秩优化相结合，提出了一套完整的DPFL效用-隐私权衡的理论分析框架，包括：
效用分析：
隐私分析：
效用-隐私权衡保证：
该结果显著优于现有方法，比如J et al. 的 和 CENTAUR的 。
实验结果
本文在多个公开数据集（如CIFAR-10、EMNIST等）和模型架构（MLP、LeNet等）上进行了广泛实验，结果表明：
效用提升：在相同隐私预算（添加噪声水平）下，FedCEO相比UDP-FedAvg、PPSGD、CENTAUR等方法在测试准确率上显著提升；
隐私保护：FedCEO保持了严格的隐私保证，并能有效抵御恶意攻击，在提供卓越效用的同时确保稳健的隐私保护。
下图展示了在CIFAR-10上，三种联邦学习框架的隐私保护性能。FedCEO和UDP-FedAvg都表现出对隐私攻击的强劲防御能力（具有更低的峰值信噪比PSNR），而DLG攻击成功从FedAvg的客户端推断出了敏感图像。
效用-隐私权衡：它在准确性和隐私保护之间达到了最佳平衡，在多种设置下均优于现有方法。
tips: 更多实验以及具体证明过程参见论文附录：https://arxiv.org/abs/2402.07002
总结
FedCEO为差分隐私联邦学习提供了一种新颖的客户端协同优化范式，不仅在理论上实现了效用-隐私权衡的显著提升，也在多个实际场景中验证了其有效性与实用性。笔者相信这项工作将为隐私保护机器学习的实际工业应用提供重要推动力。
代码与资源
论文代码已开源，欢迎访问以下Github链接获取：
https://github.com/6lyc/FedCEO_Collaborate-with-Each-Other
通讯作者陈川老师的主页：
https://cse.sysu.edu.cn/teacher/Chenchuan
参考文献
@inproceedings{li2025clients,title={Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off},author={Yuecheng Li and Lele Fu and Tong Wang and Jian Lou and Bin Chen and Lei Yang and Jian Shen and Zibin Zheng and Chuan Chen},booktitle={Forty-second International Conference on Machine Learning},year={2025},url={https://openreview.net/forum?id=C7dmhyTDrx}}安全学术圈招募队友-ing
有兴趣加入学术圈的请联系 secdr#qq.com
声明：本文来自安全学术圈，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
