1.5 联邦学习算法现状

随着联邦学习研究的不断深入，越来越多的传统机器学习算法开始支持联邦学习框架。本节对当前常用的机器学习算法在联邦学习上的实现进行一个简短小结。

• 横向联邦学习：文献[148]指出，它常用于跨设备端（Cross-Device）的场景，是当前研究最多的联邦学习类型。当前线性模型（如线性回归、逻辑回归等）、GBDT提升树模型^[166]、递归神经网络^{[122，286，68]}、卷积神经网络^[185]、个性化推荐中的横向矩阵分解等都已经在横向联邦上实现。事实上，使用梯度下降等最优化算法迭代优化的机器学习模型基本都能使用横向联邦学习框架训练。

• 纵向联邦学习：文献[148]指出，它常用于跨机构（Cross-Silo）的场景，当前的线性模型（如线性回归、逻辑回归等）、提升树模型SecureBoost^[70]、神经网络、个性化推荐中的纵向矩阵分解、纵向因子分解机（我们将在第9章中深入讲解）等都已经在纵向联邦上实现。

• 联邦迁移学习：联邦迁移学习是将联邦学习与迁移学习相结合的一项新技术，其目的是在保护数据隐私的前提下，强调即使在异构特征分布的多方场景下，也能够协同并提升模型性能，文献[188]提出了一种安全的联邦迁移学习框架，包括基于同态加密和秘密共亨（secret sharing）的实现。文献[69]提出一种在可穿戴设备中进行联邦迁移的方法；文献[145]在Google Cloud上用FATE对联邦迁移学习的性能进行了实验分析，并提出了可以提高性能的几个优化方案。总体来说，FTL与前面两种类型相比，当前的研究还比较少，是今后联邦学习的重点研究方向。

[1] 为简洁起见，书中会视上下文情况将横向联邦学习、纵向联邦学习分别简述为横向联邦、纵向联邦，含义完全一样。