1.4 联邦学习的分类

在本节，我们给出联邦学习的三大类别。设D_i表示数据拥有者（参与方）{F_i}的本地训练数据，通常D_i以矩阵的形式存在，D_i的每一行表示一条训练样本数据，我们将样本ID空间设为I；每一列表示一个具体的数据特征（feature），我们将特征空间设为X；同时，一些数据集还可能包含标签数据（label），我们将标签空间设为Y。特征空间X、标签空间Y和样本ID空间I组成了一个训练数据集D_i：（I，X，Y）。

根据不同的数据拥有者的数据特征空间X和样本ID空间I的重叠关系不同，可以将联邦学习划分为下面三种类型^[285]：横向联邦学习（Horizontal Federated Learning，HFL），纵向联邦学习（Vertical Federated Learning，VFL），联邦迁移学习（Federated Transfer Learning，FTL）。

如图1-4所示，横向联邦学习适用于联邦学习参与方的数据有重叠的数据特征的情况，即数据特征在参与方之间是对齐的，但是参与方拥有的数据样本是不同的（或者可以理解为用户的样本ID集合不同）。它类似于在表格视图中将数据进行水平划分的情况。因此，横向联邦学习也被称为样本划分的联邦学习（sample-partitioned federated learning，或者example-partitioned federated learning^[149]）。

图1-4 横向联邦学习（HFL），也被称为样本划分的联邦学习^[285]

例如，有两家服务于不同地区的银行，它们虽然可能只有很少的重叠客户，但是客户的数据可能因为相似的商业模式而有相似的特征。也就是说，这两家银行的用户群体集合重叠部分较小，但在数据特征维度上的重叠部分较大。这两家银行就可以通过横向联邦学习共同建立一个机器学习模型，更好地为客户推荐理财产品^[285，184]。我们将在本书的第三部分讲述更多横向联邦学习的应用案例。

与横向联邦学习不同，纵向联邦学习（图1-5）适用于联邦学习参与方的训练数据有重叠的数据样本，即参与方之间的数据样本是对齐的，但是它们在数据特征上有所不同。它类似于在表格视图中垂直划分数据的情况。因此，我们也将纵向联邦学习称为特征划分的联邦学习（feature-partitioned federated learning^[149]）。

图1-5 纵向联邦学习（VFL），也被称为特征划分的联邦学习^[285]

例如，当两家公司提供不同的服务（例如，一家银行和一家电子商务公司），但在客户群体上有着非常大的交集时，它们可以为得到一个更好的机器学习模型，在各自的不同数据特征空间上协作。在电子商务公司中我们要预测用户对某一个物品的购买概率，但通常电子商务公司内部只有用户的购买行为信息，而银行等金融机构有用户的资产数据，这部分特征信息能很好体现用户的消费水平，如果能将这部分特征补充到我们的推荐建模中，无疑将极大提升模型预测的能力。同样地，我们也将在本书的第三部分讲述更多纵向联邦学习的应用案例。

如图1-6所示，联邦迁移学习适用于参与方的数据样本和数据特征都很少重叠的情况。以两个参与方为例，其中一方代表源域（source domain），另一方代表目标域（target domain），我们在源域中学习特征的分布，将源域的特征信息迁移到目标域中，但在这一迁移过程中，本地数据同样不会离开本地。

图1-6 联邦迁移学习（FTL）^[285]

联邦迁移学习特别适合处理异构数据的联邦问题。例如，一家公司有丰富的图片信息，另一家公司有文字等自然语言信息，图片和文字属于不同的特性维度空间。利用联邦学习，可以在数据不出本地的前提下，在两家公司之间通过知识迁移来学习到另一方的特征数据，扩充自身的特征信息，提升模型的性能效果^[138，321]。

联邦迁移学习同样适用于金融场景中的风控建模。近年来，随着监管机构大力支持和改善小微企业等实体经济金融服务，推进降低小微企业融资成本，各金融机构也在不断加大对于小微企业的金融服务及支持。但小微企业往往成立时间短，在信贷业务应用中存在数据稀缺、不全面、历史信息沉淀不足等问题。这时，我们可以利用联邦迁移学习，依据金融机构在中大型企业的信贷模型，将知识迁移到当前的小微企业中，帮助提升模型效果。

前面描述了联邦学习按照特征和样本空间不同而划分的三种类别。但事实上，联邦学习的主要目的是在保证数据不出本地的前提下，协调各客户端共建模型，因此一项很重要的工作是，如何有效协调数据参与方协同构建模型。根据协调方式的不同，我们可以将它分类为集中式拓扑架构和对等网络拓扑架构。

• 集中式拓扑。此种结构下，一般存在一个中心计算方（既可能是独立于各参与方的服务器，也可能是某一个特定的参与方），该中心计算方承担收集其他各方传递的模型参数信息并经过相应算法更新后返回各方的任务，它的优势在于易于设计与实现。

• 对等网络拓扑。此种结构下，不存在中心计算节点，各参与方在联邦学习框架中的地位平等。由于集中式拓扑不可避免地要考虑中心计算方是否会泄露隐私或者遭受恶意攻击，所以相比之下离散式拓扑更为安全。但这种拓扑设计的难度较大，必须平等对待各参与方且能够对所有参与方有效更新模型并提升性能。

文献[149]的2.1节对联邦学习的拓扑结构进行了深入的分析。此外，本书的第16章详细探讨了联邦学习的通信设计。读者可以查阅相关的参考文献或本书后面章节，获取更多的原理细节。