1.2.1 性能挑战

通常，联邦学习通过聚合客户端模型得到的最终全局模型的性能相比于通过传统的集中数据的训练方式得到的模型性能会有不同程度的下降，也被称为性能降级（Performance Degradation）。性能降级的原因是多方面的，一方面是数据原因。在联邦学习的框架下，联邦学习算法的设计者会缺乏对联邦数据的洞见。当前的研究仅能证明分布式数据在满足独立同分布的条件时，联邦学习的理论性能会逼近集中训练模型。而当跨设备数据不能满足独立同分布的条件时，联邦学习基线算法FedAvg学习得到的全局模型上下界便会缺乏理论保证，甚至在某些极端情况下，模型将不能收敛。造成数据非独立同分布的原因可能是多方面的，以医疗联邦学习为例，不同的医疗机构加入同一个联邦学习协议，但是其拥有的训练样本的体量是不一样的，大型医院生产收集的数据远多余普通小型医院的医疗数据。由于区域差异、门诊设置的区别、不同医院不同类型疾病的样本数量差异明显。即使对应于同一种疾病，不同的数据采集设备、不同的医务人员、不同的医院其要求也各不相同，难以保证图像标注采用的是相同的标准。此外，由于缺乏对全体数据的了解，有些特殊样本可能不能被正确分析，所以数据预处理由于不能及时过滤这些样本而导致样本比设想的要脏。另一个可能导致模型下降的原因是在算法层面。在某些场景下，联邦学习需要通过密码学机制，比如同态加密，来交换不同客户端之间的参数。在此过程中需要进行多项式逼近来评估机器学习算法中的非线性函数。大规模部署的联邦学习系统中，如果某个参与方的本地模型参数变化不太大，没有必要频繁地把模型更新上传到中央服务器上。同样，也没有必要在每一步都对本地模型进行校准。因此联邦学习需要在模型性能与系统效率间寻找一个平衡点。