3.1 将因果引入机器学习的增益
3.1.1 制约人工智能技术的可解释性和稳定性问题
在人工智能技术带来的风险中,可解释性是极为重要的一项问题。未来在金融、医疗及法律等风险敏感性的领域中,可以预见人在回路中(Human in the Loop)会是被广泛使用的一种技术应用模式。这是由于面对风险极高的决策任务,人们不能无条件地信任模型的预测结果,而必须要以某种形式参与决策。为了实现这样的一种人在回路中的模式,首先需要人能够理解机器的行为,否则人和机器无法共同协作。现如今的深度学习模型虽然具有很好的性能表现,但是它们绝大多数都是黑盒模型,只给出了它预测的结果,却不能让人们理解它做出这种预测的原理。例如,以第6章给出的医学影像识别为例,深度学习模型可以按很高的准确率判断患者的疾病类型,但是很难给出人们能理解的做出该判断的依据。而这种可解释性不足的问题,严重制约了人在回路中的技术模式,限制了人工智能技术在风险敏感领域的应用。
除可解释性的问题之外,稳定性也是影响机器学习模型在风险敏感领域应用的重要因素。大多数机器学习模型的优秀表现都建立在训练模型的数据与测试模型的数据来自同一分布的假设之上,即独立同分布(Independently Identically Distribution,i.i.d)假设。如图3-2所示,当测试数据分布与训练数据分布相同时,机器学习模型的性能是有保障的;但是当两者的数据分布不同时,机器学习模型的表现就可能变得非常差。以下分别举了分类问题与回归问题中的例子。
图3-2 训练数据分布与测试数据分布满足不同分布假设时的机器学习模型表现
实例3.1(分类问题).如本书第1章中所讨论的,训练一个图像的分类器以识别图像中的动物是哈士奇还是狼,训练数据集中大部分图片是草地、树林中的哈士奇以及雪地里的狼。利用符合这个数据分布的数据进行训练得到的模型,如果测试数据中哈士奇的图片背景大多也是草地、树林,狼的背景大多也是雪地,那么模型的准确率可能会很高。但是当测试数据中哈士奇的背景是雪地时,狼的背景是草地、树林时,模型的准确率可能会大幅下降。
实例3.2(回归问题).基于气象学数据构建一个对空气质量情况的预测模型。数据包含了美国各个州的气温、气压、相对湿度、风速风向及PM 10污染度。预测模型使用Lasso回归模型,以气温、气压等属性为输入,预测输出PM 10污染度。由于各州的地理位置、自然环境的不同,其天气属性(模型输入变量)的分布也有所差异。在实验中,研究者用一个州的天气数据进行训练,在其他州的数据上进行测试。结果表明,当测试数据的分布与训练数据的分布差异变大时,模型预测结果的均方根误差(RMSE)也会相应变大。
从以上两个例子可以看出,当下的人工智能技术由于可解释性的缺失,使得人们无法放心地依据模型做出预测进行决策行为。由于稳定性的不足,在潜在的使用场景下,模型的表现可能会非常差,人们在使用这些模型的时候无法完全信任它们。为了发展人工智能技术在风险敏感领域的应用,可解释性和稳定性是两个亟待解决的难题。
3.1.2 关联性和因果性
如今的大多数机器学习模型都是基于关联统计的。因此,机器学习模型的可解释性和稳定性问题可能就源自它对关联统计的依赖。
首先,变量之间的关联性很有可能是不可解释的。如图3-3所示,红色曲线表示的是不同年份里渔船落水人员的溺亡率,黑色曲线表示的是肯塔基州的结婚率,两者具有很高的关联性。但是根据人们的常识,这两者之间并不可能存在任何关系。这种不可解释的关联性(两个变量同时增大/减小,或者一个增大的同时另一个减小)在现实世界中广泛存在。而基于关联统计的机器学习模型会发掘出数据中的这种关联性,并将其用于预测任务当中。因此,这种以不可解释的关联性为基础的模型从根本上就无法保证模型的可解释性。
图3-3 渔船落水人员的溺亡率和肯塔基州的结婚率的对比
另外,变量之间的关联性往往也是不稳定的。如上一小节所举的例子,训练数据中包含了大量的雪地里的狼。因此,雪地的背景与狼的标签就形成了强烈的正相关性,被机器学习模型应用到了预测任务中。当模型发现图片中有雪地的特征时,它就会预测这是一只狼。但是这种雪地与狼的标签之间的关联性是由于数据收集过程中的偏差产生的虚假关联(Spurious Correlation),并不是普遍存在的规律。在另一种环境下,同样可能出现在草地上的狼。因此雪地和狼之间的关联性也是不稳定的,基于这种不稳定的关联性进行预测的模型也无法保证其表现的稳定性。
由于关联性的不可解释性和不稳定性,以此为基础构建的机器学习模型也面临着不可解释和不稳定的问题。因此,许多研究者尝试利用因果性(Causality)建立模型的预测机制。例如,在分类狼和哈士奇的问题中,真正区分哈士奇和狼不同的是眼睛、鼻子、耳朵等生物学特征,可以被称为因果特征(Causal Feature),如图3-4所示。这些特征与标签(狼、哈士奇)之间的关系是因果关系,不受背景等环境变化影响,是稳定的。同时,它们与人们区分狼和哈士奇的认知相符合。正是因为人们看到了这些特征,才做出是哈士奇还是狼的判断。因此这种关联具有可解释性。
图3-4 黄色框代表因果特征,红色框代表非因果特征
可以预见的是,当机器学习模型建立在因果特征与预测目标之间的因果关系上时,在稳定性方面能够有所提升。
更具体地,数据中变量之间关联性(Correlation)的产生机制可以分为以下三类,如图3-5所示。
图3-5 关联性的三种产生机制
(1)因果(Causation)。由于T导致了Y,所以T和Y之间有关联。例如天下雨会导致地面变湿。这种关联是稳定的、可解释的。
(2)混淆(Confounding)。X同时导致了T和Y。例如,气温上升会同时导致冰激凌销量增加以及汽车爆胎事件增加。因此,冰激凌销量和汽车爆胎数量之间有了关联。X导致了T和Y之间存在关联。但这种关联是虚假关联(SpuriousCorrelation),既不可解释也不稳定。
(3)样本选择偏差(Sam p le Selection Bias)。变量S是由T和Y共同决定的,通过控制S取特定值可以使得T和Y之间产生关联。例如,通过选择使得狼和雪地产生了关联。这种关联也是虚假关联,既不可解释也不稳定。
从上述分析中可以看到,在三种不同产生机制的关联性中,只有因果是稳定且可解释的,另外两种都会导致虚假关联,不稳定且不可解释。如今,大部分的机器学习模型在使用数据中的关联性时都不加以区分,使得其预测结果依赖于虚假关联。因此,训练得到的模型面临了稳定性和可解释性的问题。如何设计一套新的机器学习框架,使得模型能够有效区分出数据中的因果关系,并利用这种因果关系进行预测,是一个重要的问题。