推荐序一

机器学习可解释性（Interpretability）或XAI（Explainable Artificial Intelligence）是机器学习的研究者们始终存在的一个担忧：目前主流的深度神经网络没有办法以一种从人类角度完全理解的模型和决策。对于可解释性能要求较高的关键领域，例如交通、医疗、法律和财经等，我们会发现仍然无法完全相信模型的预测能力。因此，广大的机器学习研究者们希望探求出的是，我们有没有办法去解释这些模型，从而真正建立人与模型之间的信任。

机器学习的一般流程包括：收集数据、清洗数据、训练模型、基于验证或测试错误或其他评价指标选择最好的模型。第一步，选择具有比较低的错误率和比较高的准确率的高精度模型。第二步，面临准确率和模型复杂度之间的权衡，一个模型越复杂就越难以解释。一个简单的线性回归非常好解释，因为它只考虑了自变量与因变量之间的线性相关关系，但是也正因为如此，它无法处理更复杂的关系，模型在测试集上的预测精度也更可能比较低。而深度神经网络处于另一个极端，因为它们能够在多个层次进行抽象推断，所以它们可以处理因变量与自变量之间非常复杂的关系，并且达到非常高的精度。但是这种复杂性也使模型成为黑箱，我们无法获知所有产生模型预测结果的特征之间的关系，所以我们只能用准确率、错误率等评价标准来代替，进而评估模型的可信性。

然而事实上，每个分类问题的机器学习流程中都应该包括模型理解和模型解释。比如，在模型改进方面，通过理解指标特征、分类、预测，进而理解为什么一个机器学习模型会做出这样的决定、什么特征在决定中起最重要的作用，能让我们判断模型是否符合常理。再比如，在模型可信性与透明度，理解机器学习模型在提高模型可信度和提供审视预测结果透明度方面是非常有必要的。让黑金模型来决定人们的生活是不现实的，比如贷款和监狱刑法。机器学习的可解释性也可以很好地帮助我们识别和防止偏差，比如用于招聘的机器学习模型，揭示了在特定职位上的性别偏差，比如男性软件工程师和女性护士。

要做好可解释性，需要将数据科学与机器学习有机地结合起来。机器学习模型本身由算法组成，该算法试图从数据中学习潜在的模式和关系，而无须硬编码固定规则；数据科学家通常致力于构建模型并为业务提供解决方案。模型解释作为一个概念，仍然主要是理论和主观的。任何机器学习模型的核心都有一个响应函数，它试图映射和解释独立（输入）自变量和（目标或响应）因变量之间的关系和模式。我们在建立模型时，需要考虑What、Why 及How，输出的结果可以包括自变量的重要性、分类，模型的可解释范围、评估及其特性，包括准确性、保真性、可用性、可靠性、健壮性和通用性等。最后，输出的结果可否有人性化解释，这通常可以与自然语言生成相结合。

目前，关于可解释性的图书还比较有限，Christoph Molnar 在2018 年撰写的Interpretable Machine Learning 给大家提供了很好的指导。你可以从这本书中学习简单的、可解释的模型，如线性回归、决策树和决策规则等。该书后面几章重点介绍了解释黑盒模型的与模型无关的一般方法，如特征重要性和累积局部效应，以及用Shapley 值和LIME 解释单个实例预测。对各种解释方法进行了深入的解释和批判性的讨论。它们是如何工作的？优点和缺点是什么？如何解释它们的输出？本书使你能够选择并正确应用最适合你的机器学习项目的解释方法。这本书结合了各类现实生活中的例子来介绍相关的概念，同时搭配参考资料帮助读者进一步学习了解。

随着更多的深度学习模型框架的出现，比如最近流行的语言模型Transformer，打开这些“黑盒子”的正确方式将变得越来重要。这也是一个多学科交叉的综合性学科，需要机器学习从业者、数据科学家和统计学家一起努力！

杨红霞博士

阿里巴巴达摩院资深算法专家