可解释机器学习:黑盒模型可解释性理解指南
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

作者序

机器学习受到了很多研究人员和业内人士的关注,有很多可落地且有影响的应用。机器学习对于产品开发、科学研究和自动化来说是一种强大的技术。例如,机器学习可被用于金融交易欺诈检测、电影推荐和图像分类。机器学习模型是否具有可解释性通常是至关重要的,因为可解释性可以帮助开发人员调试和改进模型,建立对模型的信任,验证模型预测并获得洞察力。机器学习可解释性需求的增加是机器学习使用量增加的自然结果。

撰写本书一开始是我作为统计学家工作之余的副业。起初,我没有写书的打算,相反,我只是对寻找更多关于可解释机器学习的信息感兴趣,寻找好的资源来学习。鉴于机器学习的成功和可解释性的重要性,我以为市面上会有大量关于这个主题的图书和教程。但是,我只在网上找到了一些相关的研究论文和博客文章,没有找到很好的综述论文。甚至可以说,没有图书,没有教程,没有综述论文。这种现状启发我开始写这本书。当我开始学习可解释机器学习时,我希望这本书能够出版。我写这本书的意义是双重的:既为了自己学习,也为了与他人分享新知识。

我在德国慕尼黑大学获得了统计学学士和硕士学位。我的机器学习知识大部分是通过网络课程、竞赛、项目和专业活动自学的。我的统计学背景是学习机器学习的极好基础,尤其是在可解释性方面。在统计学中,一个主要的关注点是建立可解释的回归模型。在我取得统计学硕士学位后,我决定不去读博士,因为我不喜欢写论文,写作给我的压力太大了。因此,我在一家金融科技初创企业担任数据科学家,并在临床研究中担任统计学家。在工业界工作三年之后,我开始写这本书。几个月后,我开始攻读可解释机器学习的博士学位。这本书让我重新找到了写作的乐趣,重新激发了我对研究的热情。

本书主要内容

这本书涵盖了可解释机器学习的许多技术。第1 章介绍了可解释性的概念,并阐述了可解释性的必要性,以及一些短篇故事。第2 章讨论了解释的不同性质,以及人类认为什么是好的解释。第3 章介绍了本书中实验用到的真实数据集。第4 章讨论了内在可解释的机器学习模型,例如回归模型和决策树。第5 章讨论了本书的主要焦点,即与模型无关的可解释性方法。与模型无关意味着这些方法可以应用于任何机器学习模型,并且是在模型训练完成后才应用的。模型的独立性使得这些与模型无关的方法非常灵活和强大。有些技术可以解释单个实例预测是如何做出的,如局部代理和Shapley 值。还有一些技术描述模型在数据集的全局行为。我们将学习部分依赖图、累积局部效应图、置换特征重要性和其他方法。第6 章讨论了基于样本的解释方法,它生成数据点作为解释,反事实解释、原型、有影响力的实例和对抗样本都是在本书中讨论的基于样本的解释方法。第7 章提出了一些思考,即可解释机器学习的未来可能会是什么样子的。

如何阅读本书

读者不需要从头到尾阅读本书,可以集中精力在自己最感兴趣的方法上。建议从引言和可解释性开始阅读。后面每一节着重于一种解释方法:首先总结这种方法;然后试着不依赖数学公式直观地描述它;最后详细描述该方法的理论,得到一个深刻的理解。我认为,最好通过示例来理解一个新方法。因此,每种方法都运用在真实数据上。每一节还包含了对各自解释方法优缺点的讨论,最后给出了每种方法的软件实现。这本书可以帮助读者选择适合自己的应用程序的解释方法。

这本书已经成为许多人的宝贵资源。教师使用这本书向学生介绍可解释机器学习的概念。我收到了很多硕士研究生和博士生的邮件,告诉我这本书是他们论文的起点和重要的参考。这本书帮助生物、金融、心理等领域的应用研究人员使用机器学习来理解他们的数据。工业界的数据科学家告诉我,他们在工作中使用并向同事推荐这本书。我很高兴许多人能从本书中受益,成为模型解释方面的专家。

我希望把这本书推荐给那些想要了解一些技术的从业者,以使他们的机器学习模型更具可解释性。同时,也推荐给对这个主题感兴趣的学生和研究人员。若要从这本书中受益,应该对机器学习和数学公式有基本的了解,即使在没有足够数学知识的情况下,也应该能够理解每一节开头对方法的直观描述。

希望你能喜欢这本书!

Christoph Molnar