译者序

正如本书作者罗纳德·T. 纽塞尔博士所言，“人工智能已无处不在”。自从2011年微软提出的基于DNN的深度神经网络取得语音识别领域的重大突破，人工智能的发展便一发不可收：AlexNet在计算机视觉领域开启新纪元，RNN和Transformer重新定义了对自然语言的理解，强化学习模型击败围棋大师的新闻家喻户晓……这一切都离不开过去十多年深度学习的飞速发展。

想要在深度学习这一研究领域取得突破，理解其背后数学原理至关重要。2021年11月，纽塞尔博士出版了这本面向深度学习从业人员的数学基础教材。该书一经推出便广受好评。对于想要从事人工智能领域或使用深度学习技术解决手头问题，但缺乏数学基础，亦不知如何以最小代价补齐数学短板的人而言，这本书无疑能提供巨大的帮助。毕竟，实际任务的复杂性、数据分布的多样性、模型训练过程的不确定性、目标函数的灵活性等，都可能导致实际项目的失败。

纽塞尔博士拥有20年左右的机器学习从业经验，甚至在风靡一时的AlexNet提出之前就已经开始从事深度学习的研究。在翻译这本书的过程中，我能深刻体会到作者在这一领域拥有的扎实理论功底和丰富实战经验，这也使本书既不会过于深奥而导致门槛过高，又充分保留了重要细节以确保读者能真正理解关键内容。更难能可贵的是，本书中的代码示例设计非常精巧，既能让读者快速理解抽象的数学概念，又有极强的可用性，能直接在实际工作中参考。

本书的主要内容可分为两部分。第一部分主要介绍理解深度学习所必备的如下数学基础。

❏ 概率论与统计学的核心内容。实际上，传统机器学习就基于统计学的数据模型和求解算法，而现代深度学习中也保留了大量的机器学习思想，例如变分自编码器中关于变分推断的思想，以及生成对抗网络中关于分布拟合的技术等。

❏ 线性代数的关键知识点。这些内容是开启深度学习技术大门的一把钥匙。神经网络是一系列矩阵运算和非线性映射的组合，理解线性代数和矩阵分析的本质，才更容易洞察神经网络的工作机制。

❏ 关于微分尤其是函数求导和矩阵微分的知识。这些内容对于理解网络如何利用梯度的反向传播进行参数更新至关重要。理解了它们，才能够根据需要灵活对目标函数进行优化或设计。

本书第二部分介绍深度神经网络的工作机制以及网络得以成功训练的关键技术，包括神经网络数据流、反向传播机制和梯度下降算法。

❏ 神经网络数据流描述了输入网络的数据如何一步步到达输出。作者既阐述了传统网络的情况，也介绍了卷积网络中卷积层、池化层和全连接层的工作机制。

❏ 在关于反向传播机制的内容中，作者介绍了如何通过数据图模型，根据微分的链式法则，对目标函数进行参数优化。掌握这些内容后，读者甚至可以自己实现一个简单的底层网络。

❏ 关于梯度下降算法，作者介绍了SGD、Adam等深度学习中解决无约束优化问题的经典核心算法。深刻理解这些算法能帮助读者在实战中快速定位问题，让网络得以正常训练。

我非常感谢人民邮电出版社的王峰松先生邀请我负责本书的中文翻译，也非常感谢郭泳泽先生后期对本书的精心修改和编排。在翻译本书的过程中，我时常从字里行间感受到作者的认真负责，以及对问题的深入思考，这些都促使我将本书真实、完整地呈现给中文读者。然而，凡事总有疏漏，如果读者发现本书的翻译未能准确传达作者本意，我恳请得到来自读者的更正，也会在未来的修订版中不断完善，力求完美。

辛愿

2022年8月8日于深圳腾讯滨海大厦