第4章　概率与信息论

本章学习目标

·　了解一维随机变量和多维随机变量；

·　掌握正态分布；

·　了解数学期望和协方差；

·　理解贝叶斯规则；

·　掌握信息论的相关概念。

概率论是研究随机现象和不确定性的一个数学分支学科，它提供了一系列用来度量不确定性的准则和方法。概率论在解决模式识别问题时具有重要作用，本章将对某些特殊的概率分布的例子以及它们的性质进行讨论，这些概率分布是构成深度学习更复杂模型的基石，本书将频繁使用这些概率知识。本章介绍概率统计与信息论相关知识的目的在于让大家有机会在简单的模型中讨论一些关键的统计学概念。在后续章节中会在更复杂的模型中遇到这些概率模型。