第3讲　信息的数学表达

信息要能被数学使用，需要用数学方式来表示，否则就无法通过数学的方式进行研究。这一讲主要对机器学习相关的信息数学表达进行介绍，包括自信息、信息熵、信息增益、相对熵、交叉熵、基尼指数等，如图3-1所示。实际上，这里的很多内容来自于香农（Shannon）教授的信息论。

图3-1