4.2 代价函数

代价函数也称为损失函数，英文称为Loss Function或Cost Function，有些地方我们会看到使用loss表示代价函数的值，有些地方我们会看到用cost表示代价函数的值。为了统一规范，本书中我们统一使用代价函数这个名字，英文使用loss。

代价函数并没有准确的定义，一般我们可以理解为是一个人为定义的函数，我们可以利用这个函数来优化模型的参数。最简单且常见的一个代价函数是均方差（Mean-Square Error, MSE）代价函数，也称为二次代价函数：

矩阵可以用大写字母来表示，这里的T表示真实标签，Y表示网络输出，i表示第i个数据。N表示训练样本的个数（注意，这里的N是一个大于0的整数，不是矩阵）

T-Y可以得到每个训练样本与真实标签的误差。误差的值有正有负，我们可以求平方，把所有的误差值都变成正的，然后除以2N。这里的2没有特别的含义，主要是我们对均方差代价函数求导的时候，式（4.2）中的2次方的2可以跟分母中的2约掉，使得公式推导看起来更加整齐简洁。除以N表示求每个样本误差平均的平均值。

公式可以用矩阵形式来表达，也可以拆分为用Σ来累加各个训练样本的真实标签与网络输出的误差的平方。