深度学习:卷积神经网络从入门到精通
上QQ阅读APP看书,第一时间看更新

2.3 导数公式

sigmoid函数的导数是:

双曲正切函数tanh的导数是:

校正线性单元ReLU的导数是:

如果x = (x1, x2, …, xn)T,那么逐元向量函数的导数是:

如果X = (xij)m×n,那么逐元矩阵函数的导数是:

如果a、b、cxn维向量,A、B、CXn阶矩阵,那么

如果用Tr(·)表示矩阵的迹函数(即计算矩阵的对角元素之和),那么不难得到:

如果U = F(X)是关于X的矩阵值函数且g(U)是关于U的实值函数,那么下面的链式法则成立:

此外,关于矩阵迹函数Tr(·)还有如下偏导公式