2.3 导数公式
sigmoid函数的导数是:
双曲正切函数tanh的导数是:
校正线性单元ReLU的导数是:
如果x = (x1, x2, …, xn)T,那么逐元向量函数的导数是:
如果X = (xij)m×n,那么逐元矩阵函数的导数是:
如果a、b、c和x是n维向量,A、B、C和X是n阶矩阵,那么
如果用Tr(·)表示矩阵的迹函数(即计算矩阵的对角元素之和),那么不难得到:
如果U = F(X)是关于X的矩阵值函数且g(U)是关于U的实值函数,那么下面的链式法则成立:
此外,关于矩阵迹函数Tr(·)还有如下偏导公式