2.1.1　神经元

神经网络中基本的计算单元是神经元，一般称作节点（node）或者单元（unit）。节点从其他节点或者外部源接收输入，然后计算并输出。这里的关键是，信息是通过激活函数来处理的。激活函数模拟大脑神经元，输入信号的强度大小决定了它们是否被触发。然后处理结果被加权并分配到下一层的神经元。图2-1展示了加入激活函数和偏置项的神经元结构。

图2-1　加入激活函数和偏置项的神经元结构

图2-1说明了单个神经元的工作情况。给定有输入属性{x1，x2，…，wk}的样本，以及每个属性与神经元连接的权重wi，wi用于控制各个信号的重要性。然后，神经元会按照以下公式对所有输入求和：。参数b称为偏置项（偏差），与线性回归模型中的截距相似，用于控制神经元被激活的难易程度，它允许网络将激活函数向上或者向下转移，这种灵活性对于深度学习的成功非常重要。计算网络中的输入向量与权重向量的内积与偏置项的和z，经过激活函数处理后作为最后的输出。