2.1.4　神经网络的主要类型

人工神经网络按照神经元连接方式不同可以分为前馈神经网络、反馈神经网络与自组织神经网络。

• 前馈神经网络是指网络信息处理的方向是逐层进行的，从输入层到各隐藏层再到输出层，在这个过程中，各层处理的信息只向前传送，而不会反向互相传送。前馈神经网络又可分为单层网络和多层网络，这里主要通过隐藏层的数量来区分。
• 反馈神经网络是指从输出层到输入层，具有反馈连接的神经网络。在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，又可以向外界输出。反馈神经网络比前馈神经网络复杂得多，且输出层的节点信息还可以向输入层、隐藏层反馈。
• 自组织神经网络则是通过寻找样本中的内在规律和本质属性，以自组织的方式来改变网络参数与结构，特别适合解决模式的分类和识别方面的应用问题。自组织神经网络模型的结构与前馈神经网络模型类似，都采用无监督学习算法。但与前馈神经网络不同的是，自组织神经网络存在竞争层，该层中的各神经元通过竞争与输入模式进行匹配，最后只保留一个神经元，并以该获胜神经元的输出结果作为对输入模式的分类。

接下来介绍人工神经网络中最著名、最典型、应用最广泛的模型—BP（Back Propagation，反向传播）神经网络。BP神经网络是1986年由以Rinehart和McClelland为首的科学家小组提出来的，是一种按误差反向传播算法训练的多层感知器网络。BP神经网络由一个输入层、至少一个隐藏层、一个输出层组成。通常设计一个隐藏层，在此条件下，只要隐藏层神经元的数量足够多，就具有模拟任何复杂非线性映射的能力。当第一个隐藏层含有很多神经元但仍不能改善网络的性能时，再考虑增加新的隐藏层。

BP神经网络算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经过各隐藏层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不相等，则转到误差的反向传播阶段。误差反向传播是将输出误差以某种形式通过隐藏层逐层反传，并将误差分摊给各层的所有神经元，从而获得各层神经元的误差信息，此误差信息即修正各神经元权值的依据。不仅如此，这种信息正向传播与误差反向传播的各层权值调整过程是周而复始地进行的，权值不断调整的过程，也是神经网络不断学习的过程。此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习时间/学习次数为止。