第四节 神经网络、神经计算和计算神经科学

一、人工神经网络

人工神经网络、神经计算和神经计算机是三个相互联系、相互区别的新概念。神经网络（neural network）是类似生物脑或神经系统的网络模型；神经计算机（neurocomputer）是神经网络的硬件实现；神经计算机所作的高速并行的分布式运算，就是神经计算（neurocomputation）。也可以说，神经计算是神经网络的软件实现。联结理论（connectionism）的核心是并行分布式信息加工（parallel distributed processing, PDP）, PDP是神经计算的同义语。联结理论一词概括了神经网络模型及其硬件实施和软件实施中诸方面的特点。所以，它是较全面的高度概括性的术语。联结理论或神经网络理论的出现不是偶然的，是计算机科学、神经科学和心理学三个学科发展的产物。就心理学而言，联结理论的历史渊源可追溯到古老的联想主义理论（associationism），这种理论在现代科学心理学诞生以前的18世纪就已经存在。联想是指不同概念在人们头脑中相互作用的现象。可归纳出三条基本联想律：类似律、对比律和接近律。现代心理学中还保留着联想性思维等概念。20世纪20年代，行为主义心理学兴起，把行为看做是刺激—反应之间的联结（S-R）。只要把握住刺激与反应之间的关系，就可以阐明人类行为的基本规律。在对婴儿行为的观察和对动物学习过程的研究中，行为主义都取得了较大的进展，发现了学习的练习率、频因率和近因律等。20年代已经成熟的经典神经生理学脑反射论，也将行为的基础看成刺激与反应之间的联结，其生理基础是刺激在脑内引起的兴奋灶与支配反应的中枢兴奋灶之间的联结。学习行为正是在无关刺激（如铃声），不断与有生物学意义的刺激（如食物）同时出现，在动物脑内同时引起听觉兴奋灶和食物中枢的兴奋灶，两者便可以形成暂时联系。通过先天的食物运动通路引起饮食行为和唾液、胃液分泌的反应。即使单独出现铃声，不伴有食物强化，动物的食物运动反应和食物分泌反应也会出现。这是由于脑内已建立了暂时联系。50年代，创始条件反射理论的苏联科学界，信守巴甫洛夫的经典概念，认为脑内暂时联系的形成，是由于非条件刺激的强兴奋灶对条件刺激引起的弱兴奋灶吸引的结果，这一过程必须在大脑皮层的参与下才能完成。然而，到70年代，神经生物学的研究进展已经证明，暂时联系是中枢神经系统的普遍特性。无论是大脑皮层还是皮层下中枢，甚至脊髓都具有实现暂时联系的能力，这是由于暂时联系的细胞生理学基础是“异源性突触易化”。任何一个神经末梢会聚在某一个神经元上，形成许多异源性突触。它们同时性的兴奋或以极短时间间隔的兴奋，都可以总合起来引起这个神经元的发放。不同来源的突触兴奋可以彼此易化，就是异源性突触易化现象。80年代，人工神经网络的联结理论中，神经单元之间连接权重的变换正是受到神经生理学概念的启发而产生的。

二、计算神经科学

与神经网络理论不同，计算神经科学是神经科学的分支，以神经生物学实验所得到的数据为基础建立脑功能的数学模型，是这一学科的研究任务。

（一）神经科学实验是计算神经科学的基础

计算神经科学不同于人工神经网络的理论研究，必须以当代神经科学实验研究为基础。只有密切关注神经科学各层次研究的新技术和新成果，从中吸收建立模型的实验数据作为计算的基础，才能作出有意义的贡献。人工神经网络的研究家从神经生理学、神经解剖学教科书中就可以为自己的网络研究工作找到生物学理论依据；计算神经科学家则必须从神经科学最新研究成果中寻找自己的计算课题。典型的计算神经科学家既从事计算研究，又进行某一领域的神经科学实验。虽然计算机技术可以帮助他们更好地处理实验数据，进行计算研究，但计算机的应用并不是计算神经科学家所必需的工作条件。计算神经科学家通过对已有实验数据建立数学模型，不但可以预测新理论或给出新的实验设计，还可以给出实验手段所难以得到的科学数据。计算神经科学研究的这些优势，必须是建立在最新的实验基础上才能发挥出来。

（二）智能活动的显现特性是计算神经科学研究的主题

计算神经科学不同于其脱胎的理论神经生物学、计算神经生物学、数学生物学和生物物理学。首先，在于它立足于智能或认知活动显现特性的计算分析。因此，那些基于神经冲动的生物物理过程或神经生理学数据之上的计算，或对神经系统生理功能和模拟研究并不属于计算神经科学的范畴。只有围绕认知活动或行为的显现特性所进行的计算和模拟研究，才是真正的计算神经科学。

Hoppfield（1982）将3种智能系统统称为物理实体系统（physical system）。它们智能活动的基本特点是显现的集合计算能力（emergent collective computational ability）。显然，还原论的方法学原理与计算神经科学的要求背道而驰。所谓显现特性，是指智能由其各组成成分的总体活动产生的，这不能由各部分相加而得到，是超越各部分之和的那些新特性。智能的这种显现特性如将智能系统分解开就不复存在。所以，计算神经科学对智能进行计算和模拟研究的基本原理，是并行分布式信息加工原则。由此而产生两个学科特色：计算分析围绕认知或智能问题，而不是神经或神经元生理功能的生物物理与物理化学机制；运用并行分布式计算原理，虽然常常使用脑的简化模型，但必须提供建立模型的理论框架、算法及其约束条件。

简化模型中的算法及其约束条件，往往可通过现代数字计算机或神经计算加以实现。计算神经科学对计算机的使用，与高能物理学、流体力学、天文学、气象学不同，不是运用简单方程或算法进行大量重复运算，也不像计算分子生物学、计算化学那样，在具体实验和结果的计算分析中反复提高得到一种新理论。计算神经科学并不意味着大量计算，也不意味着一定要使用现代计算机，而是要对认知过程进行表征，对其信息加工和信息存贮过程在与计算机比较中得到新的概念和数学表达。例如，Hopfield模型的出现，并没有借助计算机进行大量的数字计算，但这种数学模拟仍是计算神经科学的一个组成部分。这是因为Hoppfield模型有助于对大脑获取信息（学习）和提取信息（记忆）过程的理解。相反，即使应用现代计算机对生物体某一器官的解剖学或化学成分进行十分精细的大量计算，由于它和认知功能无关，缺乏对智能活动等行为水平和细胞、分子水平关系的新认识，所以仍不属于计算神经科学的研究范畴，而只能是计算生物学领域的研究。因此，计算神经科学中的“计算”，无论是在整体、细胞和分子水平上，都必须立足于行为和智能的显现特性之上，寻求理解智能活动基础的概念、新算法，并在新算法及其约束条件与当代各类计算机加以类比中，发现智能化计算机、智能化机器人和智能化武器设计的新原理。

（三）多种算法的比较研究是计算神经科学发现科学真理的重要途径

在神经科学最新实验数据基础上，计算神经科学围绕着智能活动的显现特性进行计算研究时，虽然运用并行分布式计算原理，但计算方法应多样化。比较各种算法所得到的结果，才能较深刻地揭露生物脑智能活动的规律与特性。Linsker（1990）的“知觉自组织”一文，为我们树立了一个典范。他用四层局域性转变成有序的认知内容，这就是系统的自组织作用。对于这种自组织作用，他们采用Hebb方程、Hoopfield能量函数、主成分分析、最小平方法和信息计算等多种算法，并比较其间的共同特性。利用Hebb方程将网络功能表达为四个方程式：

式中a1, a2, a3, a4, a5, R1, R2均为任一常数，Cj是第j 个输入单元与输出M单元的连接权重，式（1）、（2）是两个独立方程。

三、计算模型

（一）知觉的计算模型

在知觉研究领域中，从20世纪60～70年代的特征提取理论，到80年代的新拓扑理论和知觉整合理论，越来越强调知觉中的搜索过程以及注意的作用问题。特别是Treisman关于知觉搜索中的维度和竞争性结合理论，不但正确解决了注意与知觉的关系，还解释了错觉形成的机制；关于知觉的认知心理学理论和研究方法，将在后面有关章节中详细讨论。这里简要地举例说明知觉计算研究的发展趋势与意义。Tsotsos （1990）在近年知觉心理学理论影响下，使用复杂性水平的计算方法，分析视觉问题。所谓复杂性水平分析，就是将一个问题的计算要求和给定资源匹配起来的组合优化算法。复杂性系列可分为P和NP两类，P类（polynomial）是所有可控问题的复杂性，NP类是非可控问题的复杂性。复杂性水平分析可使一个NP问题找到一个多项式P（n），使此问题由时间复杂性为O（2P（n））的算法来解决。视觉匹配反应时，可以反映出视觉机制与系统算法的复杂程度。所以，视觉搜索匹配过程也可分为两类：一是事先有明确靶子的界定搜索（bounded visual search），是注意机制参与的视觉收搜过程，另一类仅隐含描述靶子的非界定性视觉搜索（unbounded visual search）。非界定的视觉匹配任务以象元数或刺激复杂性为指数关系，即O（I2）。非界定性视觉搜索匹配是NP完全性问题，界定搜索是P类有线性的时间复杂性问题。复杂性水平分析算法，就是要寻求使非界定NP完全性问题，转换为界定搜索的条件。假设一套知觉图形（images）由四维坐标x、y、j、m表示，x、y是欧几里得坐标值，fn是图形类别指标的集合如颜色、运动、深度等，由离散的正整数j表示。如果ix, y, j=m中，j不是m中的元素或x、y值超出图的矩阵，则ix, y, j=0。视觉搜索靶子T（target）也是四维坐标，与I一一对应，但未必相等。两者匹配是指：

式中Q为差别的绝对阈值。此式表明每次匹配的差别总和小于阈值Q时，才可完成一个圆形的匹配。如果在图像系列中由许多图像子集所构成，则这些子集匹配的相关总和大于甲以上，才认定两者是最佳匹配。其相关由下式表示：

只有同时满足上面两个数学方程式的要求，才可认定完全匹配。怎样满足这两个匹配方程式的要求呢？至少有三种办法：① 从高层次开始选择匹配参数中影响最大的参数，优先进行组合优化，即优化和逼近的策略；② 降低匹配标准，提高匹配效率；③ 引入注意机制，首先抑制无关成分，很快选择空间域使指数复杂性递降为线性时间复杂性。总之，对视觉搜索的复杂性水平计算与传统算法的不同之处，在于从顶-底的策略引入注意机制、复杂性递降的算法原则。

（二）小脑结构与机能模拟

小脑对运动功能的调节作用及其结构的有序性，很早就引起计算神经科学家们的重视。著名学者Marr（1969）提出了小脑皮层的理论，并对小脑网络进行了模拟。他认为小脑网络的功能在于接通适当的“运动命令”。小脑位于上下行神经通路之巅，对运动功能具有重要作用。形态学上小脑的最大特征是数以万计的颗粒细胞与一个攀缘纤维同时聚合在一个浦肯野氏（浦氏）细胞上。所以，Marr的理论核心在于攀缘纤维和平行纤维的同时兴奋，可引起颗粒细胞与浦氏细胞间突触的变化，正是这类突触存贮着传入冲动及其应激活的传出冲动间的关系。到20世纪80年代，Marr的理论推断在蛙的实验研究中得到证实。Chajlakhian等（1989）在此基础上对小脑浦氏细胞网络的学习能力进行了计算机模拟。他们的网络模型由1个浦氏细胞，20000个颗粒细胞和700根苔状纤维组成。这些参数来自大白鼠小脑解剖学研究。平均5根苔状纤维聚合到1个颗粒细胞上。反之，每根苔状纤维均可与大约143个颗粒细胞发生连接。在这个网络中进行了两类模拟试验：（1）记录兴奋的苔状纤维；（2）在浦氏细胞中提取记录过的信息。结果发现平行纤维与浦氏细胞间的突触效率

E=I/N× log2g

式中I为信息容量，N为连接强度变化的突触数目，g为突触效率的状态数。在这一模拟条件下突触状态只考查未学习的还是学习的两种状态。E的值总是小于1。这种结果意味着浦氏细胞的树突膜在接受传入冲动的特性上缺乏特异选择性，既不纯粹是主动活性的，又不纯粹是被动性的，大量树突之间存在着零协同性，浦氏细胞大量树突之间关系类似噪声，缺乏方向性，缺乏记忆信息的能力，这有利于自然选择。

Braamhof（1991）根据小脑浦氏细胞对传入脉冲刺激的时域编码特性和其树突上大量存在的钙依从性钾离子通道和钙离子通道活动的时间特性，对小脑空间时间相关特性进行数学模拟。他发现浦氏细胞与前额叶皮层细胞、听觉皮层细胞和基底神经节细胞一样，具有高维时间空间相关的非线性运算能力和学习能方。其数学模型由下列微积分方程和乙状函数表达：

Ca ij（t）、K ij（t）分别代表钙、钾离子通道的开状态，V ij代表相关的连接强度，θCa、θK 分别代表钙、钾通道导通阈，KCa和KK代表钙离子通道和钾离子通道的开关时间，大约在50～300毫秒之间，离子通道对V ij效应由微分方程和乙状函数所模拟，钾离子通道导通降低V ij，钙离子通道导通增加V ij, V ij与两种离子通道开启的关系是线性的，S Ca, ij描述游离钙离子浓度及其对钙依存性钾通道开启的作用。系统的输出Oi（t）是各部分权重总和的乙状函数。

从小脑模拟研究中可以看出，研究的层次从结构形态、细胞神经生理学特性到细胞膜上的离子通道特性的模拟，逐渐深化、发展，在理论上从小脑运动控制功能、随机选择零协同性到时间空间多维相关对学习功能的模拟，也是个不断提高的过程。一方面我们看到小脑模拟研究的这种发展提高过程；另一方面，我们必须认识到计算神经科学的这种模拟研究与细胞神经生理学进展还存在一段距离，神经生物学对小脑学习研究的新事实和科学数据，还没有吸收到计算研究的范畴。