前言
1948年,香农发表了《通信的数学理论》,奠定了信息传输的理论基础。从此,感知的数学理论成为学术界不懈的追求和梦想。感知信息论是关于信息获取一般规律的基本理论,在雷达、通信、控制和计算机等领域具有广阔的应用前景。
雷达、声呐和医学成像等目标探测系统可以从反射信号中感知目标的距离、方向和散射等空间信息。是否能够依据香农信息论,在数学上对目标的空间信息获取过程进行系统的描述和刻画,是学术界长期关注而又未能解决的基础理论问题。感知的基本问题可以概括为感知信息的定量问题、感知信息的意义问题、最优目标检测问题和最优参数估计问题。这些基本问题是感知信息论研究的主题。
感知信息论的创立过程大体分为三个阶段。
第一个阶段解决的是感知信息的定量问题。我们提出空间信息的概念,把目标在观测空间的信息解释为位置和散射的联合信息,其中位置信息又包括距离信息和方向信息。空间信息的概念使感知系统与通信系统一样可用比特(bit)作为单位进行定量,统一了感知与通信的信息论基础,并将Woodward的雷达距离信息和Bell的信息论测度统一在同一个概念框架之内。
第二个阶段解决的是感知信息的意义问题。我们知道,香农信息论透过各种信息的华丽外衣,抽象出不确定性的本质特征,提出熵与互信息的概念,从而创立了通信的数学理论。然而,信息毕竟是有意义的!为什么“信息的意义”这一问题一直困扰学术界,主要原因是普遍存在的两个谬误!
谬误之一是微分熵没有单位。遍览国内外有关信息论方面的教科书和专著,都认为微分熵的单位是比特(bit)或奈特(nat)。这实际上是认为微分熵没有单位。据我们所知,只有英国著名的信息论学者David J.C.Mackay认为微分熵是有单位的,但他对此并未进行深入阐述。
我们认为,微分熵是有单位的,单位为bit·X。这里X是m、s、V、A等。微分熵可以作为感知偏差的度量指标。微分熵越大,不确定性越大,感知性能越差。
谬误之二是均方误差的使用不当。在工程技术领域,误差是广泛使用的度量指标,目前普遍采用均方误差(MSE)作为误差的评价指标。这种做法是不符合科学的,因为只有在误差统计量服从正态分布时,采用二阶统计量才是合理的,当误差统计量不服从正态分布时,如果仍然采用MSE作为评价指标,则是不充分的。这种谬误从统计学蔓延至所有科学与工程领域。
我们将后验微分熵的熵功率定义为熵误差,熵误差的平方根定义为熵偏差。当误差统计量服从正态分布时,熵误差就退化为MSE。熵误差是MSE的推广。由此可以证明:1bit空间信息等价于熵偏差减小了一半。
由上述结论建立的空间信息与感知精度之间的内在关系,揭示了感知信息的物理意义。目前,均方误差作为工程技术领域的误差评价指标,已经成为观念范式而广为流行。我们依据香农信息论提出的熵误差概念是比均方误差更普适的误差测度。熵误差的应用不限于感知领域。相信这一概念将会被越来越多的学者所接受。
第三个阶段解决的是最优目标检测问题和最优参数估计问题。我们采用的方法有两种:其一是香农提出的渐近等分特性;其二是我们提出的抽样后验概率估计和抽样后验概率检测。如果将参数估计和目标检测统称为感知,则我们可以证明感知定理:空间信息是感知系统可达的理论上界;熵误差是感知系统可达的理论下界。
本书围绕雷达感知的基本问题展开论述,具体内容安排如下:第2章介绍了香农信息论基础;第3章概述了雷达信号处理基础、贝叶斯估计和感知信息论的思想方法;第4章论述了单目标参数估计与空间信息,涉及雷达感知系统模型及其等效通信系统模型、空间信息的严格定义、距离信息和散射信息的理论表达式和闭合表达式及其上界。为了评价雷达系统的性能,定义了熵误差这一新的评价指标,推导出熵误差闭合表达式,指出著名的克拉美罗界是熵误差在高信噪比条件下的特例;第5章论述了多目标参数估计与空间分辨率,推导出距离信息和散射信息的理论表达式及几种特定场景下的闭合表达式,从信息论角度提出了空间分辨率的概念,在理论上指出超分辨的可能性,进一步推导出了多目标最大似然参数估计和最大后验概率估计的数学表达式,指出在多目标条件下传统的匹配滤波器不是最优的;第6章证明了参数估计定理,指出熵误差是参数估计的理论极限,即熵误差是可达的,反之不存在经验熵误差小于熵误差的任何估计器;第7章论述了天线阵列的方向信息和散射信息,推导出方向信息和散射信息的理论表达式、闭合表达式及阵列的角度分辨率;第8章和第10章分别论述了相控阵雷达和MIMO雷达的空间信息理论,将一维距离信息推广到距离-方向二维信息,推导出距离-方向信息表达式和距离-方向分辨率方程;第9章论述了脉冲多普勒雷达的空间信息理论,将一维距离信息推广到距离-多普勒二维信息,并分别推导出距离-多普勒信息闭合表达式和距离-多普勒分辨率方程;第11章论述了目标检测的空间信息理论,建立了目标检测系统模型,给出了目标检测信息的严格定义,从理论上解决了目标检测信息的定量问题。推导出目标在匹配和非匹配条件下检测信息的理论表达式,以及虚警概率和检测概率的理论表达式。证明了虚警定理,揭示了虚警概率与目标存在的先验概率之间的联系,为最大后验概率检测方法在雷达目标检测中的应用奠定了理论基础;第12章证明了目标检测定理,指出检测信息是目标检测的理论极限,即检测信息是可达的,反之不存在经验检测信息大于检测信息的任何检测器;第13章证明了联合目标检测与参数估计定理,指出感知信息是联合目标检测与参数估计的理论极限;第14章论述了非合作目标检测的信息理论,提出了非合作目标感知的MAP检测器和NP检测器,给出了检测信息、虚警概率和检测概率的计算方法;第15章论述了信息融合,以测距雷达为例,提出了数据融合、概率融合、参数融合和判决融合等四种信息融合方法。
经过我们多年的努力,感知信息论已经成为较为系统的理论体系,对信息与通信工程学科具有基础性作用,相关研究成果对声学、光学和人工智能等学科也具有重要的参考价值。本书适合信息、通信和雷达信号处理领域的专业人员及相关院校的师生阅读。本书论述的内容力求严谨。读者在初步阅读时,建议忽略复杂的证明过程,只关注结论,不影响对内容的理解。
本书的主要内容来自我们在感知信息论领域研究工作的阶段性总结,在编写过程中,同行学者提出了很多有益的建议,许多博士和硕士研究生也做了很多工作,在此一并致谢!最后衷心感谢我们的家人为本书的编写给予的鼓励和支持。
世界正在跨入智能化时代。感知是智能的前提。人们的日常生活与各种感知行为密切相关。感知信息论仍在不断发展和完善之中,限于我们的知识水平,本书存在的缺点和错误在所难免,殷切期望广大读者批评指正。
著 者