第3章　判别函数分类器设计

3.1　判别函数简介

直接使用贝叶斯决策需要首先得到有关样本总体分布的知识，包括各类先验概率P(ω1)及类条件概率密度函数，计算出样本的后验概率P(ω1|X)，并以此作为产生判别函数的必要数据，设计出相应的判别函数与决策面，这种方法称为判别函数法。它的前提是对特征空间中的各类样本的分布已很清楚，一旦待测试分类样本的特征向量值X已知，就可以确定X对各类的后验概率，也就可按相应的准则计算与分类。所以判别函数等的确定取决于样本统计分布的有关知识。因此，参数分类判别方法一般只能用在有统计知识的场合，或能利用训练样本估计出参数的场合。

由于一个模式通过某种变换映射为一个特征向量后，该特征向量可以理解为特征空间中的一个点，在特征空间中，属于一个类的点集，总是在某种程度上与属于另一个类的点集相分离,各个类之间确定可分离。因此，如果能够找到一个分离函数(线性或非线性函数)，把不同类的点集分开，则分类任务就解决了。判别函数法不依赖于条件概率密度的知识，可以理解为通过几何的方法，把特征空间分解为对应于不同类别的子空间。而且图形呈线性的分离函数，将使计算简化。

假定样品X有两个特征，即X=(x1,x2)T，每一个样本都对应二维空间中的一个点，每个点属于一类图像，共分3类：ω1、ω2和ω3。那么待测X属于哪一类呢？对这个问题的解答就要看它最接近于哪一类，若最接近于ω1则为ω1类，若最接近于ω2则为ω2类，若最接近于ω3则为ω3类。在各类之间要有一个边界，若能知道各类之间的边界，那么就知道待测样品属于哪一类了。所以，要进一步掌握如何去寻找这条分界线。找分界线的方法就是判别函数法，判别函数法就是提供一个确定的分界线方程，这个分界线方程称为判别函数，因此，判别函数描述了各类之间的分界线的具体形式。

判别函数法按照分界函数的形式可以划分为线性判别函数和非线性判别函数两大类。线性分类器由于涉及的数学方法较为简单，在计算机上实现容易，故在模式识别中被广泛应用。但是，这并不意味着在模式识别中只有线性分类器就足够了。在模式识别的许多问题中，由于线性分类器固有的局限性，它并不能提供理想的识别效果，必须求助于非线性分类器。而且，有些较为简单的非线性分类器，对某些模式识别问题的解决，显得既简单，效果又好。