2.3.1 张量排序保留判别投影(TRPDA)模型
当样本表示成张量时,直接研究基于张量的子空间学习模型可以将样本的空间结构考虑在内。由于高维空间中的测量集中现象,样本之间距离差异难以区分,这对子空间学习算法的性能影响较大。通过保留同类样本在不同空间的排序信息可以缓解测量集中现象所带来的影响。类似于向量子空间学习模型,在 PAF 框架的基础上,可以建立对应的 TPAF 框架,将建模过程化分为局部排序信息保留判别分析和整体对齐两部分。
性质2.1 设{,,···,},ij∈[Ij], j∈[m]为m阶[I1,I2,···,Im]维张量空间的一组 Kronecker 基,则对任意 A∈,存在系数张量G∈,使得
式中, X(i)=[,···,],i∈[m]。
对任意张量A∈,它可写成若干个秩1张量的和,所需秩1张量的最少个数定义为A的秩。
监督子空间学习的训练数据是有类别信息的,因此可设为由N个样本点所组成的训练数据库,每个样本点 Xi∈都在高维空间中,其对应类别为Ci∈Z。张量子空间学习问题的目的是找到一个[d1,…,dM-1]维子空间S⊂,使得Xi∈S。
由性质2.1,每个样本点Xj∈S, j∈[ N]可写成
式中,{,…,}, i j∈[d j], j∈[M-1]为S的 Kronecker 基, Yj即为Xj在子空间S上的低维表示。因此,学习子空间S等价于学习S的 Kronecker 基。式(2.27)也称为Xj的Tucker分解,即通过对Xj进行Tucker分解可学到其对应的低维表示Yj和子空间S。
若式(2.27)成立,对任意可逆矩阵A(i)∈, i∈[M-1],有
Xj=(Yj×1A(1)-1×…×M-1A(M-1)-1)×1U(1)A(1)×2…×M-1U(M-1)A(M-1)
故一般对U(i)=[,…,],i∈[M-1]加限制。一个常用限制是令U(i)为列正交矩阵,即
此时
式中, U(i)=[,…,],i∈[M-1]。
1.局部排序信息保留判别分析
对每个带类别信息的样本Xi,在欧氏距离意义下,可以找到Xi的k1个最近的类内样本Xi1 ,…,和k2个最近的类间样本Xi 1 ,…,,组成局部样本块
TRPDA的目标是学习子空间S和在子空间S上的相应局部表达块
使得在局部表达块P (Yi)中,类内低维表达邻近排序保留,类间低维表达距离增大来获取判别信息。具体地,对每个P (Yi),判别信息获取可以通过最大化Yi和类间低维表达Yi, j∈[k2 ]的距离之和来刻画
邻近排序信息可由排序矩阵(rank matrix)表示。在局部样本块P ( Xi)内,设rij为Xi相对于Xj的顺序,则R=(rij)称为P(Xi)的排序矩阵。若Xj为Xi的第k个近邻, Xi不一定是Xj的第k个近邻,故R 一般不是对称矩阵。但P(Xi)的距离矩阵是对称,这是因为Xj相对于Xi的距离和Xi相对于Xj的距离是相等的。因此,可用距离矩阵来刻画邻近排序信息,从而缓解测量集中现象。
式中,ωi∈称为惩罚因子,在原始空间中,对距离Xi越远的同类样本在学习子空间时给与更重的惩罚项。ωi∈的选取方法有很多种[6],这里采用以下惩罚因子:
利用平衡因子α∈[0,1],将优化问题式(2.32)和式(2.33)结合,得到判别信息获取和排序信息保留的局部最优表达式,即
令βi=[ωi,-α,…,-α]∈, pi=[1, i1 ,…,, i1 ,…,]∈,式(2.35)可写为
这里
显然, Li为对称矩阵。
2.整体对齐
令Si∈,其中
即Si为某个置换矩阵的前(1+k1+k2)列所组成的矩阵。利用Si,每个局部表达块P(Yi)均可被全局表达Y表示
故
Si称为样本选择矩阵。
结合式(2.39),对所有Yi, i∈[ N],式(2.36)局部最优可进一步写成
对式(2.40)的所有局部最优求和,即对i求和得
这里对称矩阵
称为对齐矩阵。
依据式(2.28)、式(2.29)和式(2.41)可得
综上所述,结合式(2.28)和式(2.43),TRPDA模型为