§3　矩、协方差和相关系数

一、矩

矩是随机变量重要的数字特征之一，前面讨论的数学期望和方差都是矩的特例。在数理统计中，将会看到矩的应用。

定义3.1　设X为一随机变量，若E（Xk）（k=1，2，…）存在，称它为X的k阶原点矩，记为αk（简称k阶矩），即αk=E（Xk）（k=1，2，…）。

显然，X的数学期望就是X的一阶原点矩。

定义3.2　设X为一随机变量，若

μk=E［X-E（X）］k　（k=1，2，…）

存在，则称μk为X的k阶中心矩。

显然，X的方差就是X的二阶中心矩。

定义3.3　设X为一随机变量，若μk（k=1，2，3，4）存在，

称为随机变量X的偏度系数（skewness），记为γ（X），即

称为随机变量X的峰度系数（kurtosis），记为κ（X），即

γ（X）与κ（X）均为无量纲的量。偏度系数γ（X）度量了随机变量X的分布关于其均值E（X）的不对称程度；峰度系数κ（X）度量了随机变量X的分布与正态分布相比较的平坦程度。不难求得，对于正态随机变量X，有γ（X）=0，κ（X）=0。

二、协方差与相关系数

对于二维随机变量（X，Y），除了讨论X与Y的数学期望和方差外，还需要讨论描述X与Y之间相互关系的数字特征。

在证明方差性质（3）中，如果两个随机变量X和Y相互独立时，则有

E{［X-E（X）］［Y-E（Y）］}=0

反之，若E{［X-E（X）］［Y-E（Y）］}≠0，则X与Y不相互独立，这意味着X与Y之间存在着一定的关系。

定义3.4　设（X，Y）为二维随机变量，若E{［X-E（X）］［Y-E（Y）］}存在，则称它为X与Y的协方差，记为Cov（X，Y），即

Cov（X，Y）=E{［X-E（X）］［Y-E（Y）］}

而 　　

称为随机变量X与Y的相关系数。

ρXY是一个无量纲的量，通常简记为ρ。

对协方差我们有下列两个常用公式

var（X+Y）=var（X）+var（Y）+2Cov（X，Y）　　（3.1）

Cov（X，Y）=E（XY）-E（X）E（Y）　　（3.2）

协方差具有下列性质：

（1）Cov（X，Y）=Cov（Y，X）；

（2）Cov（aX，bY）=abCov（X，Y）　（a，b为常数）；

（3）Cov（X1+X2，Y）=Cov（X1，Y）+Cov（X2，Y）。

下面推导ρXY的两条重要性质，并说明ρXY的意义。

（1）｜ρXY｜≤1；

（2）若X与Y相互独立，则ρXY=0；

（3）｜ρXY｜=1的充分必要条件是X与Y依概率1线性相关，即存在两个常数a和b，且b≠0，使P{Y=bX+a}=1。

证　（1）

即得-1≤ρ（X，Y）≤1，所以｜ρ（X，Y）｜≤1。

（2）当X与Y相互独立时，Cov（X，Y）=0，则ρXY=0。

（3）如证（3）先分析均方误差

e=E［Y-（bX+a）］2=E（Y2）+b2E（X2）+a2-2bE（XY）+2abE（X）-2aE（Y）　　（3.3）

若｜ρXY｜=1，欲证存在a和b使成立P{Y=aX+b}=1，先选择a和b使e取到最小。由

解得驻点 　　

将a0，b0代入式（3.3）得

由假设ρXY=1知

E{［Y-（a0+b0X）］2}=0

由方差的计算公式（2.4），得

因此有　　var［Y-（a0+b0X）］=0

E［Y-（a0+b0X）］=0

由方差的性质（4）可知：P{Y-（a0+b0X）=0}=1，即

P{Y=a0+b0X}=1

反之，若存在a*和b*使

P{Y=a*+b*X}=1

也即　　P{Y-（a*+b*X）=0}=1

那么　　P{［Y-（a*+b*X）］2=0}=1

由方差性质（4）可知（其中C=0）

E{［Y-（a*+b*X）］2}=0

于是

则得　　｜ρXY｜=1

从以上的讨论中可以看出，当｜ρXY｜较大时e较小，表明X，Y线性关系较密切，特别当｜ρXY｜=1时，X与Y之间以概率1存在着线性关系。于是ρXY是一个可以用来描述X与Y之间线性关系密切程度的量。换而言之，当｜ρXY｜较大时，通常说X，Y线性相关的程度较好；当｜ρXY｜较小时，反映X与Y线性相关的程度较差。特别当ρXY=0时，称X和Y不相关。

应当指出，在ρXY存在的条件下，若X和Y相互独立，则X与Y必不相关，因为此时Cov（X，Y）=0，ρXY=0；但是X与Y不相关，X和Y却不一定相互独立，这是因为随机变量X与Y不存在线性关系，并不说明X与Y不存在其他关系。

【例1】　设二维随机变量（X，Y）的概率密度为

试验证X和Y不相关，但X和Y不是相互独立的。

证　由图3-3知除在闭单位圆上，其他处f（x，y）≡0，那么

同理 　　

同理　　E（Y）=0

另外 　

所以　　Cov（X，Y）=E（XY）-E（X）E（Y）=0

即　　ρXY=0

这说明随机变量X与Y不相关，显然f（x，y）≠fX（x）fY（y），这说明X和Y不相互独立。

但是当（X，Y）服从二维正态分布时，X和Y相互独立与X和Y互不相关是等价的。

【例2】　设（X，Y）服从二维正态分布，它的分布密度为

求ρ（X，Y）。

解　由第二章§3例6知（X，Y）的边缘概率密度为

故得E（X）=μ1，；E（Y）=μ2，。另外

令，，则有

则 　　

这个事实说明，若X与Y相互独立，X与Y必不相关；反之亦然，即若X与Y不相关时，那么ρ=ρXY=0，此时成立算式f（x，y）=fX（x）fY（y），故知对于二维正态随机变量（X，Y）来说，X和Y不相关与X和Y相互独立是等价的。

【例3】　设（X，Y）具有概率密度，求Cov（X，Y）。

解　由于Cov（X，Y）=E（XY）-E（X）E（Y）

　　 又 　　

　　 而 　　 　　 （见图3-4）

所以　　

又

所以

而

则　　Cov（X，Y）=0

【例4】　已知三个随机变量X，Y，Z中，E（X）=E（Y）=1，E（Z）=-1，var（X）=var（Y）=var（Z）=1，ρXY=0，，，求E（X+Y+Z），var（X+Y+Z）。

解　E（X+Y+Z）=E（X）+E（Y）+E（Z）=1+1-1=1

又 　　

则　　var（X+Y+Z）=3