回归分析(修订本)(社会学教材教参方法系列)
上QQ阅读APP看书,第一时间看更新

2.2 估计

估计(estimation)是指从总体中随机抽取一个样本,利用样本统计量推算总体参数的过程。利用样本统计量对总体参数进行估计,主要有两个过程:点估计(point estimation)和区间估计(interval estimation)。点估计是指根据样本数据中计算出的样本统计量对未知的总体参数进行估计,得到的是一个确切的值。比如,我们利用 CHIP88数据计算出人均年收入为1871.35元,以此作为1988年全国城市居民的人均年收入水平,这就属于一个点估计。而区间估计是指对总体未知参数的估计是基于样本数据计算出的一个取值范围。如果利用CHIP88数据估计出城市居民人均月基本工资收入在100~120元之间,这便是一个区间估计。在估计过程中,被称为总体参数θ的估计量(estimator)。

2.2.1 点估计

在回归模型中,比较常用的点估计方法主要有三种:最小二乘估计(ordinary least squares,简称 OLS)、最大似然估计(maximum likelihood estimation,简称MLE)和矩估计(method of moments)。

(1)最小二乘估计

最小二乘估计法的基本思想是:对于n个点(xi, yi), i=1, 2, …, n,如果yi=β0+β1xi+εi, εi为随机项,那么估计一条直线,使得位于估计直线上的点与观测点(xi, yi)之间铅直距离的平方和最小,即。此时,就是对β0, β1的最小二乘估计。一般线性回归模型的建立多使用这种方法,其应用将在第3章和第5章中进一步谈到。

(2)最大似然估计

最大似然估计法的基本思想是:我们对i. i. d.的总体X进行n次观测可以得到一组观测值(x1, x2, …, xn),将得到这组观测值的概率看作一个似然函数Lθ),而将使Lθ)达到最大化时的作为参数θ的估计值。这种方法要求我们事先知道总体分布的类型。

设(x1, x2, …, xn)相互独立且组成来自i. i. d.的总体X的一个样本。X的分布已知,参数θ未知。当X为离散型随机变量时,X 的概率分布服从PX = x)= px; θ),则样本取值的概率分布就可以表示为PX1= x1, …, Xn=。当θ未知时,即为最大似然函数。同理,当X为连续型随机变量、其密度函数为 fx; θ)时,似然函数为θ)。这种估计方法在第18章二分因变量的logit模型中会用到。

(3)矩估计

矩估计是围绕以下几个概念产生的:总体原点矩ak=EXk);样本原点矩Ak=;总体中心矩ak= E[X -EX)]k;样本中心矩

矩估计的基本思想就是利用样本矩来估计总体矩,但这种方法并不需要知道总体分布的类型。根据第1章的内容可知,样本均值是总体均值μ的矩估计量,样本的未修正方差是总体方差σ2的矩估计量。

2.2.2 点估计的评判标准

点估计产生的误差是必然的,但是我们可以通过一些方法来尽可能地减小误差。原则上有三条标准可以用来评判一个估计量的好坏,它们是无偏性(unbiasedness)、有效性(efficiency)和一致性(consistency)。

(1)无偏性

由于我们希望估计量的取值不要偏高也不要偏低,这就要求估计量的平均值与总体参数基本一致。如果估计量的期望(即所有可能样本得到的所组成的抽样分布的均值)等于被估计的总体参数θ,那么此估计量就是“无偏的”。如,样本均值就是总体均值μ的无偏估计量,而样本的调整方差才是总体方差σ2的无偏估计量。

(2)有效性

当一个总体参数存在多个无偏估计量的时候,仅靠无偏性作为评判一个估计量好坏的标准是不够的。在这种情况下,我们还需要看它所在的抽样分布是否具有尽可能小的方差,这被称为估计量的“有效性”。方差越小,说明估计值的分布越集中在被估参数的周围,估计的可靠性也就越高。

(3)一致性

有些总体的未知参数不一定存在无偏估计量,而有些参数却存在不止一个无偏估计量。对大样本来说,评判一个估计量还有一个重要的标准就是“一致性”。这是指随着样本容量 n的增大,估计量越来越接近总体参数的真实值。

2.2.3 区间估计

前面提到,点估计是对单一数值的估计。虽然我们可以根据无偏性、有效性和一致性这三个标准对点估计进行衡量以尽可能地减小误差,但是我们并不知道测量误差的大小。区间估计就将这种误差通过置信度和置信区间表示出来,从而得到参数估计的一个取值区间,而不仅仅是一个确切值。用数学形式来表达即,这里将称作参数估计θ的置信区间(confidence interval),分别为置信下限和置信上限。1-α被称为置信水平或置信度(confidence level), α为显著性水平或显著度(significance level)。

对于一个i. i. d.的正态总体,其均值的置信区间可以利用下面的公式计算:

其中,z是显著性水平为α时标准正态分布的Z值,S. E.为均值的抽样分布的标准误,σ为总体标准差,n为样本容量。这个公式其实是公式(2-2)的变形。由图2-10可以看出,置信区间的大小与置信度成正比。也就是说,降低推断中犯错误风险的一个途径是:提高置信水平。但这样的代价是扩大置信区间,即降低估计的精确度。

而如果我们增加样本容量,从公式(2-8)可以看出,抽样分布的标准误将会减小,从而导致置信区间减小、估计的精确度提高。以95%的置信度为例,表2-1给出了样本量加倍对总体均值的区间估计的影响。

图2-10 不同置信水平下置信区间大小的比较

表2-1 95%置信水平下样本对总体均值的估计

[例题2-1] 下面我们用1988年CHIP数据中居民的年平均收入为例,估计在置信水平为95%的条件下,年收入均值的置信区间:

根据样本可以计算出样本均值,为了估计总体均值还需要计算出抽样标准误。但是一般情况下,关于总体的信息都是未知的,因此我们需要利用前面的知识——样本调整方差是总体方差的无偏估计。这样,我们可以计算出该均值的标准误。至此,根据公式(2-8),可以得到1988年中国城市居民年收入均值的95%置信区间为:(1871.35-1.96 × 8.55, 1871.35+1.96 × 8.55)=(1854.59,1888.11)。这里,考虑到大样本的情况,可以用Z分位数代替t分布的分位数。这一结果表示,1988年全国城市居民的年收入均值有95%的可能性落在1854.59~1888.11元之间。

我们可以借助统计软件直接得到置信区间,比如,利用Stata计算1988年中国城市居民年收入均值的95%置信区间的结果如下:

这与我们手动计算得到的结果完全一致。

2.2.4 求解置信区间的步骤小结