你在这里

统计,以信仰之名:(三)衡量估计量的四大原则

 

关注微信:DuoDaaMath 每天获得更多数学趣文

新浪微博:http://weibo.com/duodaa

 

 

 

为了照顾到广大浑浑噩噩的群众,在这节之前,首先要声明一下,所谓的估计量都是随机变量,你每生成一次数据,用同样方法得到的估计量可能截然不同。我们无法控制数据的生成,但是能找到一个很屌的方法,使我们的估计量在多数情况下尽量准确。

 

在学习数理统计时,我们都会学到评判估计量的三大原则:无偏性,有效性,一致性。水平比较高的老师也会讲到第四个原则:最小均方误差原则。我们在统计推断时默认这些原则,它们是人为规定的,而非某种公理性或定理性的东西。我们不禁要问,为什么要如此规定这些原则?比如,一个统计量为什么要无偏呢?是因为它长得帅吗?您别说,对于最后一个问题可能还就是因为它长得帅。实际上,这些原则都是从好的统计量中总结出来的,比如用几个观测的均值来估计其期望,均值具有无偏性,有效性,一致性,于是这些原则就总结出来了。下面我们对这些原则一个一个地讨论。

 

1、无偏性 is a piece of shit

所谓的无偏估计量就是它的期望恰好等于原参数。无偏估计量的优越性是非常直观的,在大数定律的保证下,它能以较快的速度收敛到原参数。如果让你列举什么是一个好的估计量,估计你第一个想到的就是无偏性。而且无偏性在数学上有一些非常优美的性质,比如很多情况下你可以找到一个最好的无偏估计量(一致最小方差无偏估计)。然而,这并不妨碍它是一坨shit。

 

你想想无偏性到底是什么呢?期望等于原参数有什么用呢?用一个N(θ,100)的无偏随机变量X来估计θ,如果θ=0,你估计出来的很可能是5,或者8,这样的估计量你敢相信么?

 

如果一个无偏估计量概率集中在真值周围,那么这个无偏估计量是可靠的。可惜无偏估计量在很多情况下并不符合这条性质。事实上,在高维统计中,无偏估计量是不可接受的(inadmissable),因为你总能找到一个比无偏估计量更靠谱的有偏估计量,在各个方面都要胜无偏估计量一筹。所以,无偏估计量可能仅仅是长得比较帅而已。在这个看脸的世界,有时长得帅就够了。

 

2、有效性——渣男的评判标准

一个估计量如果分布得太分散,那么这个估计量一定是个花心大萝卜。比如你生成一组数据 估计量是1,另一组数据 估计量是100,。这样的估计量绝非居家好估计量。我们希望它的概率尽量集中,这就是有效性。光有有效性是不够的,比如你就拿0做估计量,稳定得不行,但是离真实估计量十万八千里,也不靠谱。但是作为一个评判标准,有效性还是够格的,如果一个估计量都不具有有效性,不论他说多么爱你,都不要相信他。

 

3、一致性——众里寻他千百度,只要钱多,参数却在,灯火阑珊处

一致性指的是当你样本趋于无穷时,你的估计量依概率趋于真实参数。也就是说,只要你的样本够多,一致估计量总能给你一个靠谱的参数。在有限样本时,这个评判标准仍然存在一定局限。然而统计学上,它仍不失为一条重要的评判标准。如果多采集样本都不管用,那只能看脸了。

 

4、最小均方误差原则——最靠谱的准则

一个估计量的均方误差可以表示为:$E(\hat{\theta}-\theta)^2$。在最小均方误差准则下,我们选估计量要使其均方误差尽可能小(似乎是句废话)。

 

为什么说这条准则是最靠谱的呢?首先,如果均方误差小,这个估计量一定比较靠谱,即以很大的概率在真实参数旁边。而且该准则跟样本数量无关,不管样本多少,估计量都会有一个均方误差,只要均方误差够小,这个估计量都靠谱。

 

根据mean-variance分解:均方误差=偏差+分散度

也就是说最小均方误差事实上是无偏性与有效性的结合,最小无偏估计量的概率分布既集中,而且集中在真值周围。

 

均方误差事实上是一种距离(统计决策上称为“损失”),是参数空间内真值与估计量之间的欧式距离。于是我们要问,我们是否可以将欧式距离扩展至一般的距离?答案当然是可以的,对一般距离的探究构成了统计决策理论的基础。

 

 

关注微信:DuoDaaMath 每天获得更多数学趣文

新浪微博:http://weibo.com/duodaa