T检验是假设检验的一种,又叫student t检验(Student’s t test),主要用于样本含量较小(例如n<30),总体标准差σ未知的正态分布资料。
T检验用于检验两个总体的均值差异是否显著。
“超级引擎”工厂是一家专门生产汽车引擎的工厂,根据政府发布的新排放要求,引擎排放平均值应低于20ppm,如何证明生产的引擎是否达标呢?(排放量的均值小于20ppm)
一个直接的想法就是,把这个工厂所有的引擎都测试一下,然后求一下排放平均值就好了。比如工厂生产了10个引擎,排放水平如下:
15.6 16.2 22.5 20.5 16.4
19.4 16.6 17.9 12.7 13.9
排放平均值为
(15.6+16.2+22.5+20.5+16.4+19.4+16.6+17.9+12.7+13.9)/10=17.17
小于政府规定的20ppm,合格!
这也太简单了!
然而,随着“超级引擎”工厂规模逐渐增大,每天可以生产出10万个引擎,如果把每个引擎都测试一遍,估计要累死人了……
有没有更好的方法?
由于引擎数量太多,把所有引擎测试一遍太麻烦了,“智多星”有一个好想法:
可不可以采用“反证法”?先假设所有引擎排放量的均值为μ,然后随机抽取10个引擎,看看这10个引擎的排放量均值与假设是否相符,如果相符,则认为假设是正确的,反之认为假设是错误的。这样,就可以通过一小部分数据推测数据的总体,真是太棒了!
具体怎么操作呢?
先建立两个假设,分别为:
μ代表总体(所有引擎的排放量)均值
在原假设成立的基础上,求出”取得样本均值或者更极端的均值”的概率,如果概率很大,就倾向于认为原假设H0是正确的,如果概率很小,就倾向于认为原假设H0H0是错误的,从而接受备择假设H1。
那么如何求这个概率p呢?
这就需要引入一个概念——统计量
简单的讲,统计量就类似于用样本已知的信息(如样本均值,样本标准差)构建的一个“标准得分”,这个“标准得分”可以让我们求出概率p。
由于样本服从正态分布,且样本数量较小(10),所以这里要用到的统计量为t统计量,公式如下:
t=(x¯−μ)/(S/√n)∼t(n−1)
该t统计量服从自由度为n−1的t分布
让我们试验一下!
现在抽取出10台引擎供测试使用,每一台的排放水平如下:
15.6 16.2 22.5 20.5 16.4
19.4 16.6 17.9 12.7 13.9
样本均值
样本方差
样本标准差
我们把原假设μ⩾20拆分,先考虑μ=20的情况
将数值带入t统计量公式中,可以得出t=(17.17−20)/(2.98/√10)=−3.00由于t统计量服从自由度为9的t分布,我们可以求出t统计量小于-3.00的概率,即下图阴影部分面积
通过查询t分位数表(见附录),我们可知,当自由度为9时,t统计量小于-2.821的概率为1%,而我们求得的t统计量为-3.00,所以t统计量小于-3.00的概率比1%还要小(因为-3.00在-2.81的左边,所以阴影面积更小)。
这个概率值通常被称作“p值”,即在原假设成立的前提下,取得“像样本这样,或比样本更加极端的数据”的概率。
到这里,我们可以总结出如下结论:
在μ=20成立(所有引擎排放均值为20ppm)的前提下,从所有引擎中随机选出10个引擎,这10个引擎排放均值小于17.17的概率小于1%
再考虑μ>20的情况:
由t统计量的公式t=(x¯−μ)/(S/√n)可以看出,当μ增大,其他变量均保持不变时,t统计量的值会变小,因此求概率时阴影面积也会变小。
总结来看,我们得出如下结论:
在μ⩾20成立的前提下,从所有引擎中随机选出10个引擎,这10个引擎排放均值小于17.17的概率小于1%
由于1%的概率很小,所以我们更倾向于认为,原假设H0:μ⩾20是错误的,从而接受备择假设H1。
综上,我们认为,所有引擎的排放量均值小于20ppm,工厂生产的引擎符合标准。
在例1中,我们认为1%的概率很小,所以更倾向于认为原假设是错误的,从而接受了备择假设。但这样的判断是准确的吗?为了探讨这个问题,我们考虑以下四种情况:
即:
所以用另外一种角度来看上面的例子:
在μ⩾20成立的前提下,从所有引擎中随机选出10个引擎,这10个引擎排放均值小于17.17的概率小于1%,当我们据此做出“拒绝原假设H0,接受备择假设H1”的结论时,有小于1%的概率犯第一类错误,因为H0仍有小于1%的概率是成立的,虽然这个概率很小。
所以利用t检验做出的结论并不是百分之百正确的,仍有很小的几率会犯错误。对于上面的例子,有些人会认为1%的概率已经很小了,可以拒绝原假设,还有些人会认为1%的概率虽然很小,但不足以拒绝原假设。
为了解决这个问题,统计学家们提出了一个阈值,如果犯第一类错误的概率小于这个阈值,就认为可以拒绝原假设,否则认为不足以拒绝原假设。这个阈值就叫α。
现在,让我们尝试引入α,用另一种流程解决例1:
1. 建立原假设和备择假设
H0:μ⩾20
H1:μ<20
2. 确定α
令α=0.05(α的值通常为0.01,0.05,0.1,视具体问题而定)
3. 确定用于决策的拒绝域
在确定了α和t统计量自由度(根据样本容量可以求出,在这个例子中,自由度为[样本容量-1])的前提下,我们可以通过查询t分位数表,找出“拒绝域”,如果t统计量落入拒绝域内,就拒绝原假设,否则接收原假设。
根据t分位数表,我们查出当自由度为9时,t⩽−1.833的概率为0.05,因此,拒绝域为{t|t⩽−1.833}
4. 查看样本结果是否位于拒绝域内
将样本均值和样本标准差带入t统计量计算公式,得出t=-3.00,落入拒绝域内
5. 做出决策
拒绝原假设H0,接受备择假设H1,认为样本均值与总体均值差异显著,认为所有的引擎排放量平均值小于20ppm
以上就是t检验的标准化流程。
在例1中,我们的假设形式为:
H0:μ⩾x0
H1:μ<x0 (x0为某一常数)
拒绝域的形式为{t|t⩽c} (cc为某一常数),如果用数轴表示,形如:
假设的形式与拒绝域的形式有没有什么联系呢?
为了进一步讨论,我们将假设的形式做如下分类:
类别1:备择假设中包含≠
类别2:备择假设中包含>或<
注意:原假设和备择假设不一定将数轴全部覆盖,在实际生活中,形如2.1和2.2的问题是存在的
类别1称为双尾检验,由于备择假设中包含≠,拒绝域分布在两侧:
类别2称为单尾检验
备择假设中包含>的情形,拒绝域在数轴右侧:
备择假设中包含<的情形,拒绝域在数轴左侧:
t检验分为单总体t检验和双总体t检验
检验一个样本平均数与一个已知的总体平均数差异是否显著。
适用条件:
1.总体服从正态分布
2.样本量小于30(当样本量大于30时,用Z统计量)
统计量:
例1就是单样本t检验的例子。
检验两个样本各自所代表的总体的均值差异是否显著,包括独立样本t检验和配对样本t检验。
检验两个独立样本所代表的总体均值差异是否显著。
适用条件:
1.两样本均来自于正态总体
2.两样本相互独立
3.满足方差齐性(两总体方差相等)
统计量:
其中
配对样本t检验
检验两个配对样本所代表的总体均值差异是否显著。
配对样本主要包含以下两种情形:
1.同源配对,也就是同质的对象分别接受两种不同的处理。
例如:为了验证某种记忆方法对改善儿童对词汇的记忆是否有效,先随机抽取40名学生,再随机分为两组。一组使用该训练方法,一组不使用,三个月后对这两组的学生进行词汇测验,得到数据。问该训练方法是否对提高词汇记忆量有效?
2.自身配对
某组同质对象接受两种不同的处理。
例如:某公司推广了一种新的促销方式,实施前和实施后分别统计了员工的业务量,得到数据。试问这种促销方式是否有效?
适用条件:
每对数据的差值必须服从正态分布
统计量:
两配对样本对应元素做差后形成的新样本
t分布的形状与正态分布很相似,都是中间高,两端低的“钟形”。
当t分布的自由度为无穷大时,其形状与正态分布相同,随着自由度的减小,t分布的中间变低,两端变高,与正态分布相比更加“平坦”。
t分布接近于正态分布N(0,1)(灰色的虚线就是N(0,1)),下面是ν=2的t分布:
而t值,实际上对应的就是横坐标的值,比如说t值等于4。
t=4之后的曲线下面积其实就是P值:
可将两配对样本对应元素做差,得到新样本,这个新样本可视作单样本,与单样本t检验统计量证明方法相同。