推断统计(II)-假设检验
否定逻辑:如果a-> B,那么~ b-> ~A .举个例子,一般情况下,如果一个人是男(A),上厕所要去男厕所(B),如果不去男厕所(~B),就不是男的(~A)。
要注意两点:1)否定逻辑中的A和B都不是充分必要的,所以存在~B不能由~A推出的情况,需要结合实际情况考虑;2)否定逻辑和归谬法很相似,但本质上还是有区别的。区别在于,归谬法预设了~B一定能导致~A,但多数情况下可以认为是同一个思路。
假设检验也适用小概率事件的发生原理,即小概率事件是发生概率很小(接近于0)的一类事件。那么在一次测试(抽样)中几乎不可能发生,但在多次测试(抽样)中却是必然的。
假设检验:假设样本的特征可以有把握地估计总体的参数。
去哪里?以t检验(独立性、正态性和方差齐性)为例,介绍假设检验的三个步骤:
步骤1:提出(推理)假设。
假设检验首先需要提出待检验的假设,包括和。被称为零假设,常被翻译成零假设、虚无假设等。,这是否定逻辑中的a;对于替代假设,中译本有替代假设和对立假设,这是否定逻辑中的~A。和是一对互斥的事件,它构成了样本对总体估计的完全情形。
那么如何确定假设的内容,通常有一定的原则可循:把无关紧要的、无效的、公认的、自明的、符合规则的内容作为与众不同的、有效的、需要证明的、违反规则的内容作为内容。这里不深究原理是如何形成的,而是通过一个例子来看应用。
以薯片的袋重为例,已知某品牌薯片的一袋重量标注在外包装上,现在通过抽样调查得出样本的平均袋重。因为抽样误差,不可避免。现在需要测试薯片的真实平均袋重是否等于0。提出一个假设:
: ;(即a)
?: 。(即~A)
这是一个预先确定的、有计划的和普遍接受的生产标准,所以它是的内容。其实不用纠结相关原理,直接取其反面即可。
第二步:计算概率
假设测试的第二步是计算概率,那么计算什么概率呢?这需要一个答案来确定B and B是什么。先来回答一下:
b:抽样得到的样本平均值是常规情况,不是小概率事件;
~B:抽样得到的样本的平均值是小概率事件。
那么假设检验中完整的否定逻辑就形成了:
a-& gt;b:如果零假设成立,那么一次抽样的结果应该不是小概率事件。
?~ B-& gt;~A:如果一次抽样的结果是小概率事件,那么零假设不成立。
现在以薯片的袋重为例,说明这个逻辑:首先需要明确的是,样本均值和总体均值不会相等,因为抽样误差是不可避免的,即无法通过直接比较推断出薯片的真实总体袋重,所以需要改变角度-概率。如果总体平均确实是,那么抽样得到的样本平均应该是一个正态结果,而这里的“正态”可以发生在一次抽样中,而不是小概率发生,所以只要计算出这个结果的概率,就可以推断出总体平均是否是。
那么你可以回答“计算什么的概率?”这个问题:在零假设的前提下计算抽样结果的概率P,但P实际上是一个条件概率,即P(抽样结果|零假设成立)。
第三步:概率推断
概率推断的第三步是根据计算出的概率结果,判断假设的“拒绝”和“接受”。推理过程如下图所示:
概率推理是基于前面的演绎逻辑。如果抽样事件中样本的条件概率大于小概率事件的阈值(),则说明B成立,存在a->;b,所以不要拒绝;如果是,则认为抽样事件是小概率事件,即~B成立,那么~ b-> ~A,所以拒绝,接受。
至此,假设整个检查过程基本完成。
为什么测试结果用“接受”和“拒绝”,而不用“真”和“假”?
答:既然无法获得整体数据,就永远不可能知道整体参数的真实情况,所以不存在“真”与“假”的问题。以薯片为例,这里给出的重量只是一个预定的重量,本质上是一个期望值,而不是真实值,假设性的测试大多是对期望值的测试。
?「接受」、「拒绝」和「不拒绝」有什么区别?
?首先,你看的时候,说明在零假设的前提下,这个时候你不会拒绝。但由于整体参数的真实值无法得知,如果足够小就可以得到,可以有无数个值,零假设:它只是无数种可能情况中的一种,所以无法确定真实情况是什么,只能“不拒绝”而“接受”。但说明零假设是一种几乎不可能的情况,可以相对确定总体真值不是这种,所以可以“拒之门外”。
假设检验的第二步是计算概率,这里的概率实际上是值,通过比较值与值的大小关系来进行假设检验的判断,根据值计算值,值实际上是零假设正态分布下的统计值,如下图,值是左边绿色区域的面积:
因此,假设检验的第二步不仅可以比较概率值的和,还可以比较值,做出判断。当价值在之外,就是,或者,有,那么拒绝和接受;当值在里面,就是有,所以不拒绝。
下图表示以+/-2.58、+/-1.96、+/-1.645三组对立作为双侧检验的判断边界。三组边界分别对应去除0.01、0.05和0.1的情况,边界外侧两侧为拒绝域。
实际上,学术界对“”的价值并没有严格的规定。到目前为止,习惯上取0.01,0.05或0.1,其中0.05是常见情况。对于0.05的由来,更有说服力的说法是,标准正态分布的4倍标准差以内的概率(+/-1.96在上图中约为+/-2)约为0.95(实际会更大),从范围和概率上便于计算和记忆,0.05的拒绝空间足以保证假设检验的正确性。
但用0.01、0.05、0.1作为判断依据是任意的,而且给假设检验的结果带来一定的误差风险,即I型误差和II型误差。
一种错误是错误地拒绝,即“拒绝真理”。在假设检验中,拒绝是标准,所以一种错误的概率是。一类错误是指在一次抽样中,一个小概率事件发生得如此不幸,以至于被错误地剔除。
第二种错误是没有被错误地拒绝,即“接受谬误”,或者更准确地说是“没有拒绝谬误”,错误的概率通常记为。但是,事先知道一类错误中出错的概率为0,而第二类错误只能通过计算整体真值来获得。在实践中,总体平均值的计算常常被样本平均值所代替。以薯片的袋重为例,犯二等错误的概率是一个使拒绝域概率为零的值。
从下图详细解释:
使用薯片袋重量的案例场景,图1(图1)是基于零假设成立时样本均值所服从的概率分布。此时分布均值为,蓝色实线为双面检验对应的一对t值,那么蓝线两侧的黄色区域为面积为的拒绝区域。
图2(图2)显示了当样本的总体均值实际上为0时,样本均值所服从的概率分布。图65中的438+0也对应图2分布中的一个区域,即绿色区域,这部分区域的概率,即面积为。
那么和谐的现实意义是什么呢?首先,如果样本的整体平均值为(见图1),那么抽样结果很可能落在两条蓝色实线之间的区域,但不幸的是这个抽样结果落在拒绝域,所以被拒绝,这就是“拒绝真理”。那么显然,拒绝域越大,就可能出现“拒绝真”的可能性,所以拒绝域的面积就是“拒绝真”误差,这是第一类误差的概率。
再看:如果样本的整体平均值实际上是和),此时应该是在拒绝零假设。但图1的总体均值分布与图2重合,即图1的红色区域和图2 * *的绿色区域使用相同的t值区间(横坐标),这意味着即使总体均值为0,仍有可能以总体均值落入非拒绝域,结果不是拒绝,这是第二类错误,出现这种情况的概率是图。
从上图也可以清楚的看到,在同一个抽样中(固定样本量,固定标准差),sum是一个权衡关系(移动看红绿区域的面积变化)。
另外,根据抽样特点,随着样本量的增加,标准差不断减小,正态分布曲线会逐渐变窄,可以使和同时减小。
参数估计和假设检验都是推断统计的重要部分,它们本质上是相互联系的:
参数估计是考察总体均值和样本均值之间的距离是否在1.96SE的范围内,95%的置信度代表正确的可能性。
假设检验是检验与0的距离是否超过1.96,显著性水平是1-将其转换为数值或数值后的置信水平(即样本统计量按抽样分布进行标准化)。