大家都在搜
在实验结果分析的时候,经常能听到这样的问题“P值究竟要取多少啊,0.05合适么”“P值没有经过校正能不能发文章”等等。P值是什么?P值指的是在一个特定的统计模型下,数据的某个汇总指标(例如两样本的均值之差)等于观测值或比观测值更为极端的概率。这段描述是我们通常能从教科书中找到的P值定义,但在实际问题中,它却经常要么被神话,要么被妖魔化。我们一起来看下数学和统计学专家如何说的。 2014年2月,Mount Holyoke College数学和统计学系教授George Cobb在ASA的论坛上问了这样的问题: 问:为什么这么多学校要教P=0.05? 答:因为整个科学界和杂志编辑都在用这个标准。 问:为什么这么多人仍然在用P=0.05? 答:因为学校里这么教的。 这就陷入了循环,我们要教这个是因为我们平时这么用的,我们这么用因为我们的老师以前就这么教的。在这个科研可重复性被反复提及的时候,针对这种过分强调P值的情况,美国统计学会(American Statistical Association,ASA)发布了一个关于统计意义和P值的声明"The ASA's statement on p-values: context, process, and purpose",并提出了6条使用和解释P值的原则: 准则1:P值可以表达的是数据与一个给定模型不匹配的程度。 这条准则的意思是说,我们通常会设立一个假设的模型,称为“原假设”,然后在这个模型下观察数据在多大程度上与原假设背道而驰。P值越小,说明数据与模型之间越不匹配。 准则2:P值并不能衡量某条假设为真的概率,或是数据仅由随机因素产生的概率。 这条准则表明,尽管研究者们在很多情况下都希望计算出某假设为真的概率,但P值的作用并不是这个。P值只解释数据与假设之间的关系,它并不解释假设本身。 准则3:科学结论、商业决策或政策制定不应该仅依赖于P值是否超过一个给定的阈值。 这一条给出了对决策制定的建议:成功的决策取决于很多方面,包括实验的设计,测量的质量,外部的信息和证据,假设的合理性等等。仅仅看P值是否小于0.05是非常具有误导性的。 准则4:合理的推断过程需要完整的报告和透明度。 这条准则强调,在给出统计分析的结果时,不能有选择地给出P值和相关分析。举个例子来说,某项研究可能使用了好几种分析的方法,而研究者只报告P值最小的那项,这就会使得P值无法进行解释。相应地,声明建议研究者应该给出研究过程中检验过的假设的数量,所有使用过的方法和相应的P值等。 准则5:P值或统计显著性并不衡量影响的大小或结果的重要性。 这句话说明,统计的显著性并不代表科学上的重要性。一个经常会看到的现象是,无论某个效应的影响有多小,当样本量足够大或测量精度足够高时,P值通常都会很小。反之,一些重大的影响如果样本量不够多或测量精度不够高,其P值也可能很大。 准则6:P值就其本身而言,并不是一个非常好的对模型或假设所含证据大小的衡量。 简而言之,数据分析不能仅仅计算P值,而应该探索其他更贴近数据的模型。 声明之后还列举出了一些其他的能对P值进行补充的分析方手段,比如置信区间,贝叶斯方法,似然比,FDA(False Discovery Rate)等等。这些方法都依赖于一些其他的假定,但在一些特定的问题中会比P值更为直接地回答诸如“哪个假定更为正确”这样的问题。 声明最后给出了对统计实践者的一些建议:好的科学实践包括方方面面,如好的设计和实施,数值上和图形上对数据进行汇总,对研究中现象的理解,对结果的解释,完整的报告等等——科学的世界里,不存在哪个单一的指标能替代科学的思维方式。 ASA的执行董事Ron Wasserstein说,P值从来都不能取代科学推理,一个好的科学推理也不是仅仅一个数据、以及这个数据是不是在某个范围内能决定的。只关注P<0.05的时代应该过去了。 文章链接: http://amstat.tandfonline.com/doi/abs/10.1080/00031305.2016.1154108 |