万博官方app下载 自然与人工智能新闻与分析
自信的商人交叉武器 - 托架 - Adob​​e股票
交叉在前面的确信的商人胳膊
通过Adobe Stock许可

假冒它,直到你制作它 - 权力姿势寓言者第二部分

P-hacking和复制危机在哪里留下科学研究的状态?

上次,我们探究了2010年一项心理学研究的结果,该研究得出结论,保持两分钟的“力量姿势”可以增加睾酮(自信),降低皮质醇(压力)。但事实证明,p-hacking影响了最初研究的结果,随后的研究拆穿了“权力姿势”的发现。原论文的第一作者达娜·卡尼(Dana Carney)承认了原研究的错误,并更新了她的观点,“以反映证据”。

今天,我们将探讨其中的含义:


Carney愿意承认P-Hacks并支持重做努力的力量测试是说明P-Hacks善意的证据。这是当时的大量研究。Joseph Simmons,Leif Nelson和Uri Simonsohn,他们已经有说服力地记录了P-Hacking的危险,写了这一点,

我们知道许多研究人员——包括我们自己——都很乐意承认为了获得意义而放弃因变量、条件或参与者。每个人都知道这是错误的,但他们认为这是错误的方式,它是错误的横穿马路。我们(现在知道)抢劫银行的方式是错误的。

2011年一项针对2000名研究心理学家的调查发现,72%的人承认曾根据统计重要性来决定是收集更多数据还是停止收集数据;38%的人认为“在考虑了这样做对结果的影响后,再决定是否排除数据”;46%的人认为应该选择性地报告“有效”的研究。

布莱恩·诺塞克的重现性项目试图重现100个已经发表在三大心理学期刊上的研究。只有36人继续拥有P.-Values低于0.05并与原始研究中的相同方向产生效果。

在诺塞克的重现性项目进行期间,进行了一项有趣的辅助研究。大约在44项复制研究计划完成前两个月,研究人员为心理学领域的研究人员建立了44个拍卖市场,以预测复制是否会成功。市场开放了两周,做研究的人不被允许参与。

最重要的一点是,心理学研究者对自己领域的研究持怀疑态度。最终的市场价格表明,人们相信,平均而言,只有55%的机会成功复制。在这41项按时完成的研究中,有19项(46%)的复制几率低于50%。即使是这一令人沮丧的预期也被证明过于乐观,因为有25%(61%)的人没有重复这一预期。

2015年,我碰巧在谷歌的公司总部参加了一个会议,在这个会议上,各个领域的复制危机成为了一个热门话题。一位著名的社会心理学家告诉观众,“我的默认假设是,我所在领域发表的任何文章都是错误的。”

对卡迪的批评是不公平的,因为她当时做的是别人做的事——实际上是她的教授教她做的事。另一方面,她很快就夸大了基于少量样本的脆弱结果,又迟迟不承认更大规模的研究不支持她的结论。观众想要的是简单而有力的信息,这就是她给他们的。当她自信地宣传自己的强势故事时,她似乎是在遵循自己的建议:假装成功,假装成功,直到你成为成功。

一些经验丰富的研究人员可以理解地防守,并通过批评复制者对失败的复制作出反应。心理科学协会(APS)和Amy Cuddy的导师和共同作者的过去总裁苏珊菲斯克已经感叹了她所谓的“方法论恐怖主义”。

其他人认识到p-hacching的后果,并努力恢复科学研究的可信度。Andrew Gelman has described the old way as the “find-statistical-significance-any-way-you-can-and-declare-victory paradigm,” and written that, “I can see that to people such as Fiske who’d adapted to the earlier lay of the land, these changes can feel catastrophic.” Michael Inzlicht, professor of psychology at the University of Toronto, spoke for many when he wrote that, “I want a better tomorrow, I want social psychology to change. But, the only way we can really change is if we reckon with our past, coming clean that we erred; and erred badly…. Our problems are not small and they will not be remedied by small fixes. Our problems are systemic and they are at the core of how we conduct our science.”

剩下的动力姿势是什么?人造姿势似乎不会影响人们的荷尔蒙或行为。甚至对情绪产生适度影响的可能性也值得怀疑,因为受试者可能会意识到研究人员期望发现什么,并改变他们的行为以满足这些期望。在这里,那些被要求摆出非常不寻常甚至可能很尴尬的姿势,然后被问及感觉自己有多强大的人很可能知道想要的答案。这一解释得到了一项研究的支持,该研究发现,看过Cuddy TED演讲的人更有可能在摆出强势姿势后感到强大。

这个摆出权力姿势的寓言的真正价值在于,它是一个引人注目的例子,说明了黑客行为是如何加剧了动摇科学的复制危机的。最初的研究是不可靠的,因为它的目标是传递一个简单的对媒体友好的信息,而且p-hacking的后果还没有得到广泛的认识。大量宝贵的时间和资源被用来证明这项研究是不可靠的。我们从这个比喻中学到的是,第一次就正确地进行研究要好得多,这也是严肃的研究人员现在正在努力做的事情。


以防你错过了它:

假冒它,直到你做到它 - 权力姿势寓言.为什么一项研究“证明”了一种增强信心和减轻压力的独特方法是错误的?2010年一项关于力量姿势的流行研究后来被揭穿。但是为什么这项研究一开始就出了问题呢?


加里·n·史密斯

高级研究员,Walter Bradley自然和人工智能中心
加里·n·史密斯是波莫纳学院弗莱彻·琼斯经济学教授。他关于金融市场统计推理和人工智能的研究,经常涉及股市异常、统计谬误和数据误用等问题,并被广泛引用。他是AI妄想(牛津,2018年)和共同作者(用杰伊绳)幽灵模式(牛津,2020年)和数据科学的9个陷阱(牛津2019)。陷阱荣获美国出版商协会2020“流行科学与流行数学”散文奖。

假冒它,直到你制作它 - 权力姿势寓言者第二部分