把12篇已发表论文重新投稿,结果亮了!
1982年,来自美国北达科他大学(University of North Dakata)的Douglas P. Peters 和来自康奈尔大学的Stephen J. Ceci 做了一项实验,我们不妨称之为“重复投稿实验”。这项实验太精彩,以至于我希望有人能把它写进某本教科书。
在这个实验中,他们从12本知名心理学期刊上挑选了12篇美国知名心理学系发表的论文,删除论文中的作者与机构,编造了新的机构名称和作者姓名,然后投稿至这12篇论文原本发表的期刊,结果……
8篇论文被拒了,理由竟然都是方法存在严重缺陷。
作为科学守门人的期刊编辑和审稿人竟然如此靠不住。
且慢,总感觉哪里不对。
原文中的机构是知名机构,原文中的作者是知名作者,而重新投稿的论文中的机构和作者姓名是瞎写的,审稿人在审稿的时候会不会受机构与作者的声誉影响?
有可能。因为这12个期刊都是单盲审稿制度,也就是说,审稿人知道作者是谁,但作者不知道审稿人是谁。
那么,论文质量就那么不重要吗?
有没有可能不是质量的问题,而是之前的审稿人水平太差,让这些论文得以发表,重复投稿时,正好遇到的审稿人水平都比较高。
不太可能。如果审稿人的水平(分高、低两种)是随机分布的,那两次审稿过程中低-高组合的概率是1/4=0.25。也就是说,重复投稿的论文有25%的概率会因为审稿人的水平变化被拒,但实际结果是:12篇论文中有3篇被编辑和审稿人发现是重复投稿,另外9篇送审之后,8篇被拒了。8/9=0.89,这概率也太高了吧(有兴趣的同学可以用非参数假设检验验证)。
有没有可能不是质量的问题,而是审稿人其实读过或者听过这些论文,审稿的时候虽然没发现是重复投稿,但不觉得这些论文贡献新知识了,所以就拒稿了。
不太可能。Peters 和Ceci查阅了拒稿意见,发现几乎都认为方法存在严重缺陷,而没有审稿人认为“内容太老”、“没有贡献新知识”、“相似研究已经有人做过了”等等。
有没有可能不是质量的问题,而是两次投稿时间间隔太久,科技的发展把老的论文淘汰了,所以重复投稿时,审稿人一眼就看出过时了?
不太可能。Peters 和Ceci在挑选样本的时候,特意选了在过去18-32个月之间发表的论文,这个领域(心理学)、这些论文不至于让审稿人一看就觉得太老。
为什么审稿系统发现不了重复审稿?
因为,1982年可能还没有审稿系统,1982年更没有抄袭检测系统。
为什么审稿人发现不了重复投稿?
有没有可能是这9篇论文水平太差,审稿人根本不会读到?不太可能。因为Peters 和Ceci在挑选样本的时候,特意选了心理学领域12个知名期刊。同时,这12篇论文的被引次数都在期刊的平均水平以上。
如果这就是同行评议的真相,我们可以做些什么?
Peters和Ceci在1982年做出的建议如下:
(1)建立数据库。Peters和Ceci在1982年的时候一定没想到,他们关于建立 computer bank (原文的用词)的想法后来被叫做 database。这一点,现在的审稿系统已经实现了,同时,审稿系统里的抄袭检测功能让重复投稿不太可能。
(2)建立对审稿人的评价机制。Peters和Ceci认为可以让作者根据审稿意见对每一位审稿人的水平(是否公正、是否认真、是否具有建设性)进行评价,尽管作者不知道审稿人是谁,但评价结果主编和编辑可以看到。40年过去了,这一机制仍然没有实现。
(3)建立开放同行评议制度。惊为天人!让论文连同审稿意见和作者回复一起发表,这难道不是Nature Communications等少数期刊倡导并实践的Open Peer Review 吗?原来40年多前就被提出来了。这一想法(原文的用词是Open Peer Commentary)是1979年Stevan Harnad提出的,这篇文章值得被记住!
参考文献
Peters, D. P. , & Ceci, S. J. . (1982). Peer-review practices of psychological journals: the fate of published articles, submitted again. Behavioral & Brain Sciences, 5(02), 187-195. Harnad, S. (1979). Creative disagreement. Sciences, 19, 18-20.