同行评审濒临崩溃,一篇审稿报告450美元?科学家不再愿意「用爱发电」
智利的超大望远镜上有一台名叫MUSE的设备,能让研究人员探测最遥远的星系。
它非常抢手,以至于在十月至次年四月的观测季中,全球科学家申请的使用总时长超过了3000小时。
问题来了:这相当于379个通宵的工作量,而观测季总共只有七个月。
就算MUSE是台宇宙时光机,时间也完全不够用。
以往,管理这台望远镜的欧洲南方天文台(ESO)会组织专家团,从海量申请中挑选出最有价值的项目。
但随着申请书的爆炸式增长,专家们也渐渐不堪重负。
因此,ESO在2022年想出了一个新办法:把评审工作下放给申请者。
也就是说,任何团队想申请使用望远镜,就必须同时帮忙评审其他竞争对手的申请方案。
这种「申请者互评」的模式,正成为解决同行评审领域劳动力短缺的一个热门方案。
如今,学术论文越来越多,期刊编辑们叫苦不迭,因为想找人帮忙审稿正变得越来越难。
ESO这样的资助机构,也同样在为找不到足够的评审专家而发愁。
这个系统压力山大的后果是什么呢?
研究质量下滑:许多人指出,现在一些期刊上出现了质量低劣、甚至错误百出的研究,这说明同行评审没能把好质量关。
创新想法被埋没:也有人抱怨,现有评审流程过于繁琐死板,导致一些真正激动人心的好点子拿不到资助。
说实话,这些问题早就存在了。
同行评审从诞生起,就一直被批评效率低下、搞小团体、充满偏见。
数据显示,大家的不满情绪正越来越强烈。尤其是在新冠疫情后,论文数量井喷,进一步加剧了系统的压力。
为了解决问题,人们开始尝试各种新方法,比如给审稿人付报酬,或者提供更清晰的评审指南等。
但也有一些更激进的声音认为,同行评审这个系统已经病入膏肓,变得不可信赖。
他们建议,应对其进行彻底的改革,最极端的想法甚至是——干脆完全废除它。
历史比想象的要短
尽管人们认为,同行评审是科学事业的基石,但今天的评审模式,直到20世纪60至70年代才在各大期刊和资助机构普及开来。
在此之前,稿件的评审方式远没有那么规范。
马里兰大学的科学史学家Melinda Baldwin研究了学术界同行评审制度的发展,她指出,当时有些期刊会采用外部评审,但更多的期刊编辑完全是根据自己的专业知识,或依赖一小撮核心学术专家的意见来决定发表什么。
但随着政府对科研的公共投入大幅增加,论文数量也随之激增。
这促使所有期刊的编辑都开始转向外部评审,以免少数核心专家被海量稿件压垮。
即使今天,外部评审也远非一个统一的标准,它更像是一个五花八门的检查和筛选方法的集合,在不同期刊、不同学科领域和不同资助机构之间都存在差异。
这个在20世纪末期形成的体系,如今正面临着类似的危机:稿件太多,而审稿人太少。
科研体系产出的论文越来越多,但审稿人的储备库似乎增长得不够快。
在2024年的调查中,约3000名受访者里有一半的人表示,过去三年收到的审稿邀请变多了。
激励专家们「用爱发电」?
无论是科研资助机构还是学术期刊,都在进行各种实验,希望能激励研究人员承担更多的审稿工作,并更快地提交评审意见。
尝试一:非金钱激励
一些期刊尝试过公开展示自己的审稿周期,这确实在一定程度上缩短了审稿时间,不过效果主要体现在资深研究人员身上。
另一些期刊则为高产的审稿人设立奖项,但有证据表明,这种奖励反而可能导致获奖者在次年减少审稿量。
还有一个思路是改革科研评估体系。
Springer Nature在今年四月对超过6000名科学家进行了一项调查,结果发现:
70%的人希望他们所做的同行评审工作能被纳入自己的业绩评估中。
但目前只有50%的人表示其所在机构确实这么做了。
尝试二:付费审稿(一场持久的辩论)
终极的激励措施或许是金钱。关于是否应该向审稿人付薪的争论已经持续了多年,正反双方观点鲜明。
支持方认为:这是对审稿人所付出劳动和价值的公平体现。心理学家Balazs Aczel和同事在2021年估算,仅在2020年,全球审稿人就无偿工作了超过1亿小时。如果按学者的平均工资计算,这份贡献价值数十亿美元。
反对方则警告说:付费可能会带来利益冲突和不良激励(比如为了拿钱而草草了事),并且他们指出,大多数学者表示,审稿本就是他们带薪工作的一部分。
越来越多的人开始怨恨为商业出版社提供免费劳动,而后者却借此牟利。
科学诚信顾问James Heathers强烈地表达了这一点。
他在2020年发博客称,他只接受学会、社区或其他非营利性期刊的无偿审稿邀请。
至于那些大型商业出版社,他会开出一张450美元的发票。
他现在开玩笑说,虽然商业出版社的邀请确实没了,但来自非营利机构的邀请却大幅增加了。
付费实验的真实结果
今年,两家期刊公布了付费审稿实验的结果,效果却截然不同。
实验案例1:《重症监护医学》(Critical Care Medicine)
该期刊为每份审稿报告提供250美元。
这项由加拿大政府资助的试验表明,付费确实让审稿人更愿意接受邀请(邀请接受率从48%微升至53%),审稿周期也从12天略微缩短到11天,审稿质量则没有明显变化。
该期刊副主编、加拿大女王大学的重症监护医生David Maslove表示,期刊没有足够的资金来长期维持付费审稿。
实验案例2:《生物学开放》(Biology Open)
相比之下,英国剑桥的非营利组织The Company of Biologists在其期刊《生物学开放》上进行的付费审稿试验取得了巨大成功,并决定将该模式继续下去。
付费金额:每份审稿报告支付220英镑(约295美元)。
回复时间:该期刊明确要求审稿人在4天内给出初步回复,以便编辑能在稿件提交后的一周内做出接收或拒绝的决定。
惊人效果:在试验中,所有稿件都在7个工作日内得到了初步决定,平均处理周期仅为4.6个工作日,而之前标准的审稿流程需要38天。
期刊主编Alejandra Clark表示,编辑部一致认为审稿质量得到了保证。
一些科研资助机构也同样在为寻找评审专家而发愁。
「想找到有时间、有能力、又愿意评估我们项目申请的人,正变得越来越难。」德国基金会Volkswagen Foundation负责人Hanna Denecke说。
这种情况是在他们为评审专家提供近1000欧元(约1160美元)一天报酬的情况下。
今年6月30日,在伦敦的一场会议上,英国多家资助机构宣布了一项成功试验。
结果显示,这种模式评审经费申请的速度可以比传统流程快一倍。
为了打消人们关于「评审人可能会对竞争对手给出负面评价」的顾虑,试验将申请书分成了不同的小组。
评审人只需评审自己小组之外的申请书,因此无法影响自己项目获批的几率。
大众基金会青睐DPR模式的另一个原因是,它将决策权从资深和地位稳固的科学家手中分散出去。
这些资深专家有时就像守门人,可能会把其他人挡在门外。
真正的出路:扩大评审队伍
在申请数量激增的重压下,一些资助机构开始采取所谓的需求管理措施,例如规定某项经费只考虑一所大学提交的一份申请。
但伦敦大学学院的信息专家Stephen Pinfield指出,这只是把评审的负担转移到了别处。
归根结底,要解决资助机构和期刊面临的劳动力问题,最具推广价值的方案是扩大评审专家的队伍。
需要评审的论文增长主要来自新兴科研国家,而评审专家却往往还是从西方那些资深的学术专家小圈子里挑选。
期刊编辑们很自然地会倾向于邀请那些他们认为活干得好、又能按时提交报告的审稿人。
如果贸然扩大邀请范围,最终可能会收到质量较低或不够准确的评审意见。
另一个流行的想法是联合评审,让一位资深学者与一位青年研究人员结对合作。
这种方式既能引入新的评审力量,又能同时对新人进行培训,一举两得。
要让评审更高效,并同时提升质量,一个方法是给评审人提供一系列明确的问题去回答。
这种形式被称为结构化同行评审(Structured Peer Review)。
方法一:结构化评审
2022年8月,爱思唯尔进行了一项试点,要求旗下220种期刊的评审人在评估论文时回答9个具体问题。他们发现:
评审人之间的一致性有所提高:与试验开始前相比,在使用结构化评审后,两位评审人在最终建议上(例如,数据分析是否正确、实验是否恰当)达成一致的可能性更高了。
但一致性依然不高:即便如此,达成一致的比例也仅从试验前的31%上升到了41%。
目前,爱思唯尔已在旗下超过300种期刊中采用结构化评审。
提问的方式似乎还有助于暴露评审人的知识短板。
在这种模式下,评审人更愿意主动承认某些技术环节(如统计或建模)超出了自己的能力范围,建议由其他专家来把关。
方法二:提升透明度
那些推动同行评审系统更加透明化的人士也认为,此举同样可以提升评审质量。
他们鼓励期刊采取两种做法:
将评审报告与最终发表的论文一同公布。
鼓励评审人在报告上署上自己的名字。
支持者认为,这样做可以提升评审报告的地位,从而鼓励更多人愿意撰写评审意见。
Stephen Pinfield也同意公开评审意见可以提升质量:「如果评审人知道自己的评审意见会被公之于众,有理由相信,他们会努力确保评审的质量过硬。」
参考资料:
https://www.nature.com/articles/d41586-025-02457-2
本文来自微信公众号“新智元”,作者:新智元,编辑:英智,36氪经授权发布。