Nature揭露同行评审“强迫引用”黑幕,全球最大学术出版商爱思唯尔展开调查

2019 年 9 月 12 日 新智元



  新智元报道  

来源:Nature
编辑:小芹
【新智元导读】全球最大学术出版商爱思唯尔正在调查数百名同行评审员,怀疑他们故意操纵同行评审过程以提高他们自己的引文数量,并发现433名学者存在“强迫引用”的明显证据。这项调查可能会导致一些研究论文被撤稿。

今天,Nature杂志上的一则新闻在学术圈引起哗然: 爱思唯尔正在就“操作引文”调查数百名同行评审员


爱思唯尔(Elsevier)是全球最大的学术出版商,旗下学术期刊有2500多种,每年出版超过43万篇论文,著名期刊包括《柳叶刀》、《细胞》等。他们正在对数百名研究人员展开调查,怀疑这些研究人员故意操纵同行评审过程,以增加他们自己的被引数量。


更具体地说,他们调查同行评审人员是否存在“强迫引用”(coercive citation)现象,即鼓励受评审论文的作者引用审稿人自己的研究成果,以换取更积极的评审意见


这项调查涉及近55000名学者,最终,分析专家发现其中 433名学者(占被调查审稿人的0.79%)存在“强迫引用”的明显证据 ,即他们所进行的所有评审中,有50%以上的评审意见要求作者引用他们自己的论文,从而提升自己的被引数。


爱思唯尔的调查还发现,其中一些审稿人在自己撰写的研究论文中似乎存在其他有问题的行为。爱思唯尔的分析师说,他们“发现了同行评审操纵的明显证据”,以及学者们不止一次发表相同的研究。这次调查将导致其中一些研究论文被撤稿


不过,爱思唯尔表示,没有必要撤回任何被发现受到强迫引用影响的研究论文,因为作者不对这个问题负责,而且引用受操纵不会影响研究本身。


433名审稿人被高度怀疑“刷引用”,论文可能被撤稿


这项分析由爱思唯尔的分析专家Jeroen Baas和Catriona Fennell进行,这两位研究人员来自阿姆斯特丹。他们分析了为爱思唯尔期刊进行评审的近55000名学者的同行评审活动,目的是找出这些学者评审的论文引用审稿人论文的频率。这项尚未得到同行评议的研究发表在SSRN社会科学研究知识库上。


这项分析的由头是爱思唯尔期刊Geoderma发生的一个案例。2017年,Artemi Cerda(当时是Geoderma杂志的主编)被指控利用职权增加自己和自己编辑的期刊的被引次数。Cerda是西班牙瓦伦西亚大学的土壤科学家,他否认了操纵引文的指控;但欧洲地球科学联盟的出版部门(Cerda也在那里做编辑工作)和爱思唯尔调查了这些指控,并都得出结论,认为他操纵了引文。Cerda最终被要求辞职。


这个事件之后,爱思唯尔修订了编辑指南、编辑合同和审稿人指南,对这种做法提出了警告。


Fennell和Baas的研究发现,在大多数情况下,审稿人自己的研究并没有在他们评审的论文中被引用。在研究样本中,约98.5%的审稿人在他们所审阅的论文中被引用的比例不到10%


但是,有一小部分的审稿人——在近55000名被调查的审稿人中不到1%——似乎总是在他们所审稿的研究中引用他们自己的研究。


这项分析的难点是将审稿人的论文和他们审阅的论文联系起来,为了数据可靠性,最终只考虑了在Scopus数据库中拥有5篇或更多已出版的论文、且评审了5篇或更多投稿的审稿人。此外,所审阅文章和自己撰写的文章没有出现关联引用的审稿人被排除在分析之外,最终,符合这些分析条件的审稿人数量是54821人


在这项分析中,50%的阈值被设置为可疑,也就是说,如果审稿人进行的所有评审中,有50%或以上的审稿意见要求作者引用审稿人自己的论文,那么该审稿人就会被认为可疑


分析分为两个阶段:
  • 第一阶段是通过三个衡量指标,组合其异常值,得到一组1734名审稿人,用于第二阶段的分析。

  • 第二阶段进一步分析,剔除原始论文(原稿)已包含对审稿人的引用的论文,即非审稿人强迫的引用。


其中,有1041名审稿人,50%以上的被审原稿含有一篇或多篇参考文献(见图5)。


图5


进一步分析发现,在260个案例中,50%以上的引用在被评审的论文原稿中没有出现(见图6)。
图6


将260个案例(1041名审稿人中的25%)外推到1734名审稿人中,得到 433名审稿人,占54,821名审稿人的0.79% (更具体的分析过程请阅读论文)


审稿人强迫引用已成学术圈潜规则,为何难以防止?


审稿人强迫作者引用自己的论文已成学术圈不成文的规则,这种做法尽管众所周知的,但其严重程度尚不清楚,在此之前也没有被详细调查过。由于审稿人和作者通常在同一个研究领域,所以在引用方面可能会有一些重叠。但是,看到审稿人的论文总是被他们评审的论文引用,这是可疑的,表明可能存在强迫引用的情况。


为何这种做法难以防止?Jeroen Baas和Catriona Fennell的分析指出,部分原因是由于同行评审的数据通常是保密的,并解释了为什么在文章发表之前没能发现和减少这种行为:


首先,评审意见中的引文推荐通常以特定的格式呈现,这降低了编辑发现它们是错误推荐的可能性。例如:在评审意见中经常提到参考文献的标题,而不提参考文献的作者名字,从而模糊了所有推荐的论文都是由审稿人撰写的这一事实。


Bass 和 Fennell 建议对期刊编辑系统进行改进,如果评审报告要求加上大量参考文献或有审稿人署名的论文,系统就发出警告信息,提示编辑特别关注。


其次,从作者的角度来看,由于作者通常对审稿人的身份一无所知,他们通常认为被要求添加的引文与自己的论文有关。即使当作者发现建议的引用与他们的论文不一致或不相关时,他们也可能会决定,添加这些引文是回应审稿人评论的明智方式


考虑到审稿人可能会要求对提交的文章进行更具挑战性的修改,而作者更倾向于拒绝修改(例如,需要进行额外的实验),所以作者可能会将添加引用视为一个小小的让步。在一个案例中,一名审稿人提交了120份审稿意见,每篇审稿意见都要求添加多个不相关的引文,只有4名作者在论文修改期间拒绝添加引文。


爱思唯尔目前正与期刊编辑联系,询问相关参考文献是否相关。Fennell说,爱思唯尔已经完成了对最可疑的案例的调查,但仍在调查不太严重的案例。


俄克拉荷马医学研究基金会的生物信息学家、《生物信息学》(Bioinformatics)期刊副主编Jonathan Wren说,在操纵引文这个问题上,“需要做些什么”。今年早些时候,《生物信息学》禁止一名学者为该期刊审稿,因为一项调查发现,这名研究人员在每篇评审意见中平均要求增加35个引用,其中90%是他自己作为共同作者撰写的论文。


Wren目前正在编写一种算法,可以自动标记论文中不寻常的模式——包括对某一特定作者的过多引用。他说:“如果我们在论文发表后再对其进行监管,那么你会如何处理这些额外的参考文献呢?”


爱思唯尔正在考虑的一个想法是撤回研究中的个别参考文献,这是前所未有的。另一个选择可能是发布更正


遇到审稿人强迫引用,你会怎么做?


审稿人要求引用自己文献的现象十分普遍,知乎上也有过讨论:



有人吐槽:


亲爱的读者,你遇到过要求你引用自己文献的审稿人吗?你是怎么回应的?

登录查看更多
0

相关内容

专知会员服务
141+阅读 · 2020年6月15日
【快讯】KDD2020论文出炉,216篇上榜, 你的paper中了吗?
专知会员服务
50+阅读 · 2020年5月16日
AAAI 2020放榜,8800篇提交论文创纪录,接收率20.6%
机器之心
8+阅读 · 2019年11月11日
论文h-index过低,ACL2020主席遭匿名攻击
新智元
4+阅读 · 2019年7月12日
KDD 2019放榜,接收率低至14%,你的论文中了吗?
机器之心
7+阅读 · 2019年4月30日
华为和其“公关危机”下的5G发布会
1号机器人网
7+阅读 · 2019年1月27日
排查中国千人计划学者,美对华科技限制再次升级
算法与数学之美
6+阅读 · 2018年9月19日
Arxiv
24+阅读 · 2020年3月11日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
8+阅读 · 2018年2月23日
VIP会员
相关VIP内容
专知会员服务
141+阅读 · 2020年6月15日
【快讯】KDD2020论文出炉,216篇上榜, 你的paper中了吗?
专知会员服务
50+阅读 · 2020年5月16日
Top
微信扫码咨询专知VIP会员