「我怀疑同行评审实际上会造成而非减轻Zachary Lipton和Jacob Steinhardt不久之前在文章“Troubling Trends in Machine Learning Scholarship”中总结的怪趋势。」今日,谷歌大脑知名研究科学家、GAN 的提出者Ian Goofellow在Twitter上发表多条信息炮轰同行评审机制。
质疑同行评审
今日,谷歌大脑研究科学家Ian Goofellow发了一条Twitter,引起了大家激烈的讨论:
我怀疑同行评审实际上会造成而非减轻Zachary Lipton和Jacob Steinhardt不久之前在文章“Troubling Trends in Machine Learning Scholarship”中总结的怪趋势。
最近,「同行评审」一直是Reddit上与Twitter上的热门话题,从本科毕业生成为评审到NIPS 2018评审结果的出炉,都引发了AI/ML学者对同行评审机制的讨论。
在这条帖子中,Ian Goodfellow毫不客气地质疑同行评审的作用,认为这种机制会造成而非减缓Zachy Lipton在ICML 2018期间总结的机器学习研究中的怪现状,也就是:
无法区分客观阐述和猜想。
无法确定达到好效果的来源,例如,当实际上是因为对超参数微调而获得好效果的时候,却强调不必要修改神经网络结构。
数学性:使用令人混淆的数学术语而不加以澄清,例如混淆技术与非技术概念。
语言误用,例如,使用带有口语的艺术术语,或者过多的使用既定的技术术语。
同时,Ian Goodfellow的观点也得到了Zachy Lipton的赞同,表示同行评审机制的退化也应该被列在在文章的「原因」章节之下。
之后,Ian Goodfellow接连发了多条Twitter,「嘲讽」评审论文方式:
我常常担任某领域的主席,且自己管理了一个小型研究组织,因此我看过大量评审,包括我们组的研究成果和其他人的研究。
通常评审人员读到实验性论文时会抱怨缺乏「理论」。但是他们却并不要求理论论文来解决任何特定问题。我认为他们就是为了找到一个拒绝的理由——他们略读论文,没有看到论文中的方程。
这可以通过添加无用的数学来解决,评审者通常不会因为其无用而指出来。这样论文就通过了「我略读论文,也看到了方程或矫揉做作的理论名称」的测试。
类似地,评审人员也会在读到一篇关于表现良好的新方法的论文时,因为论文中没有解释为何该方法性能良好而拒绝该论文。
而如果你真的添加了解释,那么不管解释多么苍白,评审人员通常会接受。
评审者往往通过论文的实验部分来理解一个系统的运行方式,并对论文提出抱怨:没有新算法。这个问题可以通过在论文中提出一个实际上完全无关的新方法来解决。
评审者似乎讨厌「科学」论文,但是如果添加一些新的工程方法,则很容易「蒙混过关」。
(后者和其他情况相比不那么常见。我见过一些科学论文得到了很高的评审分数,但却常常被一些会议拒绝。)
没有同行评审有可能带来其他不好的趋势,但是我看到评审者基本上一直是要求作者添加数学原理、虚假解释和虚假的新颖性。
其实,Ian Goodfellow并非在批评同行评审机制本身,而是认为该机制在实际应用中没有做好,「我认为同行评审理论上是个好主意,但在实践中正确地执行非常重要。」
此外,也有其他学科的学者表示,不只是AI/ML社区有Ian Goodfellow所说的问题,生物科学等其他领域也这样。但是,单单的批评并不能解决问题,整个社区需要的是解决方案。
最后小编想问,Ian Goodfellow的NIPS 2018论文也被评审批得一无是处吗?
参考链接:
https://threadreaderapp.com/thread/1023606428966080513.html
【扫描二维码,备注工作单位+兴趣/研究方向,邀您进入德先生学术交流群,定期推送干货文章,解读学术动态,助力登顶学术科研高峰】
📚往期文章推荐
🔗9年从专科读到了研究生毕业!55岁“淦叔”:还将继续考博!
🔗快看什么条件:2018国家“万人计划”青年拔尖人才科技部平台申报启动
🔗日本生物学家登上千元纸钞,中国“疫苗之王”却鲜为人知,这是什么道理?
德先生公众号 | 往期精选
在公众号会话位置回复以下关键词,查看德先生往期文章!
人工智能|机器崛起|区块链|名人堂
虚拟现实|智能制造|专家智库|科技快讯
名人轶事|峥嵘岁月|专题探讨|学术活动
……
更多精彩文章正在赶来,敬请期待!
点击“阅读原文”,移步求知书店,可查阅选购德先生推荐书籍。