Nature论文爆出千行Python代码Bug,或影响百篇学术论文

2019 年 10 月 19 日 机器之心

机器之心报道

参与:张倩、郑丽慧
你的论文借鉴了 Nature 文章的代码? 对不起,论文可能要重新写了。

在 10 月 8 日发表于《ACS Publication》期刊的一篇论文中,来自夏威夷大学的 Jayanti Bhandari Neupane、Yuheng Luo、Rui Sun、Philip Williams 等研究者表示,他们发现了一个《Nature》论文中的 Python 脚本编程错误,这个错误可能会对 150 多篇已经发表的化学论文产生影响。


10 月 8 日发表于「ACS Publication」的论文。作者是来自夏威夷大学化学系的 Jayanti Bhandari Neupane、Yuheng Luo、Rui Sun、Philip Williams 等人。他们在这篇论文中指出了《Nature》论文中的 Python 脚本 bug。


论文地址:https://pubs.acs.org/doi/full/10.1021/acs.orglett.9b03216


论文中提到的脚本名为「Willoughby-Hoye」,用来计算核磁共振图谱的化学位移值。夏威夷大学的研究者发现,在该脚本中,有一个模块是根据文件的排序返回值,但 Python 并没有定义查询的文件顺序。因此,该系统在不同的脚本上会有不同的返回值。


在运行这些脚本的时候,Luo 在不同的操作系统上得到了不同的结果。


他们在实验中使用了相同的核磁共振数据,但结果却出现了显著差异。在 macOS Mavericks 和 Windows 10 上运行该脚本都能得到正确的结果(173.2),但在 macOS Mojave 和 Ubuntu 上运行时,结果却出现了差异(分别是 172.4 和 172.7),与正确结果相差近 1 个百分点。虽然看起来相差不大,但在精确的科研世界里,这一差别就很严重了。


产生这种差异的原因是该脚本使用 Python 的 glob 模块来查找符合特定规则的文件路径名——基于 glob 的结果去生成读取文件列表。但是 glob 的结果又取决于操作系统的文件返回值。于是脚本的计算结果会受到文件处理顺序的影响。夏威夷大学的 Rui Sun 和 Phillip Williams 编写了用来解决这个问题的排序较正代码以保证结果的一致性,代码量达到上千行。


在《Nature》论文中藏身五年的 Bug


2014 年,《Nature》子刊上发布了一篇名为《A guide to small-molecule structure assignment through computation of (1H and 13C) NMR chemical shifts》的化学论文,论文中包含了上文中提到的使用 Python 语言构建的脚本。

2014 年发表于「Nature」的那篇论文。


论文地址:https://www.nature.com/articles/nprot.2014.042


论文中的 Python 脚本下载地址:https://media.nature.com/original/nature-assets/nprot/journal/v9/n3/extref/nprot.2014.042-S2.zip


现任美国里彭学院化学系助理教授的 Patrick Willoughby 认可了夏威夷大学研究者的发现,并且在推特上展示了该团队对脚本所做的更正:


他还提醒道,「如果你在做或依赖核磁共振化学位移方面的研究,那你一定要读一下这篇论文。」


脚本的作者也在 twitter 上表示了对这一发现的赞赏,但他表示,当年写代码的时候,脚本是运行良好的。



他说,「Rui 和 Williams 教授的发现真的非常棒。6 年前我写这个脚本的时候,操作系统能够处理排序问题。Rui 和 Williams 添加了必要的排序代码和函数来确保计算排序一致,给他们点赞!」


这篇 2014 年的论文至今已经被浏览过 1900 多次。Williams 表示,可能有 150-160 项研究项目受到了该 bug 的影响。例如,如果 Williams 用这个脚本错误地计算了样本中的成分,而化学家刚好要用这一结果合成新的分析来研发新药,那他的研究可能从开始就是错的。


虽然 Williams 等人及时发现了这个问题,避免了该 bug 对自己的研究造成的影响,但它可能对其他研究举足轻重。他希望这篇论文能够让科学家们更加关注实验的计算部分。由于已发表的论文中很少提及操作系统,所以这一 bug 产生的影响目前还很难得出定论。


「学术原型代码」VS「工业级别代码」


一般来说,代码并不是一篇学术论文中最被关注的点。所以说,计算机学界及其他领域学界往往不会对代码质量过分深究。这也导致,不管是学术研究者还是业界人士,都能感觉到「学术原型代码」和「工业级别代码」之间的巨大差异。


显然,科研人员们暂时未能成为精于代码的「程序员」。论文中的代码往往存在易读性差、注释量不足等问题,在没有对应技术手册的情况下也常常让读者摸不着头脑。


许多网友也对这一现象进行过讨论:「发 paper 的代码一般多是 quick and dirty, 如果说一个方法很好,希望把整个代码做好做鲁棒,一般要经历哪些步骤?」


最多的回答是:「重写。」


还有一种类似张无忌演习太极剑法的实现方式:「把 paper 看完然后丢在一边,直到完全忘却代码,然后根据记忆,按照工业级标准重写一遍。」


不过相比于工业界的代码,学术论文中代码 bug 的影响毕竟还是有限的。


新西兰惠灵顿维多利亚大学化学系讲师 Rob Keyzers 在今年的一项研究中引用了这篇论文,他表示自己当时确实并不知晓这个 bug。


Rob Keyzers 没有太过担心自己的成果,因为团队在研究中没有使用这项有 bug 的脚本。同时他也补充说:「我们会仔细检查研究数据,以确保没有得出任何不严谨的结论。」


「Nature Protocols」的发言人在一份声明中回应道,他们正在调查夏威夷大学这项研究中所提出的问题,目前处于保密方面的考虑暂不发表评论。

参考链接:
  • https://arstechnica.com/information-technology/2019/10/chemists-discover-cross-platform-python-scripts-not-so-cross-platform/

  • https://www.vice.com/en_us/article/zmjwda/a-code-glitch-may-have-caused-errors-in-more-than-100-published-studies



华为云近期推出精编实战公开课,涵盖机器学习、大数据、运维实战等多项系列课程,由华为云资深工程师倾情讲授,完成理论学习+实践内容还有精美礼品相赠。点击 阅读原文,选择课程,免费报名。


登录查看更多
0

相关内容

夏威夷大学位于夏威夷群岛,它的历史可以追溯到1907年成立的夏威夷农业和机械工艺学院,于1920年正式获得夏威夷大学的名称,夏威夷农业和机械工艺学院并入其中,并逐步扩充至十个校区,形成夏威夷大学系统。玛诺阿分校是夏威夷大学系统的旗舰学校,拥有最大规模和最先进的教学设施。夏威夷大学是一所具备国际水平的研究型大学,学术声誉很高,尤其是热带科学、海洋研究、英语教学、旅游管理、基础科学及亚太地区大众健康等研究。该校的绰号为彩虹战士。
【实用书】学习用Python编写代码进行数据分析,103页pdf
专知会员服务
190+阅读 · 2020年6月29日
还在修改博士论文?这份《博士论文写作技巧》为你指南
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
38+阅读 · 2020年3月9日
49篇ICLR2020高分「图机器学习GML」接受论文及代码
专知会员服务
60+阅读 · 2020年1月18日
【论文】结构GANs,Structured GANs,
专知会员服务
14+阅读 · 2020年1月16日
MIT新书《强化学习与最优控制》
专知会员服务
270+阅读 · 2019年10月9日
Nature 一周论文导读 | 2019 年 6 月 27 日
科研圈
8+阅读 · 2019年7月7日
Nature 一周论文导读 | 2019 年 5 月 30 日
科研圈
15+阅读 · 2019年6月9日
《科学》(20190426出版)一周论文导读
科学网
5+阅读 · 2019年4月27日
Nature 一周论文导读 | 2019 年 4 月 4 日
科研圈
7+阅读 · 2019年4月14日
Nature 一周论文导读 | 2019 年 2 月 28 日
科研圈
13+阅读 · 2019年3月10日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
Nature 一周论文导读 | 2019 年 2 月 14 日
科研圈
7+阅读 · 2019年2月24日
《自然》(20190221出版)一周论文导读
科学网
6+阅读 · 2019年2月23日
Nature 一周论文导读 | 2018 年 5 月 24 日
科研圈
11+阅读 · 2018年5月27日
Nature 一周论文导读 | 2018 年 3 月 29 日
科研圈
12+阅读 · 2018年4月7日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Attend More Times for Image Captioning
Arxiv
6+阅读 · 2018年12月8日
Arxiv
6+阅读 · 2018年11月29日
Feature Selection Library (MATLAB Toolbox)
Arxiv
7+阅读 · 2018年8月6日
Arxiv
8+阅读 · 2018年4月8日
VIP会员
相关VIP内容
【实用书】学习用Python编写代码进行数据分析,103页pdf
专知会员服务
190+阅读 · 2020年6月29日
还在修改博士论文?这份《博士论文写作技巧》为你指南
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
38+阅读 · 2020年3月9日
49篇ICLR2020高分「图机器学习GML」接受论文及代码
专知会员服务
60+阅读 · 2020年1月18日
【论文】结构GANs,Structured GANs,
专知会员服务
14+阅读 · 2020年1月16日
MIT新书《强化学习与最优控制》
专知会员服务
270+阅读 · 2019年10月9日
相关资讯
Nature 一周论文导读 | 2019 年 6 月 27 日
科研圈
8+阅读 · 2019年7月7日
Nature 一周论文导读 | 2019 年 5 月 30 日
科研圈
15+阅读 · 2019年6月9日
《科学》(20190426出版)一周论文导读
科学网
5+阅读 · 2019年4月27日
Nature 一周论文导读 | 2019 年 4 月 4 日
科研圈
7+阅读 · 2019年4月14日
Nature 一周论文导读 | 2019 年 2 月 28 日
科研圈
13+阅读 · 2019年3月10日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
Nature 一周论文导读 | 2019 年 2 月 14 日
科研圈
7+阅读 · 2019年2月24日
《自然》(20190221出版)一周论文导读
科学网
6+阅读 · 2019年2月23日
Nature 一周论文导读 | 2018 年 5 月 24 日
科研圈
11+阅读 · 2018年5月27日
Nature 一周论文导读 | 2018 年 3 月 29 日
科研圈
12+阅读 · 2018年4月7日
相关论文
Top
微信扫码咨询专知VIP会员