如何评价AAAI 2020的审稿情况？

谈谈我的个人感受。今年做AAAI的SPC，负责了20篇论文的meta-review。昨天录用结果出来了，有些公众号文章提到社交媒体上作者对高分被拒的质疑。我感觉，这个问题还不能一概而论。PC Chairs曾专门发来指导邮件，强调：

We really rely on you to form your own opinion of the papers and ask hard questions of the reviewers. *Don’t* just average out the scores and let that determine the decision. This is always true, but it is especially true in the context of today’s AAAI. As you are aware, we recruited very hard to keep loads reasonable. As a result, the qualifications of the reviewers are varied. We rely on you to calibrate for this.

所以，SPC和AC都需要根据论文和审稿意见形成自己的意见，提供录用与否的决策依据。

从我负责的这20篇论文来看，其中有两篇论文在首轮审稿中获得超高分（8-9分）但也有低分。从低分意见中可以看到对数据集裁剪和实验设定的质疑。恰好这两篇都是我们课题组研究过的方向，对数据集特性和实验设计等环节都比较了解。仔细看了相关部分，确认其中一篇存在数据集裁剪却没有给出信服的理由，另外一篇自己方法的评测标准与已有工作不一致出现效果奇高的结果。经过讨论环节与各审稿人交流，审稿人分数进行了调整。

所以，高分被拒不见得一定是meta-reviewer或ac不靠谱，也有可能是给高分的reviewer是大同行，并不了解研究问题细节，换我也很难对从来没研究过的任务的评测设定或数据集有专业评判。而魔鬼就在细节之处，有的论文正是在这些细节之处做一些与前人工作不同的操作从而能让实验结果好看，而这些操作往往在文中只是一两句轻轻带过，不了解任务特性的学者很难注意到。如果在这个过程中，不是恰好有人了解这些研究问题的细节，有些存在严重缺陷的论文可能就被录用了。这也是为什么我特别推崇open review机制，至少可以通过提供公开讨论的平台，让论文得到更多同行的检阅。

不过面对8000篇海量投稿，无论如何都很难找到那么多合适的小同行来评审了，考虑到今年这么巨大的工作量，感觉AAAI 2020的PC Chairs们已经非常尽力了，期间收到他们无数提醒邮件；我个人而言，这期间也算尽力不断找同事同学帮忙检查要点，尽所能让那些真正优秀靠谱的论文得到录用。

从这个角度讲，假如开展的是NLP等方向经典任务研究（即有标准任务设定，有标准数据集，有较多已有方法需要定量比较），也许投ACL、EMNLP、NAACL等专门会议能够得到更专业细致的审稿意见。毕竟我们开展研究发表论文的初心还是推动学科发展，而不仅是为了评职称拿文凭，共勉。