实验室的故事（二）

三个故事中有三种坏坏的审稿人。

一，读不懂的审稿人

上次实验室故事（

传送门

）讲到自己和博后色泽兰一起提交的机器学习论文，审稿人的意见（review）并不积极，但主要是因为审稿人对我们的方法存在误解。

在和其他共同作者讨论review的时候，色泽兰用了“reading comprehension”这个词，忽然把我带回学英文的回忆：通读全文，做些选择题。本来考察阅读者理解能力的，现在却是考察审稿人。作者就像是在给审稿人出题一样，review就像他们的读后感。可真正被评审的是写稿的，而不是读稿的。

我们精心书写了反驳（rebuttle），解释了误会，同时在审稿人的质疑下，研究出了我们提出的方法的一些理论优势，改进了论文质量。希望审稿人可以改变主意。

几天之后受到最终结果，还是被拒了。

三个审稿人，其中一个审稿人没有更新意见（可能是没看我们的反驳），另外两个都少许提高了评分，并表示对误解感到抱歉。最后平均分在弱接受以上。但最后决定是否接受的还是领域主席（area chair）。主席给出了令人无法置信的最终评审（meta-review）：方法挺新的，但是实验结果不够好，希望作者们继续努力。

这个我真的不服。我们用了三种不同的指标衡量我们和其他方法的好坏（一般的论文只用一种），其中一个指标上我们完虐其他方法。

沉淀于骨子里的（或许有点畸形的）中国传统文化教导我，要谦虚，尊重别人的意见，有则改之，无则加勉，有时难免会让我质疑自己的能力。毕竟，要想挑，怎么挑都能挑出毛病，或许可以让自己再进一步。可是如果文章写得很清楚了，审稿人看的不仔细引出误会，终审又如此轻视。色泽兰和这个论文的老师亚瑟也对终审表示质疑，或许不应该认输的时候呀，就要坚持己见，也不该把被拒的原因归咎在自己身上。

但那又怎么样，只能接受，下个会再投呗。记得学姐的一篇比较有新意的论文，因为和现有方法风格差别太大，也是遇到了几个看不懂的审稿人，而且被一年所有的顶会都拒了一圈，最终在第二年的NIPS上被接受。再不济就走学姐的路呗，一遍遍投直到中了为止……

二，太激动的审稿人

去年年底又给神经科学会议COSYNE提交过一篇两页纸的摘要。提交之前老师要求很苛刻，一遍遍改，把实验涉及做到了最好。开始我还觉得，方法有就够了，实验不用做的太完善，毕竟两页纸的空间也无法把太复杂的实验描述得清楚，但我还是按照老师的要求做了。老师下线睡觉了之后，我又花了几个小时时间完善写作，凌晨3点交的稿。

几周前的周日收到了这个会议的评审：得分在1000多分提交中排名前6%，正在被考虑作为报告（talk）展出。

这么好的结果完全出乎自己预料，也是在之前机器学习论文被拒后收到的相当大的鼓舞。三个评审给出了很高的评分和正面的review。其中一个还直接表示说，非常想看到这篇内容的talk。

出于一些其他原因，是不是talk还在考虑中。

但即便如此，我还是忍不住做白日梦。如果真的有talk，那可以说是读博期间的小巅峰——那是在几百个来自世界各地学者瞩目的讲台。但是准备一个talk所花的精力也是相当大的。两年前，丽雅就获得了这个会议的talk，在准备期间，幻灯片（不是ppt…）就改了好几版。为了避免紧张而手抖，她打算不使用激光笔，做了特别复杂的动画高亮。在实验室内部做了两三次模拟报告，每一次的幻灯片基本都像是重新做的。但与此同时，她和老师也在进一步改进方法，需要做更多的实验，如果方法让结果有改进，幻灯片又得重做，经受着双重压力。

这么一想，还是准备板报轻松一点……

但白日梦做的再好，我自己有点不太相信自己会有报告，因为自己的工作还只是一套关于大脑如果进行时序数据学习的理论，还没有生物数据进行佐证。而以往的talk基本都包含理论加生物实验。而且我越想越觉得，三个评审都是做理论的，并且看懂了，一激动了给个高分。我确定这个理论是很有价值的！

好消息传的很快，到了学校，我自己还没说就收到了同学们的庆祝。聊天中又得知，因为我的老师会在会上受邀做一个比较长的报告，因此同实验室的学生可能就不会有talk，这是一个为了促进内容多样性而存在的不成文惯例。这可能就是为什么得分高的摘要也是被“考虑”的原因吧。

见到老师，我说，我很惊讶自己获得talk，毕竟没有生物实验数据。

老师对我的惊讶感到惊讶，说，没关系的，如果有talk你就去找点数据呗。

离会议开始只有一个多月，这么短时间去找数据？看来很多自己认为难（或者确实很难）的事对于老师来说都是可以挑战的。想到自己在写稿时老师让我对实验设计不断提升，自己之后又坚持打磨写作，获得这样的结果似乎也是应得的。两年前丽雅在准备报告的时候，估计也是受到了老师高标准严要求。但是这又怎样呢，有了好机会就一定要抓住，最大限度完善自己的工作。如果可以让听众或审稿人理解，这些努力都会是值得的。

三

不仔细的审稿人？

上周看到了一篇特别有意思的论文，光是标题就几乎枚举了所有机器学习的热门词汇。作者是几个国内名校的佼佼者，他们提出的方法基于坚实的理论，虽然最后在现实使用中并没有完全依照理论的体系进行，但整体看起来还是非常有新意的，而且实验结果突出。

准备在组会上讲这篇论文，可是在一个很关键的公式上，自己无论如何都推导不出。会上，在场的同学和老师也都无法推导出这个公式。我又问了同办公室数学基础比较强的暗黑后辈，他开玩笑说，要超过我的老师把这公式推出来。过了一个小时，他给我回复说：我没超过你老师。

这个公式是该方法至关重要的一步。论文中诸多公式都附有推导，唯独这个公式没有附，不得不让我怀疑是不是作者在隐藏瑕疵？因为这篇论文的review是公开的，我就去看了审稿人有没有提到这个公式，结果没有找到。难道三个审稿人都没有尝试去推这个公式吗？还是说我们实验室这么多人都弱爆了……？

如果确实是我们能力有限推不出来，那或许很多人都应该有同样的疑问，作者应该附上推导。不得不猜测，审稿人看到了很好地结果。就没有去管这个公式的细节。

四，给个面子

审稿人的活儿也不好干，要第一时间读懂最新成果，同时还得无偿劳动。可能审稿人认为一篇论文的价值在当下还不够明显从而拒绝，可能因为审稿人一时激动从而把没有特别突出的论文打了高分，也或许审稿人意识疏忽偷懒，只看结果而不管数学的严谨。既然审稿过程的随机性如此之大，那论文被接受或者拒绝（特别是会议）的意义也应该加一个比较大的不确定性。