Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >「arXiv就是毒瘤」ACL主席暴论被声讨,网友:我们换个顶会投吧

「arXiv就是毒瘤」ACL主席暴论被声讨,网友:我们换个顶会投吧

作者头像
机器之心
发布于 2023-09-08 03:17:33
发布于 2023-09-08 03:17:33
5210
举报
文章被收录于专栏:机器之心机器之心

机器之心报道

编辑:泽南

Yann LeCun 都看不下去了。

「arXiv 是个毒瘤,它以貌似实物出版的形式促进垃圾『科学』的传播,并一直在宣扬盲目跟风 + 任何超过 6 个月的内容都过时了的计算机科学文化。」

华盛顿大学教授、ACL 2023 大会副主席 Emily M. Bender 前些天的一番言论引突然起了轩然大波。

说 arXiv 坏了研究风气,那我们每天都在刷的是什么?哈佛大学教授 Boaz Barak 表示,arXiv 在推动科学进步和扩大科学参与方面所做的工作比所有匿名干预措施都要多得多,任何阻碍 arXiv 的政策不仅是愚蠢的,而且还会对科学进步和包容性产生反作用。

他的观点得到了深度学习巨头 Yann LeCun 的支持。

要说 Emily Bender 的观点,其实并不是完全没有道理。毕竟 arXiv 是一个几乎不审稿的平台:如果向学术会议或者期刊投稿,在审稿期间作者是不具名的,而在 arXiv 上人们总是不由得去关注大牌研究机构和学者。但自从昨天发生的那件事之后,讨论的风向已经彻底一边倒了。

要说清楚来龙去脉,先得看看昨天 AI 社区里闹得沸沸扬扬的 ACL 论文被拒事件。

纽约大学博士后 Naomi Saphra(师从 Kyunghyun Cho)9 月 4 号在 X 上发了一贴,说自己刚刚被国际自然语言处理领域顶会 ACL 拒稿了。这是她第一次带学生提交大会论文,她之前还告诉第一作者 NLP 的顶会相比机器学习会议更加平易近人。在审稿期间,一作花费了大量精力进行 rebuttal,实验结果支持论文的想法。

但重点在于,最终拒稿的原因是她在大会投稿的匿名政策 deadline 后才把论文提交到了 arXiv 上。

「ACL 这个政策伤害了刚入门的研究人员,让这个大会背离了 NLP 领域,」Naomi Saphra 表示。

有关 AI 顶会在审稿时禁止宣传论文的争议由来已久,因为如今在 AI 圈内很多人会有天天盯着预印版论文平台 arXiv 的习惯,毕竟这个平台更新的频率以天计。相比之下,一年一开的顶会研究公布的速度就慢得多了。

而 AI 领域,正是个「一天不看新闻就会落后」的地方。

Naomi Saphra 的抱怨发出后,人们开始声讨当前 AI 顶会让人讨厌的政策。

著名机器学习研究者、威斯康星大学麦迪逊分校助理教授 Sebastian Raschka 研究了一番表示,该论文并不是因为错过大会论文提交 deadline 几分钟才被拒的,而是因为它晚了几分钟才提交给可选的第三方预印版论文平台,这是什么道理?

「以前他们不允许人们在网上谈论自己的 arxiv 版论文,现在他们还能限制人什么时候可以上传到 arxiv 了?」

Sebastian Raschka 找到的审稿政策具体来说是这样:在 ACL 2023 上,以直接方式提交的论文存在一个匿名期,不准在预印版论文平台上署名公开。指定时间在 arXiv 上是指提交时间,而不是 arXiv 上的公开时间。

滑铁卢大学教授 Gautam Kamath 也表示,我认为这个政策很愚蠢,而实际执行起来却比想象得还要糟糕。

你看,他现在已经等价于给你规定了一个上传 arXiv 的 deadline, Naomi Saphra 等人的论文正是因为错过了这个时间而被拒稿了。

Boaz Barak 讽刺道,难不成论文作者要在审稿结果出来之前去修道院呆一呆?

现在是大模型时代,NLP 领域的竞争已经非常激烈,很多年轻研究者的职业生涯需要仰赖自己的作品出现在曝光量较大的空间,期待能被更多人引用。现在 AI 顶会的做法看起来与之背道而驰。

按说 ACL 等会议的初衷,显然是为了促进学术交流,推动先进研究的发展。然而折磨人的政策甚至让大家开始对大会本身的权威性产生了质疑。

谷歌 VP Fernando Pereira 说道:ACL 早就不学术了,现在是走官僚机构的路线。

爱丁堡大学博士生符尧就表示,我今年连开了 ACL 和 ICML,两者对比鲜明,ACL 2023 的内容基本都过时了至少一年以上,而 ICML 的内容充满了对未来的展望。年轻一代的 NLP 研究者们如果想要有未来,就把文章投给 NeurIPS/ICLR/ICML。

有人指出,导致 Saphra 这次论文被拒的条款可以追溯到 2017 年。相对于飞速发展的 AI 技术,AI 大会的规则发展似乎显得比较缓慢。

有意思的是,ACL 其实改得并不慢。自 2022 年起,ACL 启动了一种「滚动审稿」的机制 ACL Rolling Review(ARR),类似于期刊的审稿流程。最近 ACL 更改规定,2024 年的大会完全取消了直接投稿,大家只能选 ARR 投稿了。

要是在以往,直接提交到 ACL 大会的论文可以采用常规审稿流程:一篇论文被 3 位或以上的审稿人审稿,作者可以提交作者回复以回应审稿意见,论文录用之后作者可以进行终稿的编辑修改。

而在 ARR 机制下,投稿的论文会被高级领域主席(SAC)进行处理,作者可以提供作者回复,但不能修改论文。论文需要获得所有的审稿意见和综合审稿意见(meta-review),并在截止日期之前提交到 ACL 上,内容不能修改,但可以附带作者回复的内容。在提交到 ACL 之后,不能再次修改并提交到 ARR(除非大会给出录用结果)。

看起来,未来的 ACL 会继续向多轮审核的方向发展,这是在向学术期刊靠拢。

不过滚动审核终究是无法赶上 arXiv 的速度,如何才能做好研究先进、审核严谨与公平的平衡,我们现在还没有个答案。

参考内容:

https://2023.aclweb.org/calls/main_conference/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-09-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
ACL被骂惨!官方被迫低头,发起投票取消匿名政策
1. 从前,作者被禁止在审稿期间公开发布论文的非匿名版本(尤其是提交日期前一个月到accept的匿名期间)。
新智元
2023/09/19
4210
ACL被骂惨!官方被迫低头,发起投票取消匿名政策
纽大博后被顶会ACL拒稿,只因arXiv迟交半小时?学者圈震怒,发誓再也不投ACL
纽约大学博后研究员Naomi Saphra表示,自己刚刚从ACL那里收到了一份直接拒稿,因为在匿名截止日期之后,这篇论文(署名)仍然被提交到了arXiv上,仅仅晚了30分钟。
新智元
2023/09/09
4330
纽大博后被顶会ACL拒稿,只因arXiv迟交半小时?学者圈震怒,发誓再也不投ACL
终于,NLP顶会ACL投稿不用匿名了
近日,计算语言学协会年会(ACL)正式宣布,该系列会议论文投稿已取消匿名期,同时允许作者在投稿期间宣传自身工作。新规定直接适用于下一个审稿周期。
机器之心
2024/01/17
7430
终于,NLP顶会ACL投稿不用匿名了
各大佬抨击ICML审稿太随意:LeCun三篇全没中,马毅说以后再也不投了
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 顶会ICML结果一出,掀起一片混乱。 LeCun分享自己的“战果”:三篇全没中,推特上就没看到有谁中了的。 UC伯克利教授马毅也表示今后不再投ICML了,评审非常随意、不透明,最大的担心是学生开始迎合评审人的口味。 以往学术会议放榜之时,往往呈现“几家欢喜几家愁”的局面。 今年愁的一方却格外的多,画风也格外离谱。 有人收到的的说法是: “统一框架看起来很新颖,但审稿人并未完全被这一贡献说服”。 前后矛盾,让他开始怀疑这人有没有读过自己写出来的东西。
量子位
2022/05/17
3970
各大佬抨击ICML审稿太随意:LeCun三篇全没中,马毅说以后再也不投了
CVPR新规严禁审稿期间公开宣传论文,可发arXiv,LeCun:疯了吧!
机器之心报道 编辑:蛋酱、泽南 打击投机取巧行为。 除了标题各种 all you need 之外,投稿之后在推特知乎上宣传一波,油管上发个介绍视频现在几乎是 AI 顶会热门研究的「标配」。在社交网络如此发达的今天,「酒香不怕巷子深」的美好世界看起来越来越难以实现了。在论文水平差距不大的情况下,PR 能力成为了不少人比拼的方向。 但众所周知,自我宣传有可能影响到审稿人的判断,进而让身处大型实验室的研究者们更容易获益。最近几天,人工智能领域最热门的会议 CVPR 决定拿社交媒体开刀了。 在近日召开的 CVPR
机器之心
2023/03/29
8480
CVPR新规严禁审稿期间公开宣传论文,可发arXiv,LeCun:疯了吧!
深度学习先驱Bengio:AI顶会论文的Deadline是时候取消了
Yoshua Bengio:深度学习先驱,蒙特利尔大学计算机系教授,2019 年图灵奖获得者。
机器之心
2020/03/11
6910
深度学习先驱Bengio:AI顶会论文的Deadline是时候取消了
明年AI学术会议投稿规模炸裂!注意ICML 2019的这些变化
随着人工智能的火热,当前 AI 领域的学术会议也受到越来越多的关注,而这些学术会议的投稿规模也不断超越往届,据网友统计,近期 AI/ML/NLP/CV 顶会投稿规模分别为:EMNLP2018: 2137 篇;NIPS2018: 4900 篇;AAAI2019: 7700 篇;CVPR2019: 5100 篇。
机器之心
2018/12/21
9050
明年AI学术会议投稿规模炸裂!注意ICML 2019的这些变化
对话程序主席黄萱菁:EMNLP从投稿到接收,我们是如何工作的
作者 | 琰琰 编辑 | 青暮 近日EMNLP 2021在多米尼加共和国闭幕,今年EMNLP收到有效投稿3717篇,中国大陆投稿1137篇,接收207篇,接受率为18%。作为NLP四大顶会之一,EMNLP备受国内学者青睐,投稿量连续多年超过美国位居榜首。 EMNLP 由国际自然语言学会(ACL)下属的 SIGDAT 数据小组创办,在全球NLP顶会排行榜上位居第二,会议质量仅次于ACL。比较而言,ACL会议历史悠久,兼顾语言探索与经验方法,是综合质量最高的会议;EMNLP更聚焦NLP算法在各个领域解决方案的学
AI科技评论
2023/04/26
9360
对话程序主席黄萱菁:EMNLP从投稿到接收,我们是如何工作的
严禁一稿多投:NeurIPS 2019刚刚毙掉了19篇论文
改一改再投也不行?NeurIPS 的程序主席们表示他们还在审查一些疑似与其他 AI 学术会议投稿雷同的论文,未来拒稿的数字可能还会增加。
机器之心
2019/08/01
8180
严禁一稿多投:NeurIPS 2019刚刚毙掉了19篇论文
论文审稿意见太奇葩?NeurIPS 2021:把它曝光出来给人看
机器之心报道 编辑:泽南、小舟 江湖上出现过各种「荒谬」的拒稿理由,但以后审稿人在说出口之前可要掂量掂量了。 「审稿随意,打分随缘,给出的意见看起来不像是了解本领域的」、「审稿人让我对比还没有发布的论文」每次机器学习顶会的论文接收结果出炉之后,我们都会在社交网络上见到研究者们吐槽奇葩审稿意见的声音。 因为 AI 领域的火热、顶会论文提交量的暴涨,论文投稿和审稿之间的矛盾正显得愈发突出。 在知乎问题「如何评价 NeurIPS 2020 的审稿质量和论文接收结果?」下,一个匿名的回答。 在过去的五年内,大
机器之心
2023/03/29
9240
论文审稿意见太奇葩?NeurIPS 2021:把它曝光出来给人看
12.6%!IJCAI 2020接收率断崖式下跌,但还是有华人大佬中了三篇
人工智能顶会 IJCAI 2020 论文接收结果出炉了,但大部分小伙伴却高兴不起来。
机器之心
2020/04/22
1.2K0
ICML 审稿人怒了,不要论文没写完就投稿!
ICML作为国际机器学习大会在一些学者心中的地位很高,不仅因为它是所谓的顶会,更因为它在论文评审方面所做的一些开创性的工作。
AI科技评论
2020/03/20
1.6K0
ICML 2022审稿结果遭「围攻」,Yann LeCun:我投了3篇,被拒了3篇
机器之心报道 编辑:蛋酱 审稿这件事,总会有人是不满意的。 刚刚,图灵奖得主Yann LeCun在推特发布了一条动态:「投了3篇,拒了3篇……如果从推文统计的话,ICML今年应该拒绝了每一篇论文。」 是的,ICML 2022的审稿结果,已经在这几天通过邮件发送给各位作者。 这届ICML共收到5630篇提交,其中1117篇被接收为短论文,118篇被接收为长论文,接收率为21.9%,与上一年的接收率(21.5%)基本持平。 根据以往的经验,很多论文被接收的作者会在社交媒体平台公开介绍自己的研究。但
机器之心
2022/05/17
8770
ICML 2022审稿结果遭「围攻」,Yann LeCun:我投了3篇,被拒了3篇
NeurIPS 2020论文评审结果出炉,提前拒稿、作者审稿惹争议,网友:改投别家吧
经历了两次 deadline 推迟之后,NeurIPS 2020 的论文评审结果终于出来了!一如既往,评审结果一出就引发了大量吐槽。
机器之心
2020/08/11
7480
NeurIPS 2020论文评审结果出炉,提前拒稿、作者审稿惹争议,网友:改投别家吧
你的论文能否中顶会?这篇分析同行评审结果的论文可帮助你
选自arXiv 作者:Dongyeop Kang等 机器之心编译 参与:Nurhachu Null、李亚洲、李泽南 在人工智能领域,会议论文是证明研究人员学术水平的重要一环。是否存在一些「技巧」可以提高论文被大会接收的几率?人工智能是否可以帮助我们?近日,来自卡耐基梅隆大学(CMU)研究者们收集了上万篇 AI 顶级会议的接收/被拒论文,并使用机器学习工具进行分析,获得了一些有趣的结果。最后,当然……这一研究的论文已经被即将在 6 月 1 日于美国举行的自然语言处理顶会 NAACL 2018 接收。 项目
机器之心
2018/06/08
9050
顶会竟然攀比起了拒稿率?UCB教授发文怒斥「挑刺式审稿」
---- 新智元报道   编辑:David 好困 【新智元导读】这几年,计算机顶会的论文接收率连续走低,不到20%都快成家常便饭了,难道真是「接受率越低,会议越顶」? 与大多数学科不同,在计算机科学领域,会议论文的分量比期刊论文分量更重。 有趣的是,现在的CS顶会们,似乎对「接收率」有一种近乎偏执的追求。 好像这个数字越低,自己就越厉害一样。 举个例子: IJCAI的接收率,在2019年突破20%大关,达到了17.9%。并在次年以12.6%的接收率,刷新了最低纪录。此后的两年,接收率有所回升,分别为1
新智元
2022/08/29
4680
顶会竟然攀比起了拒稿率?UCB教授发文怒斥「挑刺式审稿」
参与的论文即将中顶会,但我发现了数学错误,到底该不该说?
机器之心报道 作者:张倩 自己参与的论文得到顶会审稿人的赞赏本是一件值得开心的事,但 Reddit 上的一位网友却表示,ta 怎么都开心不起来。 这位网友在帖子中写道: 我与另一个机构某研究小组提交的一篇 ICML 论文有直接关系。在经过最初的审阅后,我意识到论文所依据的基本定理存在客观的数学错误。 对于这一子领域的任一研究者来说,找到违反这一定理的一个反例都毫不费力。但令人意外的是,居然没有一个审稿人发现这个错误,甚至还给出了极高的评分(大概率是接收了)。 由于我只在研究初期参与了这篇论文(比如
机器之心
2023/03/29
4230
参与的论文即将中顶会,但我发现了数学错误,到底该不该说?
ICML 2019论文录取Top100:谷歌霸榜
据了解,今年ICML共提交3424篇论文,其中录取774篇,论文录取率为22.6%。录取率较去年ICML 2018的25%有所降低。
磐创AI
2019/05/17
5600
ICML 2019论文录取Top100:谷歌霸榜
AAAI 2019评审惹争议!“好论文”遭退稿?程序主席回应
人工智能“The”顶会之一的AAAI 2019论文录取结果昨日公布,16.2%,可以说是AAAI录取率最低的年份之一,更何况今年的投稿数量高达7745篇,比去年相翻了一番!
昱良
2018/12/11
1.5K0
AAAI 2019评审惹争议!“好论文”遭退稿?程序主席回应
负起责任、审慎对待论文创新和性能指数,ACM Fellow罗杰波教授分享他的审稿经验
如何客观地审阅 AI 领域的论文,以及如何确保审阅出来的论文足够公正并使论文作者没有异议呢?对于这个话题,每个研究者想必都有自己的理念和方法。
机器之心
2020/07/21
4440
推荐阅读
ACL被骂惨!官方被迫低头,发起投票取消匿名政策
4210
纽大博后被顶会ACL拒稿,只因arXiv迟交半小时?学者圈震怒,发誓再也不投ACL
4330
终于,NLP顶会ACL投稿不用匿名了
7430
各大佬抨击ICML审稿太随意:LeCun三篇全没中,马毅说以后再也不投了
3970
CVPR新规严禁审稿期间公开宣传论文,可发arXiv,LeCun:疯了吧!
8480
深度学习先驱Bengio:AI顶会论文的Deadline是时候取消了
6910
明年AI学术会议投稿规模炸裂!注意ICML 2019的这些变化
9050
对话程序主席黄萱菁:EMNLP从投稿到接收,我们是如何工作的
9360
严禁一稿多投:NeurIPS 2019刚刚毙掉了19篇论文
8180
论文审稿意见太奇葩?NeurIPS 2021:把它曝光出来给人看
9240
12.6%!IJCAI 2020接收率断崖式下跌,但还是有华人大佬中了三篇
1.2K0
ICML 审稿人怒了,不要论文没写完就投稿!
1.6K0
ICML 2022审稿结果遭「围攻」,Yann LeCun:我投了3篇,被拒了3篇
8770
NeurIPS 2020论文评审结果出炉,提前拒稿、作者审稿惹争议,网友:改投别家吧
7480
你的论文能否中顶会?这篇分析同行评审结果的论文可帮助你
9050
顶会竟然攀比起了拒稿率?UCB教授发文怒斥「挑刺式审稿」
4680
参与的论文即将中顶会,但我发现了数学错误,到底该不该说?
4230
ICML 2019论文录取Top100:谷歌霸榜
5600
AAAI 2019评审惹争议!“好论文”遭退稿?程序主席回应
1.5K0
负起责任、审慎对待论文创新和性能指数,ACM Fellow罗杰波教授分享他的审稿经验
4440
相关推荐
ACL被骂惨!官方被迫低头,发起投票取消匿名政策
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档