机器人

ACL 2020 录用结果出炉投稿破3千史上最火NLP顶会你中了吗

作者 蒋宝尚

编辑 贾伟

 

ACL作为国际计算语言学协会是是自然语言处理领域影响力最大、最具活力的国际学术组织之一。
昨日ACL2020 录用结果落幕,超过3000篇的投稿数量,可以说是历史以来最盛大的一届ACL。

据ACL官推介绍,关于ACL2020论文是否录用的通知已经给作者发了邮件,没有收到消息的作者可以给会务组发邮件询问情况。

关于整体的录用率,录用论文领域的分布,官网尚未有更多信息放出。不过,对比ACL 2019的25.8%的录用率,ACL 2020 想必也不会相差太多。

网友评论:审稿人很负责,意见很中肯

据知乎话题《如何看待ACL 2020录用结果?》中答者披露,很多作者的论文,原本是拒绝的状态,但是经过精心准备的rebuttal,评分在边缘的论文得分也有小小的提高。

每个回答问题的网友也都对这次ACL的评审工作称赞不绝,即使文章未被录用的作者也评论:审稿人很负责,意见很中肯。

例如,网友廷羽经过rebuttal,最终将3.5,3.5,2.5的得分争取到能够录取的4,3.5,3.5。

当然,也有些作者,经过rebuttal之后得分下降的~

有网友建议,遇到没看懂或者找茬的评审意见,要以耐心解释为主~

还有,因为中了ACL,男女朋友感情出现危机的~

多级评分的ACL2020,为质量保驾护航

此次ACL2020的审稿周期从19年的12月9日一直到20年的4月3日接近4个月时间,比往年的2个月宙稿时间几乎加倍。ACL在审稿规范、质量方面都算如今AI会议的翘楚之一。能通过ACL的评审的工作,在实验严谨性、思路创新性上是有很不错的保证的,这无疑是对科研人员工作的一个肯定。

据ACL官网介绍,在评审员在评审过程中会主要回答四个问题:1、这篇论文的主要内容是什么,有什么样的贡献,优缺点是什么?2、接收理由3、 拒绝理由4、整体评价

其中整体评价分为多个档次:5=开创性、4.5=令人兴奋、4=强烈、3.5=倾向于录用、2.5=倾向于拒绝、2=平庸、1.5=弱、1=糟糕。

没有3分这个档次,也就是说评审人员必须对论文采取倾向性的评价。 打分之后,评审员要再次确定自己的评审意见,这一步也称为评审人的置信度,置信度分为5个档次:

5=我确信我的评价是正确的。我仔细阅读了论文并且对相关工作非常了解。

4=非常确定。我试着去仔细检查重要点。我不太可能会漏掉一些影响评价的要点。

3=比较确定。不过我有可能会漏掉一些内容。虽然我整体上对该领域有所了解,我没有仔细检查论文细节。

2=愿意为我的评价辩护,但很可能我漏掉了一些细节,没能理解论文中心点,或者不太确定本文的创新性。

1=不是我所熟知的领域,或者论文对我来说难以读懂。我的评价基于经验性猜测。

ACL官网:7月份的会议线上举行

同样,据4月4日官网新闻介绍,计划2020年7月5日在美国西雅图举办的线下会议,全部搬到网上来举行。

原因是为了应对COVID-19,更多细节并未公布,不过会在接下来的几周内公布注册事项以及在线会议的情况。

亲爱的ACL2020社区:

希望您和您的家人都能平安无事。

我们现在可以确认,为了应对COVID-19,我们计划7月5日-10日的ACL 2020会议,将在线上举行。

我们知道,社区里有很多人正在因这场大流行病而遭受巨大的困难。我们希望在这个困难的时刻,我们可以一起努力,建立一个新型的ACL会议。今年的ACL会议将聚焦更多的可持续性,扩大知识交流的机会,并更多地纳入来自全球各地的不同贡献。

我们将有预先录制的讲座和全套的tutorials和研讨会,并策划各种现场活动,如答疑会、辅导、招聘会和走廊对话空间等。这将是一次挑战,但也是一次无形中走到一起的机会,我期待着与ACL2020组委会的全体成员一起努力,举办一次富有启发性和意义的会议。

我们会从其他在线会议主席那里获取建议(他们已经提供了巨大的帮助),并从现在和过去的在线会议中吸取所有的经验教训。在即将举办的线上会议中,我们会看到每个人的坚韧、热情和积极向上的精神,以及整个ACL社区的配合精神。

我很感谢能够和大家一起努力,让ACL2020成为我们所有人的梦想!我们将在接下来的时间里发布更多的细节。

我们将在未来几周内公布更多的注册细节,并在不久后公布更多关于虚拟会议的细节。

祝愿大家身体健康。

Dan Jurafsky,总主席,代表ACL2020组织委员会全体成员。

ACL 2020 投稿破三千,有多少人在做NLP呢?

ACL是语言学协会,这个会议的爆火本身就代表了自然语言处理的研究热度,那么历届 ACL 都接收了多少文章呢?当前做NLP的研究人员数量在什么量级呢?目前最热的研究领域是什么呢? 雷锋网曾经报道了《ACL 2020投稿破 3 千,到底有多少人在做 NLP 研究?》回答了这个问题。 1、历届 ACL接收情况 下图是近 20 年来 ACL 大会论文投递数量、评审人员数量和(高级)领域主席数量变化趋势图,可以清楚的看到,就投稿量,在近几年呈现的变化是指数级别的。评审人员也是与论文投稿数量呈现正相关关系。

2、NLP领域每年发多少论文?


截至2019年6月,AA拥有约50,000个条目,但其中包括一些并非真正的研究出版物的条目(例如,前言、序言、目录等),将这些舍弃后,还剩44,896篇文章。

上图中显示了从1965年到2018年期间,每年发表的论文数量。从图中可以看出:

1、1990年之后,NLP的研究开始突飞猛进,特别是在2000年之后,AA文章数量开始破千;
2、隔年出版的影响在图中可以清晰看到,特别是1998年以来,类似LREC、COLING这样的会议。 2、哪个会议/期刊的论文最多?

当然是各种 workshop 了!这张图展示的是不同会议或期刊的收录论文情况。

从中可以看出,除了各种workshop论文外,LREC已经成为NLP会议论文的最大单一来源(尽管LREC是一个相对较新的会议,每两年召开一次,但它的接受率往往很高,约60%)。其次则是主会ACL/4839,COLING/3142,NAACL/1479……

 

3、哪个领域最热?

1980年到2019年的论文,如下图

从术语分布来看,NLP论文标题中最常用的术语是language,其次是translation。如果考虑bigram的话,如下图:

最常出现的术语是machine translation,毫无疑问,机器翻译是NLP领域最受关注的研究领域之一。
我们再来看不同的研究领域随着时间线的变化:

(雷锋网)(注:图中有个小错误,parsing对应于浅绿线)

从这张图中可以看到一个非常有意思的现象,即,在1980年-2008年之间近三十年的时间里,language、translation、parsing在80年代炙手可热,而现在已经远不如当年受欢迎了;而另一方面,neural在80年代经历了一段之后,迅速下降,但近年来却又突破重围,再次超越而出。
我们可以把parsing的时间线单拎出来:

(雷锋网)

真的是不复当年!

另一个有意思的是,可以对比statistical machine, neural machine 和 machine translation在近40年里的变化趋势:

统计机器经历过一段之后,现在已经基本销声匿迹了;而神经机器则随之崛起。正所谓“沉舟侧畔千帆过,病树前头万木春”!

(雷锋网)参考文献:

https://www.leiphone.com/news/201912/geduMitD8YzkIEch.htmlhttps://acl2020.org/reviewers/