ACL2018中科院软件所：用于中文事件检测的区块提议网络

你和“懂AI”之间，只差了一篇论文

号外！又一拨顶会论文干货来袭！

2018年6月9-10日，代表学术界和工业界的顶级交流盛会——由中国中文信息学会青年工作委员会和百度公司联合举办的【“AIS2018（ACL、IJCAI、SIGIR）论文预讲会”】在北京盛大举行。两天时间内，来自“情感分析”“推荐系统”“机器问答”“对话系统”等不同主题的顶级会议论文报告汇聚一堂，英雄相惜，华山论剑。

据芯君了解，本次预讲会在学术圈的火爆程度完全超出了主办方的想象，开放报名的短短几天就全面满额了，以至于主办方不得不设定条件筛选参会者。

读芯君作为本次预讲会的活动媒体，将全程跟随大会，为大家全程纪录活动中最前沿的观点，最有价值的成果，并特邀预讲会论文报告者联合为读者朋友们推出预讲会系列组文，向你展示顶会最新论文成果。

读芯术读者论文交流群，请加小编微信号：zhizhizhuji。等你。

这是读芯术解读的第51篇论文

作者：林鸿宇，陆垚杰，韩先培，孙乐

ACL 2018

用于中文事件检测的区块提议网络

Nugget Proposal Networks for Chinese Event Detection

中国科学院软件所

Institute of Software, Chinese Academy of Sciences

【摘要】基于神经网络的模型通常把事件检测看作是一个词级别的分类任务，因此通常会受到词与触发词之间不匹配问题的影响，这种问题在没有自然词分隔符的语言（例如中文）中更加明显。在本文中，我们提出了区块提议网络（NPNs）的方法，该模型直接在每个字上预测出完整的触发词块而不考虑词边界的限制，从而避免了词-触发词块之间的不匹配问题。具体而言，NPNs将事件检测任务视为一个字级别的分类问题。模型首先学习得到一个字与词的混合表示，该表示能够捕获触发词的结构信息以及语义信息。然后基于该表示，区块提议网络利用中文事件触发词的组合语义结构来直接预测出完整的触发词块及其类别。在ACE2005和TAC KBP 2017数据集上的实验表明，NPNs显着优于当前最好的方法。

1 引言

事件抽取是信息抽取中的一个重要任务。事件检测，旨在识别特定类型的事件触发器，是事件抽取中的一个关键步骤。例如，从句子“Henry was injured, and then passed away soon”当中，一个事件检测系统需要识别出“injured”触发了一个“伤害”事件，而“passed away”则触发了一个“死亡事件”。

图1 词与触发词的不匹配问题

现有的神经网络模型大多数将事件检测转化为了一个词级别的分类问题。然而，这类模型通常受到触发词与词之间不匹配问题的影响。具体而言，一个事件触发词既可以是词的一部分，也可以是多个词。图1中分别展示了一个触发词是词的一部分以及多个词的情况。表1中展示了ACE2005和KBP数据集上的触发词与词的不同匹配关系的占比。我们可以看到，在KBP数据上，有将近25%的触发词与词之间是不匹配的。而在ACE2005上，这一比例也达到了将近15%。由此我们可以看出，触发词与词之间的不匹配问题显著地影响了现有的基于词的触发词检测模型的性能。

表1 触发词和词之间的匹配占比

基于此，本文提出了一种区块提议网络(NPNs) 的方法。它通过建模触发词的字级别组合结构来识别触发词，这一识别的过程并不依赖于词的边界。图2展示了NPNs的整体架构。给定一个句子，NPNs 将字作为基本的检测单元，并且通过建模触发词的内在组合结构来直接在每个字上预测整个完整的触发词块。同时，通过学习字与词的混合表示，NPNs能够学习到更加精确的结构以及语义信息，从而能更有效地完成触发词块的分类。

图2 区块提议网络架构

同先前的方法相比，NPNs主要由以下两点优势：

1）通过直接在每个字上预测一整个完整的触发词块，NPNs可以非常有效地解决词与触发词块不匹配的问题。因为NPNs使用字作为基本的检测单位，因此词与触发词的不匹配问题不会影响NPNs的性能。除此之外，通过建模触发词的内部组合结构，NPNs相比于传统的字级别模型对于字级别分类错误有着更好的容错率。

2）通过同时建模字级别和词级别的语义信息，我们的混合表示可以有效地捕捉字的内部组合结构以及更精确的语义信息，从而得到更好的触发词检测以及分类结果。

我们在ACE2005和TAC KBP2017中文事件检测数据集上进行了实验。实验结果表明相比于现有最好的模型，NPNs可以有效地解决触发词与词之间的不匹配问题，从而显著地提升了事件检测模型的效果。

2 混合表示学习

给定一个句子，NPNs为每一个字学习一个向量表示。该表示之后被送入下游模块进行事件检测。我们观察到字级别和词级别的信息都对中文事件检测非常重要：字级别的信息解释了触发词内部的组合结构；而词级别的信息则包含有更精确的语义。因此，我们提出学习一个混合了字级别和词级别信息的向量化表示。

我们首先使用了两个基本模型来分别学习字级别和词级别的表示，然后使用三种不同的方式来得到最终的混合表示。我们的基本模型类似于Chen等人提出的DMCNN模型，如图3所示。

图3 基本模型

图4 三种混合方式

在字级别序列以及词级别序列中分别使用该模型以后，我们可以得到一个字级别的特征表示以及词级别的特征表示，然后我们使用如图4所示的三种不同的策略将他们混合起来：

1）连接混合：即直接将字级别表示与词级别表示连接。

2）通用混合：即使用一个Gate来建模字级别与词级别的特征的相对重要程度，从而得到一个通用的向量化表示用于下游的两个模块。

3）任务相关混合：使用两个Gate来分别建模字级别与词级别特征对下游两个模块分别的重要性，从而得到两个任务相关的向量表示分别用于两个不同的下游模块。

3 区块提议网络

在得到混合表示之后，区块提议网络主要分两个步骤来完成事件检测。首先是由触发词块生成器在每个字上生成完整的潜在触发词块，然后一个事件类别分类器被用来决定该触发词块的具体类别。

3.1 触发词块生成器

中文的触发词块通常有内部的字级别的组合结构，例如“受了伤”是有“动词+副词+名词”的结构，而“枪杀”“砍杀”则符合“工具+动词”的模式。因此，如果模型可以捕捉这种组合语义结构，就可以直接在每个字上预测得到完整的触发词块（例如在“杀”字预测整个“枪杀”词块）。近期的相关工作表明，卷积神经网络可以非常好地捕捉这种局部区域的语义信息。因此，我们使用一个神经网络来作为触发词块生成器。在每个字的层级上，它不仅仅可以判断这个字是否属于某个触发词块，还可以指出这个字在触发词块中的位置，从而预测得到整个触发词块。

图5 触发词块生成器

图5展示了我们的触发词块生成器。先前学习到的混合表示被送入了一个全连接层来计算得到不同的、包含有当前字的触发词块的得分。每个触发词块的定义是该触发词块的长度以及当前字在该触发词块中的位置。由于数据中98.5%的触发词块的长度均小于等于3个字符，因此对于每个字，共有6个触发词块可能包含有这个字。加上NIL标记（即该字不属于任何触发词块），一共有7个可能的触发词块类别。计算得到这个打分之后，我们通过一个Softmax层来归一化打分，从而得到每个类型触发词块的分类概率。

3.2 事件类别分类器

一旦一个触发词块被检测到，当前词的混合表示被送入另一个分类器来决定该触发词块的具体类别。同先前的工作一样，我们也直接将事件分类它的小的子类别，从而忽略了事件与事件之间的拓扑结构。

同触发词块生成器一样，我们的事件类别分类器也是通过一个全连接层来计算得到每个类别的打分，之后使用Softmax层来对打分进行归一化，从而最终得到每个事件类别的概率。

4 实验

4.1 实验设置

我们在ACE2005与TAC KBP 2017中文事件检测数据集上都进行了实验。我们将我们的方法同如下几组基线系统进行了比较：

1）字级别的神经网络模型，包含有C-BiLSTM、FBRNN、以及字级别的DMCNN模型。

2）词级别的神经网络模型，包含有DMCNN、HNN、FBRNN等。为了缓解词与触发词块的不匹配问题，我们使用了errata replacing的方式来增强了上述基线系统。

3）特征增强的当前最优模型，包含有CLUZH(KBP2017冠军系统)以及Rich-C。

4.2 实验结果

表2 实验结果

表2展示了我们的实验结果。我们可以看到：

1）在两个数据及上，NPNs都显著地优于所有的Baseline模型。

2）通过建模触发词的内部组合结构，我们的触发词块生成器可以有效地解决词与触发词块之间的不匹配问题。

3）学习混合的字词表示对于事件检测来说是非常有效的。

4.3 同传统的字级别模型对比

我们同时还将我们的模型与传统的基于IOB的字级别模型进行了对比，实验结果如表3所示。

表3 同字级别模型的对比

我们可以看到，NPNs要显著的优于传统的基于IOB的字级别标注模型。这是由于传统的IOB模型中，正确标记一个触发词块需要对其中的所有字都给出正确的标记，而这在很多时候非常困难（例如“受了伤”的“了”）。而在NPNs当中，每个触发词块只有有一个字能够给出正确的预测结果，剩下的字即使全部被分为NIL也不会影响到最终的结果。这使得NPNs模型有了更好的容错能力。

5 总结

在本文中，我们提出了区块提议网络（NPNs）的方法，该模型直接在每个字上预测出完整的触发词块而不考虑词边界的限制，从而避免了词-触发词块之间的不匹配问题。具体而言，NPNs将事件检测任务视为一个字级别的分类问题。模型首先学习得到一个字与词的混合表示，该表示能够捕获触发词的结构信息以及语义信息。然后基于该表示，区块提议网络利用中文事件触发词的组合语义结构来直接预测出完整的触发词块及其类别。在ACE2005和TAC KBP 2017数据集上的实验表明，NPNs显着优于当前最好的方法。

由于检测单元与词的不匹配问题在信息抽取当中广泛存在，在未来我们希望将NPNs应用到更多的信息抽取问题当中，例如命名实体识别。

留言 点赞 发个朋友圈

我们一起探讨AI落地的最后一公里