赛尔推荐 第18期

本栏目每周将推荐若干篇由师生精心挑选的前沿论文，分周三、周五两次推送。

本次推荐了四篇关于任务型对话系统评价、用户模拟框架、训练损失平滑、语言模型、阅读理解、文本风格迁移的论文。

1

推荐组：CR

推荐人：张杨子（研究方向：对话系统回复质量评价）

论文题目：Neural User Simulation for Corpus-based Policy Optimisation for Spoken Dialogue Systems

作者：Florian Kreyssig, Inigo Casanueva, Pawel Budzianowski, Milica Gasic

出处：arxiv

论文主要相关：任务型对话系统评价，用户模拟框架

简评：

论文介绍了一个基于神经网络的用户模拟框架（NUS），将系统回复的语义信息当作simulator的输入内容，并给出一个自然语言回复。与传统的基于agenda的用户模拟器（ABUS）相比，NUS可以使用更少的标注数据产生回复与语义信息，NUS还可以从人人对话数据集中学习真实的用户行为，得到的结果可以作用于更新强化学习中的策略。实验使用NUS与ABUS分别去训练策略并进行评价，NUS训练出的策略分别在奖励和任务完成度两个指标上超过了ABUS。同时，本文也使真实用户进行评价。在这一评价里，NUS的表现也好于ABUS。

论文链接：

https://arxiv.org/abs/1805.06966

2

推荐组：LA

推荐人：滕德川（研究方向：文本匹配）

论文题目：Token-level and sequence-level loss smoothing for RNN language models

作者：Maha Elbayad, Laurent Besacier, Jakob Verbeek

出处：ACL 2018

论文主要相关：训练损失平滑，语言模型

简评：

最大似然估计是训练循环神经网络时最常用的策略，然而，最大似然估计有两点限制。一是，只能将标准输出与其他输出区分开，其他输出均视为错误，忽略了它们与标准输出的语义接近与否。二是，训练时基于输入和先前的标准输出符号预测下一个符号，而测试时是基于输入和先前生成的输出符号，导致了暴露偏置（exposure bias）。为了克服这两点限制，本文对奖励增强最大似然估计做了改进，在序列级损失平滑中加入了符号级损失平滑，根据给定的评价标准，引导模型生成与标准输出接近的序列。具体而言，将对狄拉克分布（Diarc distribution）的最大似然估计变为最小化考虑语义距离的输出分布与模型输出分布之间的KL散度（KL-divergence）。在相似句子上的新分布是对狄拉克分布的平滑，增加了输出空间中训练数据的支持。在图像描述和机器翻译两个任务上的实验表明，两个级别的损失平滑相辅相成，显著地提高了结果。

论文链接：

https://arxiv.org/pdf/1805.05062.pdf

3

推荐组：QA

推荐人：施琦（研究方向：问答系统）

论文题目：Joint Training of Candidate Extraction and Answer Selection for Reading Comprehension

作者：Zhen Wang, Jiachen Liu, Xinyan Xiao, Yajuan Lyu, Tian Wu

出处：ACL 2018