谷歌发布大规模对话语料库，涉及17个领域含1.8万个注释

在不需要额外数据和再训练的情况下，谷歌Assistant等人工智能助手如何更好地支持新服务?

这是谷歌的研究人员在最近的一项研究中试图回答的问题，该研究引入了一种方法，在没有领域特定参数的情况下跨服务使用模型。

作为它的一部分，该团队发布了一个语料库——模式指导的对话(SGD)语料库——他们声称这是最大的面向任务的对话语料的公开汇编。

软件工程师Abhinav Rastogi 和谷歌研究工程负责人Pranav Khaitan在博客中写道:“如今的虚拟助手帮助用户完成各种各样的任务，包括查找航班、搜索附近的活动和电影、预订、从网上获取信息等等。”

“尽管取得了巨大的进步……适应性挑战在最先进的模型中常常被忽视。这部分是由于缺乏合适的数据集来匹配虚拟助理所面临的规模和复杂性。”

为此，SGD包含18000多个人与虚拟助理之间的带注释的对话，涉及与17个领域服务的交互：从银行、大事件到媒体、日历、旅行和天气等。

对于大多数领域，数据集包含几个不同的api，其中许多api具有重叠的功能，但是不同的接口反映了典型的真实场景。评估集包含了训练集中没有的服务，主要用于量化模型对api变化或新api添加的鲁棒性。

至于前面提到的模式指导方法，它利用每个服务或API及其相关属性的自然语言描述来学习分布式语义表示，该语义表示作为对话系统的额外输入，随后作为单个模型实现。

该团队表示，统一模型是谷歌开源对话状态跟踪模型的核心，它促进了不同服务中相似概念之间的公共知识表示，使得对训练数据中没有的新服务进行操作成为可能。

“我们相信，这个数据集将成为建立大规模对话模型的良好基准，”Rastogi和Khaitan写道。“我们很兴奋，并期待着研究界将以各种创新的方式利用它来推进对话技术。”

新数据集和模型的发布是在谷歌Coached Conversational Preference Elicitation (CCPE)和Taskmaster-1(两个人之间的一对对话数据集)的开源之后进行的。(前者包括与人们就他们的电影喜好进行的500次对话，总计1万次，总计1.2万次对话。)

谷歌将其描述为：向能够实现人类级别的性能的自然语言系统建模迈出了一步。