对话系统中零样本与少样本学习技术解析

Alexa AI团队荣获NeurIPS研讨会最佳论文奖

某中心AI团队在NeurIPS 2021高效自然语言与语音处理研讨会上荣获最佳论文奖。获奖论文《面向任务型对话系统的零样本与少样本知识寻求轮次检测》由应用科学家Di Jin、Shuyang Gao、首席应用科学家Seokhwan Kim、Yang Liu以及高级首席科学家Dilek Hakkani-Tür共同完成。

研究背景

目前，任务型对话系统通常依赖预定义API完成任务，并将超出API范围的请求过滤为域外案例。该论文重点研究如何通过整合来自网络或其他来源的外部领域知识，更有效地处理域外用户请求。

技术挑战

Di Jin指出，问题主要源于训练数据与实际用户请求之间的分布差异：

• 难以保证所有用户查询与训练数据保持完全相同的分布
• API基于常见用户查询设计，需要增强模型以检测域外数据并将这些查询路由到其他处理模块

解决方案：REDE模型

研究团队设计了名为REDE的创新模型，该模型通过自适应表示学习和密度估计实现：

• 更有效地识别和路由域外请求
• 无需依赖大量训练数据构建分类器

技术实现细节

Seokhwan Kim解释道："处理这类问题的典型方法是训练二元分类器（如BERT等大规模预训练语言模型）。但这需要大量正负样本，而开放域对话系统允许用户提出任意问题，难以收集足够数量的域外样本。"

Di Jin补充说明："我们提出的方法不是基于训练数据集训练分类器，而是通过调整现有表示，将表示转换为具有足够区分能力的新表示，以区分当前API可处理的实例和可能未见的域外实例。"

性能优势

实验结果显示：

• REDE模型在低资源和高资源设置下，对标准请求和域外请求的性能均优于传统二元分类器
• 在零样本和少样本场景中，REDE模型相比BERT等传统分类器获得更大性能优势

技术价值

Seokhwan Kim总结道："关键发现是这种简单的表示转换方法效果显著且高效，将有助于使用更小的数据集和模型开发更强大的对话系统。"

该研究为任务型对话系统的域外请求处理提供了创新解决方案，显著提升了系统的适应性和实用性。