[EMNLP 2022 | 论文简读] CyCoSeg：基于掩码自编码器的检索预训练语言模型

简读分享 | 赵晏浠 编辑 | 陈兴民

论文题目

RetroMAE: Pre-Training Retrieval-oriented Language Models Via Masked Auto-Encoder

论文摘要

尽管预训练在许多重要的 NLP 任务中取得了进展，但仍然需要探索有效的密集检索预训练策略。在本文中，我们提出了 RetroMAE，一种基于掩码自动编码器 (MAE) 的新的面向检索的预训练范例。RetroMAE 突出了三个关键设计。1) 一种新颖的 MAE 工作流程，其中输入句子被不同掩码的编码器和解码器污染。句子嵌入是从编码器的屏蔽输入中生成的；然后，通过掩码语言建模，基于句子嵌入和解码器的掩码输入恢复原始句子。

2）非对称模型结构，以全尺寸BERT like transformer作为编码器，以一层transformer作为解码器。

3) 非对称屏蔽率，编码器比例适中：15~30%，解码器激进比例：50~70%。我们的框架易于实现且在经验上具有竞争力：预训练模型显着提高了 SOTA 在广泛的密集检索基准（如 BEIR 和 MS MARCO）上的性能。

论文链接

https://arxiv.org/abs/2205.12035