可控文本生成新方法，人大&&南开 | 提出DATG架构，准确性提升19.29%，效率提升1倍

ShuYini

发布于 2024-03-02 09:36:10

2K0

点击上方“AINLPer“，设为星标

更多干货，第一时间送达

引言

可控文本生成技术（Controllable Text Generation）是自然语言处理（NLP）领域的一个重要研究方向，它旨在生成能够满足特定约束和要求的自然语言文本。今天给大家分享这篇文章是由人大，南开和上海算法创新研究院联合提出了一种基于动态属性图的大模型可控文本生成架构（DATG）。

该架构方法通过评估LLMs生成文本属性构建动态属性图，以调节关键属性词和反属性词的出现，实现了有效的属性控制，同时不损害模型原有的能力。实验结果表明，DATG不仅显著提升了控制准确性（最高可至19.29%），还增强推理效率(最高可提升一倍)。

背景介绍

随着通用大规模语言模型展现出越来越强大的性能，如何精确地控制这些模型生成的内容，避免产生不当或有偏见的信息，成为了一个亟待解决的问题。「可控文本生成技术因此受到了广泛关注，其目标是精确控制生成内容的方向和特征」。目前，可控文本生成技术可能包括的方法有继续训练、微调以及解码时的策略等三种。可控文本生成中的继续训练方法将控制机制整合到模型架构中，通常需要额外的数据或约束。微调同样是一种有效的策略，以适应特定任务。而解码过程中，辅助模型和分类器指导大型语言模型（LLMs）的方法在可控文本生成（CTG）中同样取得了显著进展。这些方法在某些方面都起到了文本控制的效果，但仍存在以下问题：

「1.通用问题」 例如利用前缀提示的方法难以实现更特殊的条件的控制，部分方法不是可插拔的；
「2.成本问题」 例如使用retrain和fine-tune的方法要涉及高成本投入；
「3.效率问题」 例如使用FUDGE等方法虽然实现了有效控制，但推理效率会降低。

因此，综合上述问题，中国人民大学，南开大学和上海算法创新研究院联合提出了一个全新的方法，名为 「D」ynamic 「At」tribute 「G」raphs based controlled text generation (DATG) 。

DATG概述

DATG方法实现了传统的图理论和语言模型的结合，是非常有意思的一个工作。它依赖于一个假设，即文本的各类属性都能由一组关键的字词来表示出来，通过对这些特定的字词的控制能够间接影响到文本的属性。

但是需要注意，他们的工作改进了前人工作中一个很重要的问题，即尽管有些词去掉后可以显著达成文本属性的控制，但是去掉后同时带来文本流畅度，可读性的大大减弱，让原本甚至可读的句子变得不可读。因此，「DATG要做的就是在文本的可控性和可用性上达成平衡」，它只会去控制必须控制的，减少对原有模型输出内容的影响。

具体来说，「DATG方法主要包含四个步骤」，如下图所示。

「首先」，根据具体问题来「多次采样」当前大语言模型的输出文本，这一步骤多次采样是为了能够获得广泛的预料以方便下面步骤中属性图的构成。

「其次」，为这些文本「赋予权重」，这些权重代表了目标属性控制的程度，赋予权重依赖于一个可随时替换的文本属性分类器，例如情感分类器，毒性分类器等。

「接着」，进行词粒度的构图，在这些采样到的文本以及分数上「构建出一个带权属性图，并进行属性图的优化变换」，这一步骤应该是同样可以定制的，这里作者采用了传统的Page Rank方法，其目标就是找到影响文本属性得分的最重要的节点。通过PageRank模型可以得到一批词，以及这些词的属性值得分。

「最后」，就到了具体生成步骤了，作者提到「两种生成策略」，他们都是对模型来说可随时插拔的，第一种名为Logits Boost方法，他是通过调整生成next-token的概率分布来影响下一个token的选择的，即降低属性值得分低的token的概率，提高属性值得分高的概率。第二种策略是通过前缀prompt的方法，即用自然语言陈述，希望得分高的词更多出现，避免得分低的词出现，来实现可控文本生成。

综合上面来看，其中「每一个步骤都有很大的定制化改造框架」，这也给DATG框架提供了丰富的继续探索和改进的空间。比如，生成文本阶段是否可以考虑替换为统一生成全局文本呢？文本属性分类器可以采用更先进的算法来实现？构图和图上的游走能否采用更先进的Node2Vec，GNN等图机器学习的技术呢？以及最后利用属性词的方式除了Logits Boost和前缀提示的方法还是否会有其他方法呢？