【源头活水】EMNLP 2023 | 基于大语言模型的复杂任务认知推理算法CogTree

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

来源：阿里云大数据AI平台

近日，阿里云人工智能平台 PAI 与华东师范大学张伟教授团队合作在自然语言处理顶级会议 EMNLP 2023 上发表了基于认知理论所衍生的 CogTree 认知树生成式语言模型。

通过两个系统：直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设，反思系统对直觉系统产生的假设进行验证，并选择更有可能的假设进行后续生成，直到达到最终结果。通过上述双系统的迭代式生成，可以提升大模型的解题准确度。

论文标题：

From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models

论文作者：

严俊冰、汪诚愚、张涛林、何晓丰、黄俊、张伟

论文链接：

https://arxiv.org/abs/2311.06754

1、背景

随着深度学习在自然语言处理、机器翻译等任务上的不断发展，人们对如何将深度学习应用到自然语言处理中越来越感兴趣，由此出现了大语言模型（例如 GPT-3.5），并已在文本生成、情感分析、对话系统等多个任务上取得了重大突破。大语言模型通常基于大规模文本数据进行预训练，然后通过微调在特定任务上进行优化，以生成高质量的文本输出。

然而，对于语言模型而言，复杂的逻辑推理问题和数学问题的求解仍然是很困难的。并且，传统的语言模型缺乏认知能力。在处理涉及冗长的推理链或多步解决方案的问题时，对于问题及其当前回答的评估是很重要的。然而，目前的方法例如 Chain-of-thought 等通常缺乏对于中间过程的验证。并且大型语言模型的部署和推理成本相对较高，特别是在利用无参数更新的推理增强技术时。这些技术需要大量的上下文和多步的答案生成，进一步增加了推理成本和时间。

因此，本文研究面向轻量化大模型的复杂任务推理，使用较小规模的模型（7B），构建双系统生成推理树，大大增强模型在复杂数学问题和逻辑推理问题上的回答能力。提出了一种大模型面向复杂数学问题的求解方法。

该方法基于人类的认知理论，通过两个系统：直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设，反思系统对直觉系统产生的假设进行验证，并选择更有可能的假设进行后续生成，直到达到最终结果。通过上述双系统的迭代式生成，可以提升大模型的解题准确度。

2、算法概述

为了解决上述大模型对复杂任务推理准确度不高且推理成本大的问题，CogTree 采用双系统的方式，用大模型分别构建两个系统：直觉系统和反思系统，使用直觉系统生成原问题分解的假设，使用反思系统验证假设的正确性，引导直觉系统后续的生成。模型框架图如下所示：

通过双系统迭代式的生成一棵推理树，增强大模型的推理能力。本方法的创新性是面向大语言模型，设计了一套新的推理框架，增强大模型在复杂数学问题上的推理能力。

2.1 直觉系统

直觉系统的生成能力是构建认知树的基础。因此，选择仅包 decoder-only 的模型（例如，GPT2-XL 或 LLaMA-7B）作为直觉系统。通过上下文方法来增强直觉系统的能力。定义查询 为逻辑推理问题的最终目标或数学问题。

在逻辑推理问题的情况下，分解 涉及将目标进一步分解为较小问题，通过对这些分解进行推理，可以实现最终目标。对于数学问题，它指的是从原始问题中导出的子问题之一，解决这个子问题有助于解决整个原始问题。分解集合表示训练集中所有示例的分解集合。从推理分解集合中检索 个示例 (例如，查询：；分解：询 )，然后将它们用作模型输入的上下文。输出可以生成为 。

这里， 代表从分解集合 中检索到的 个示例，其中 。使用直觉系统获取当前查询的表示，并计算与集合中其他查询的表示的余弦相似度。然后，我们从集合中检索出最相似的 个查询。其中 是一个连续语言序列。

2.2 反思系统

反思系统在作用上与直觉系统不同。直觉系统依赖于快速直觉进行生成，而反思系统的作用是评估直觉系统的生成结果以确定其可接受性。反思系统通过采用两种方法来验证结果：中间过程的验证和整个推理链的验证。给定当前状态 （查询： 与分解：），使用与直觉系统相同的模型架构的反思系统来生成一个验证当前状态的分数 。这可以表示为 。

此外，基于完整的推理链 。使用反思系统来产生一个整体分数 ，可以表示为 。反思系统与直觉系统不同，其主要任务是评估和验证当前状态和整个推理链的可行性，而不是像直觉系统那样产生快速假设。这种评估过程有助于确保生成的假设和推理过程是合理的。

2.3 训练

2.3.1 直觉系统

Supervised Fine-tuning (SFT) 已经证明了其在对其人类意图上的有效性。在我们的方法中，直觉系统通过利用上下文示例将查询 (即复杂问题) 分解为子问题。由于我们使用生成模型作为直觉系统，因此在自回归计算期间，仅对生成的文本 (不包括给定的上下文) 进行损失计算。

给定一个长度为 的样本，表示为 ，其中 。我们定义上下文示例的序列长度为 。我们使用标准的语言建模目标来最大化以下似然函数：

2.3.2 反思系统

反思系统采取与直觉系统相同的训练方法，利用正负样本让模型从中生成分类结果。由于反思系统主要关注状态 的判断，损失函数可以定义如下：。

3、算法精度评测

为了验证 CogTree 算法的有效性，我们在 Entailment Bank 逻辑推理数据集以及 GSM8K 数学问题数据集上进行了测试，效果证明 CogTree 对大模型复杂任务上的回答准确率提升明显：

我们也将算法与其他基于大模型微调的方法进行对比，证明了 CogTree 框架的有效性。

为了更好地服务开源社区，CogTree 算法的源代码即将贡献在自然语言处理算法框架 EasyNLP 中，欢迎 NLP 从业人员和研究者使用。

EasyNLP 开源框架：

https://github.com/alibaba/EasyNLP

参考文献

[1] Chengyu Wang, Minghui Qiu, Taolin Zhang, Tingting Liu, Lei Li, Jianing Wang, Ming Wang, Jun Huang, Wei Lin. EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing. EMNLP 2022

[2] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. 2021a. Training verifiers to solve math word problems. CoRR, abs/2110.14168

[3] Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Olivier Bousquet, Quoc Le, and Ed H. Chi. 2022. Least-to-most prompting enables complex reasoning in large language models. CoRR, abs/2205.10625

[4] Jonathan St B. T. Evans. 1984. Heuristic and analytic processes in reasoning. British Journal of Psychology, 75(4):451–468

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。
“源头活水”历史文章
ICML 2023 | 重新审视判别式与生成式分类器的理论与启示
NeurIPS 2023 | 清华ETH提出首个二值化光谱重建算法
KDD2023|GPT时代医学AI新赛道：16万张图片、70万问答对的临床问答数据集MIMIC-Diff-VQA发布
Transformer变革3D建模，MeshGPT生成效果惊动专业建模师，网友：革命性idea
NeurIPS'23|多模态基础大模型的高效微调
ICCV2023 | FBANet：迈向真实世界的多帧超分
NeurIPS 2023 | MQ-Det：首个支持多模态查询的开放世界目标检测大模型
NeurIPS 2023 | 首个人体动捕大模型面世！SMPLer-X：横扫七大榜单
NeurIPS 2023 Spotlight | 面向通用决策场景的MCTS基准框架：LightZero
NeurIPS 2023｜零样本/开放域分割: 通过微调CLIP来学习掩码级知识表征
RevCol V2: 当解耦学习遇上自监督训练，视觉预训练的思路
ICCV 2023最佳论文候选！谷歌提出Zip-NeRF：照片转视频，像航拍一样丝滑！
NeurIPS 2023 | PointGPT：点云和GPT大碰撞！点云的自回归生成预训练
NeurIPS 2023 | 全新的自监督视觉预训练代理任务：DropPos
LanguageMPC：将大语言模型和MPC相结合的新型类人智驾系统
NeurIPS 2023 | 李飞飞团队提出SiamMAE：孪生掩码自编码器，刷榜视觉自监督方法！
新突破！港科大、清华发布AniPortraitGAN更多源头活水专栏文章，请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！