前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >10 种最新的思维链(Chain-of-Thought, CoT)增强方法

10 种最新的思维链(Chain-of-Thought, CoT)增强方法

作者头像
致Great
发布于 2025-05-06 05:32:29
发布于 2025-05-06 05:32:29
1940
举报
文章被收录于专栏:自然语言处理自然语言处理
防御式链式思维(Chain-of-Defensive-Thought)

该方法通过引入结构化、防御性的推理示例,提高大语言模型在面对被污染或误导信息时的稳健性。 📄 论文链接:https://arxiv.org/abs/2504.20769


混合链式思维(Hybrid-CoT)

提出一种自适应混合推理模型 AdaR1,结合长链推理(Long-CoT)与短链推理(Short-CoT),并通过双层优化策略自动选择更有效的推理路径。 📄 论文链接:https://arxiv.org/abs/2504.21659


语义级与词元级协同CoT(T2I-R1)

用于文本生成图像任务:语义级CoT规划提示意图,词元级CoT控制像素生成,二者由 BiCoT-GRPO 模块协调,提升图像生成质量。 📄 论文链接:https://arxiv.org/abs/2505.00703


推测式链式思维(Speculative CoT, SCoT)

SCoT 通过轻量模型并行预测多个推理路径,筛选后再由主模型修正,大幅降低延迟(可达48%–66%),提升推理效率。 📄 论文链接:https://arxiv.org/abs/2504.19095


协作式链式思维(Collaborative CoT, Co-CoT)

该方法将推理过程划分为多个可编辑模块,用户可以逐步查看、修改并重新运行推理,适配不同用户的认知风格和目标。 📄 论文链接:https://arxiv.org/abs/2504.17091


跨语言语音链式思维(XS-CoT)

针对非主流语言任务,该方法将语音翻译与推理链整合,采用半隐式CoT机制压缩中间步骤,有效提升非核心语言的响应准确率(最高可达45%)。 📄 论文链接:https://arxiv.org/abs/2504.20835


检索增强链式思维(CoT-RAG)

结合知识图谱与RAG机制,包含三项核心设计:① 知识图驱动的推理链生成;② 面向案例的可学习RAG组件;③ 基于逻辑的伪程序执行提示。 📄 论文链接:https://huggingface.co/papers/2504.13534


无监督视觉链式思维(Unsupervised Visual CoT, UV-CoT)

在视觉任务中对模型生成的边界框进行比较排序,通过偏好反馈训练模型,逐步优化其图像级推理能力。 📄 论文链接:https://huggingface.co/papers/2504.18397


主动学习链式思维(CoTAL)

融合CoT与主动学习策略,引入课程对齐评估、人类提示设计以及教师-学生式反馈机制,使模型在自动评分等任务中准确率显著提升(GPT-4 提升24.5%)。 📄 论文链接:https://huggingface.co/papers/2504.02323


长链推理解构(Deconstructing Long CoT, DLCoT)

将长推理路径拆解为多个子步骤,简化中间过程并优化错误传播路径,从而提升训练样本效率与最终推理质量。 📄 论文链接:https://huggingface.co/papers/2503.16385

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2025-05-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
首个多模态统一CoT奖励模型来了,奖励能力大幅跃升,已全面开源
在多模态大模型快速发展的当下,如何精准评估其生成内容的质量,正成为多模态大模型与人类偏好对齐的核心挑战。然而,当前主流多模态奖励模型往往只能直接给出评分决策,或仅具备浅层推理能力,缺乏对复杂奖励任务的深入理解与解释能力,在高复杂度场景中常出现 “失真失准”。
腾讯开源
2025/05/14
2590
首个多模态统一CoT奖励模型来了,奖励能力大幅跃升,已全面开源
检索增强生成(RAG)的最新发展:一文汇总11种新型RAG算法!
随着人工智能的快速发展,检索增强生成(Retrieval-Augmented Generation,RAG)技术正在经历前所未有的演变。RAG技术通过将外部知识融入大型语言模型(LLM)的生成过程,极大地提高了AI系统的事实准确性和可靠性。如今,RAG正向更具智能性和自主性的方向发展,能够处理像超图这样的复杂结构,并适应各种专业领域的需求。
致Great
2025/04/22
8080
检索增强生成(RAG)的最新发展:一文汇总11种新型RAG算法!
RAT:融合RAG和CoT的高效多步推理任务策略
今天分享的是由北京大学、加州大学洛杉矶分校和北京通用人工智能研究院合作发表的一篇文章
AI研思录
2025/02/20
2540
RAT:融合RAG和CoT的高效多步推理任务策略
大语言模型的预训练[6]:思维链(Chain-of-thought,CoT)定义原理详解、Zero-shot CoT、Few-shot CoT 以及在LLM上应
在 2017-2019 年之间,随着 Transformer 模型的提出,计算资源与大规模语料库不断出现,自然语言处理领域发生了翻天覆地的变化,传统的全监督学习的范式逐渐达到了瓶颈,很难在传统的训练方式上取得大幅度提升。这时大规模预训练模型的如 Bert、RoBERTa 等模型的出现使得研究方向转向了以预训练模型为基础 + 下游任务 Fine-tune 的范式。
汀丶人工智能
2023/07/20
3.1K0
大语言模型的预训练[6]:思维链(Chain-of-thought,CoT)定义原理详解、Zero-shot CoT、Few-shot CoT 以及在LLM上应
全面超越CoT!Meta田渊栋团队新作:连续思维链
近日,Meta田渊栋团队提出了针对LLM推理任务的新范式:Coconut( Chain of Continuous Thought)。
新智元
2025/02/15
820
全面超越CoT!Meta田渊栋团队新作:连续思维链
大模型推理上限再突破:「自适应难易度蒸馏」超越R1蒸馏,长CoT语料质量飞升
本文作者均来自中兴通讯无线研究院「大模型深潜」团队。团队重点攻关方向包括「推理模型构建:蒸馏与强化学习方法」、「无线通信故障定位与根因分析推理模型」、「多模态推理模型」和「推理加速技术」。核心成员毕业于中国科学技术大学、中国科学院软件研究所等知名高校与科研院所。
机器之心
2025/05/05
1080
大模型推理上限再突破:「自适应难易度蒸馏」超越R1蒸馏,长CoT语料质量飞升
一篇推文看一年!Jim Fan力荐2025必读清单:50篇论文,扫盲「全领域AI实战」
现行的AI从工程技术角度可以分为十个领域:前沿大模型、基准评估、提示思维链、检索增强生成、智能体、代码生成、视觉、声音、图像/视频扩散、微调,每个领域选出5篇代表作和相关工作,看完+实践=AI全栈大神!
新智元
2025/02/15
1230
一篇推文看一年!Jim Fan力荐2025必读清单:50篇论文,扫盲「全领域AI实战」
过程奖励模型也可以测试时扩展?清华、上海AI Lab 23K数据让1.5B小模型逆袭GPT-4o
赵俭,北京邮电大学本科三年级,研究方向为大语言模型。刘润泽,清华大学硕士二年级,师从李秀教授,研究方向为大语言模型与强化学习,特别关注大模型推理能力增强与测试时间扩展,在 NeurIPS、ICML、ICLR、AAAI 等顶级学术会议发表多篇论文,个人主页:ryanliu112.github.io。
机器之心
2025/04/15
670
过程奖励模型也可以测试时扩展?清华、上海AI Lab 23K数据让1.5B小模型逆袭GPT-4o
猫头虎分享:18种写AI 提示词 Prompt Engineering方法大集合
大家好,我是猫头虎! 今天为大家整理了 Prompt Engineering(提示工程) 的18种方法,并为每种方法提供了实际案例及对应论文参考链接。希望大家能从中受益!
猫头虎
2024/11/20
3070
猫头虎分享:18种写AI 提示词 Prompt Engineering方法大集合
RAG 2025:深入探索推理机制与工程优化的前沿路径
DeepSeek R1在 2025 年初引发的震撼,让我们过去对于 LLM关于推理和决策的预测时间点提早了大半年。如何让 LLM 具备更好的推理能力已经是 LLM 最热的研究方向之一。那么伴随着 LLM 的推理,RAG 需要做哪些调整? 这正是我们在当前写下本文的主要动机。 中文的推理对应两个不同的英文词汇,一个是 Inference,对应的概念是 Training(训练),另一个是 Reasoning,指对已知信息的演绎和综合,推导出新的知识和结论的过程。我们今天所说的推理,毫无疑问是指后者,因为它是真正让 LLM 及其配套解锁更大价值的源动力。推理并不是 R1 才引入的,LLM 本身的推理,在 2024 年的 Agent 上已经得到广泛使用。流行的 Agent 框架中,普遍涵盖四大模块 Plan、Memory、Action、Tool,以及几个设计模式,其中最知名和容易实现的就是所谓 [ReAct]。那么这类基于过去的 LLM 形成的推理,跟 R1 所带来的推理,在能力上有什么区别呢? 答案就在 R1 引入的思考链或者推理链。简单总结一下,推理的实现有如下技术流派:
汀丶人工智能
2025/04/22
2140
RAG 2025:深入探索推理机制与工程优化的前沿路径
田渊栋团队论文火了!连续思维链优于CoT,打开LLM推理新范式
随着 LLM 和 CoT 的兴起,语言已经成为机器推理的默认媒介 —— 但它真的是最佳方法吗?
机器之心
2025/02/14
1210
田渊栋团队论文火了!连续思维链优于CoT,打开LLM推理新范式
ChatGPT性能最多提升214%,刷新7个榜单!IDEA、港科大广州等提出ToG思维图谱
如何弥补这部分缺陷,使更多行业能快速加入对新一轮生产力变革的探索,是当下AI研究的重要课题,其中,大模型(LLM)与知识图谱(KG)的融合来弥补前者的能力短板,是颇受关注的研究方向。
新智元
2023/11/27
2750
ChatGPT性能最多提升214%,刷新7个榜单!IDEA、港科大广州等提出ToG思维图谱
优秀的多模态大模型(LLM)资源库
在AI盛起的当下,各类AI应用不断地出现在人们的视野中,AI正在重塑着各行各业。笔者认为,如果说ChatGPT引领了AI革命的开端,那么多模态大模型一定代表着AI应用的未来。
山行AI
2023/06/26
1.9K0
优秀的多模态大模型(LLM)资源库
为应对输出风险文本的情况,提出一种针对LLMs简单有效的思维链解毒方法
近年来,随着大语言模型(Large Language Model, LLM)在自然语言处理任务上展现出优秀表现,大模型的安全问题应该得到重视。近期的工作表明[1][2][3]。LLM在生成过成中有概率输出包含毒性的文本,包括冒犯的,充满仇恨的,以及有偏见的内容,这对用户的使用是有风险的。毒性是LLM的一种固有属性,因为在训练过程中,LLM不可避免会学习到一些有毒的内容。诚然,对大模型的解毒(detoxification)是困难的,因为不仅需要语言模型保留原始的生成能力,还需要模型避免生成一些“特定的”内容。同时,传统的解毒方法通常对模型生成的内容进行编辑[4][5],或对模型增加一定的偏置[6][7],这些方法往往把解毒任务当成一种特定的下游任务看待,损害了大语言模型最本质的能力——生成能力,导致解毒过后模型生成的结果不尽人意。
zenRRan
2023/08/22
6590
为应对输出风险文本的情况,提出一种针对LLMs简单有效的思维链解毒方法
Auto-CoT:自动构建大模型的思维链提示
论文题目:AUTOMATIC CHAIN OF THOUGHT PROMPTING IN LARGE LANGUAGE MODELS
AI研思录
2025/02/20
3050
Auto-CoT:自动构建大模型的思维链提示
GPT-4推理更像人了!中国科学院提出「思维传播」,类比思考完胜CoT,即插即用
如今,GPT-4、PaLM等巨型神经网络模型横空出世,已经展现出惊人的少样本学习能力。
新智元
2023/10/20
2500
GPT-4推理更像人了!中国科学院提出「思维传播」,类比思考完胜CoT,即插即用
大模型写代码能力突飞猛进,北大团队提出结构化思维链SCoT
大型语言模型(下文称为:大模型)在代码生成上表现出了强大的能力。大模型依赖于 prompt 作为输入,思维链是目前用于设计 prompt 的主流方法,在代码生成上取得了目前最好的准确率。但大模型的准确率依旧较低,无法用于实际生产环境。
机器之心
2023/09/19
1.1K0
大模型写代码能力突飞猛进,北大团队提出结构化思维链SCoT
检索增强生成 和思维链 结合: 如何创建检索增强思维链 (RAT)?
Github地址:https://github.com/CraftJarvis/RAT
致Great
2025/01/05
2880
检索增强生成 和思维链 结合: 如何创建检索增强思维链 (RAT)?
推理大模型的后训练增强技术--LLM 推理模型的现状
提升大型语言模型(LLM)的推理能力无疑是 2025 年最火热的话题之一,而且理由很充分。更强的推理能力意味着 LLM 可以处理更复杂的问题,让它在各种任务上表现得更出色,更贴近用户的实际需求。
致Great
2025/03/13
2470
推理大模型的后训练增强技术--LLM 推理模型的现状
NeurIPS 2024 (Oral) | 如何量化与提升思维链的推理能力边界?
本篇工作已被 NeurIPS(Conference on Neural Information Processing Systems)2024 会议接收,并被评为 Oral Presentation (72/4553) 。该文章的第一作者陈麒光,目前就读于哈工大赛尔实验室。他的主要研究方向包括大模型思维链、跨语言大模型等。
机器之心
2025/02/14
870
NeurIPS 2024 (Oral) | 如何量化与提升思维链的推理能力边界?
推荐阅读
首个多模态统一CoT奖励模型来了,奖励能力大幅跃升,已全面开源
2590
检索增强生成(RAG)的最新发展:一文汇总11种新型RAG算法!
8080
RAT:融合RAG和CoT的高效多步推理任务策略
2540
大语言模型的预训练[6]:思维链(Chain-of-thought,CoT)定义原理详解、Zero-shot CoT、Few-shot CoT 以及在LLM上应
3.1K0
全面超越CoT!Meta田渊栋团队新作:连续思维链
820
大模型推理上限再突破:「自适应难易度蒸馏」超越R1蒸馏,长CoT语料质量飞升
1080
一篇推文看一年!Jim Fan力荐2025必读清单:50篇论文,扫盲「全领域AI实战」
1230
过程奖励模型也可以测试时扩展?清华、上海AI Lab 23K数据让1.5B小模型逆袭GPT-4o
670
猫头虎分享:18种写AI 提示词 Prompt Engineering方法大集合
3070
RAG 2025:深入探索推理机制与工程优化的前沿路径
2140
田渊栋团队论文火了!连续思维链优于CoT,打开LLM推理新范式
1210
ChatGPT性能最多提升214%,刷新7个榜单!IDEA、港科大广州等提出ToG思维图谱
2750
优秀的多模态大模型(LLM)资源库
1.9K0
为应对输出风险文本的情况,提出一种针对LLMs简单有效的思维链解毒方法
6590
Auto-CoT:自动构建大模型的思维链提示
3050
GPT-4推理更像人了!中国科学院提出「思维传播」,类比思考完胜CoT,即插即用
2500
大模型写代码能力突飞猛进,北大团队提出结构化思维链SCoT
1.1K0
检索增强生成 和思维链 结合: 如何创建检索增强思维链 (RAT)?
2880
推理大模型的后训练增强技术--LLM 推理模型的现状
2470
NeurIPS 2024 (Oral) | 如何量化与提升思维链的推理能力边界?
870
相关推荐
首个多模态统一CoT奖励模型来了,奖励能力大幅跃升,已全面开源
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档