- 综合排序
- 最热优先
- 最新优先
- 来自专栏算法进阶
GPT大模型的涌现能力的概述
我们针对这些在小模型上没有出现，但是在大模型上出现的不可预测的能力——“涌现能力”做了一些归纳和总结，分别简要介绍了涌现能力的定义、常见的激发手段和具体的分类和任务。 对于大规模语言模型的涌现能力，在 Jason Wei 等人的工作中[4]的工作中，给出的定义： 在小模型中没有表现出来，但是在大模型中变现出来的能力"（An ability is emergent if 基于普通提示的涌现能力 通过 prompt 激发大模型能力的方法最早在GPT3[5]的论文中提出提示范式的部分加以介绍：给定一个提示（例如一段自然语言指令），模型能够在不更新参数的情况下给出回复。 优秀的上下文学习能力 大规模的语言模型展现出了优秀的上下文学习能力（In-context learning）。这种能力并非大模型专属，但是大模型的足够强大的上下文学习能力是之后各种涌现能力激发的基础。 四、涌现能力是海市蜃楼？ 在斯坦福大学最新的工作[19]中指出，大模型的涌现能力来自于其不连续的评价指标，这种不连续的评价指标导致了模型性能在到达一定程度后出现“大幅提升”。
1K20编辑于 2023-08-28 - 来自专栏NewBeeNLP
大模型的涌现能力 (Emergent Abilities of LLM)
Emergent Abilities Definition 本文中对LLM的emergent abilities的定义为： 在较小的模型中不出现，而在较大的模型中出现的能力，则可以称之为emergent ) 下表给出了大模型出现emergent ablities的规模统计 4. 4.3 Another view of emergence 虽然模型的规模与大模型的表现高度相关，但是但模型的规模不是观察到emergent abilities的唯一尺度。 4.4 Directions for future work 作者为未来研究大模型中的emergent abilitie提供了一些方向。 Further model scaling: 继续增加模型的规模探究模型的表现的提升。
1.3K31编辑于 2023-08-29 - 来自专栏新智元
谷歌找到大模型能力涌现机制
---- 新智元报道 编辑：桃子 【新智元导读】大模型涌现能力如何理解？谷歌的最新论文研究了语言模型中的上下文学习，是如何受到语义先验和输入-标签映射影响。 对于大型语言模型展现出的涌现能力，其具体的运作方式，就像一个黑箱，无人知晓。 众所周知，语言模型近来取得巨大的进步，部分原因是它们可以通过上下文学习（ICL）来执行任务。 网友表示，这对模型新的涌现能力很有见解。 AI「黑箱」怎么破？ 一般来说，模型能够在上下文中学习，有以下2个因素: 一种是使用预先训练的语义先验知识来预测标签，同时遵循上下文范例的格式。 这些结果表明，当输入标签映射相互矛盾时，大模型可以覆盖预训练的先验知识。 小型模型无法做到这一点，这使得这种能力成为模型规模的涌现现象。 谷歌这篇论文强调了语言模型的ICL行为如何根据其参数而改变，并且更大的语言模型具有将输入映射到许多类型的标签的涌现能力。 这是一种推理形式，其中输入-标签映射可以潜在地学习任意符号。
39460编辑于 2023-05-22 - 来自专栏机器之心
谷歌：大模型不仅有涌现能力，训练时间长了还有「领悟」能力
机器之心报道 编辑：陈萍、小舟、梓文 模型在达到一定规模时会出现涌现现象，谷歌的研究表明，模型在训练到一定时间后，会出现另一种现象，即「领悟」现象。 2021 年，研究人员在训练一系列微型模型时取得了一个惊人的发现，即模型经过长时间的训练后，会有一个变化，从开始只会「记忆训练数据」，转变为对没见过的数据也表现出很强的泛化能力。 为了更好的了解这一问题，本文来自谷歌的研究者撰写了一篇博客，试图弄清楚大模型突然出现「领悟」现象的真正原因。 如果将单个神经元的权重可视化，这种周期性变化更加明显： 别小看周期性，权重的周期性表明该模型正在学习某种数学结构，这也是模型从记忆数据转变为具有泛化能力的关键。 测试损失的急剧下降使得模型看起来像是突然泛化，但如果查看模型在训练过程中的权重，大多数模型都会在两个解之间平滑地插值。
37430编辑于 2023-09-08 AGORA：通过群体蒸馏激发大语言模型的群体涌现能力
提出将结构化交互作为新的扩展维度，超越单纯增加模型参数的现有范式。自进化框架AGORA通过协作集成实现推理性能提升，在挑战性数学基准上比现有最优单体系统高出4.45个百分点。 这种增益源于群体涌现能力——孤立模型无法实现的集体能力合成，验证了交互作为智能可扩展驱动力的有效性。研究结果将协作生态系统的工程化定位为能力涌现的关键前沿。 主题分类机器学习（cs.LG） 人工智能（cs.AI） 核心创新交互式扩展轴：突破传统参数缩放模式，建立模型间结构化交互机制 群体蒸馏技术：通过协作集成产生超越单体模型的群体涌现能力 性能验证： 在数学推理任务中实现4.45%的绝对性能提升 技术价值该研究为大语言模型能力突破提供了新范式，证明通过设计交互生态激发的群体智能可成为继数据/参数扩展后的第三代能力提升路径。
12710编辑于 2025-08-05- 来自专栏《C++与 AI：个人经验分享合集》
《解码AI大模型涌现能力：从量变到质变的智能跃迁》
在当今科技飞速发展的时代，人工智能大模型的涌现能力成为了众人瞩目的焦点。 从ChatGPT与用户的流畅对话，到GPT-4在复杂任务中的出色表现，这些大模型仿佛一夜之间解锁了超乎想象的技能，那么，这种神奇的涌现能力究竟是如何产生的呢？ 正是这种架构上的创新，为大模型的涌现能力提供了技术支撑，让模型能够挖掘数据中更深层次的信息和模式。 过参数化与模型的“自我进化” 当模型的参数数量远超训练样本数量时，就进入了过参数化状态。 合理的训练优化策略，就像是为模型找到了一条通向成功的捷径，让模型在训练过程中不断调整自己，最终展现出强大的涌现能力。 人工智能大模型的涌现能力是多种因素协同作用的结果。 随着技术的不断进步，相信大模型还将展现出更多令人惊叹的能力，为人类社会带来更多的惊喜和变革。
29700编辑于 2025-02-02 - 来自专栏AI科技大本营的专栏
ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？
本文整理自 3 月 11 日 「ChatGPT 及大规模专题研讨会」上，来自新浪微博新技术研发负责人张俊林《大型语言模型的涌现能力：现象与解释》的分享，介绍了大语言模型中的涌现现象，以及关于涌现能力背后原因的相关猜想 张俊林，中国中文信息学会理事，新浪微博新技术研发负责人 此次分享的内容主要分为五大板块，分别是： 一、什么是大模型的涌现能力 二、LLM 表现出的涌现现象 三、LLM 模型规模和涌现能力的关系 四、模型训练中的顿悟现象 什么是大模型的涌现能力 复杂系统中的涌现现象 复杂系统学科里已经对涌现现象做过很久的相关研究。那么，什么是“涌现现象”？ 因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。 在这里介绍模型训练过程中的顿悟，目的是希望建立起它和大模型涌现能力之间的联系，我在本文后面会尝试用顿悟现象来解释大模型的涌现能力。 我们首先解释下什么是顿悟现象。
95020编辑于 2023-04-06 - 来自专栏智能文本处理
新浪张俊林：大语言模型的涌现能力——现象与解释
注2:另，有人问了，既然很多自然现象也体现出涌现能力，那么大语言模型的涌现现象需要解释吗？我个人认为是需要的。 一、什么是大模型的涌现能力复杂系统学科里已经对涌现现象做过很久的相关研究。那么，什么是“涌现现象”？ 随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。伸缩法则与涌现能力第二类任务表现出涌现能力：这类任务一般是由多步骤构成的复杂任务。 因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。 在这里介绍模型训练过程中的顿悟，目的是希望建立起它和大模型涌现能力之间的联系，我在本文后面会尝试用顿悟现象来解释大模型的涌现能力。我们首先解释下什么是顿悟现象。
83130编辑于 2023-04-28 - 来自专栏人工智能
多模态大模型的涌现能力：视觉-语言对齐的认知机制探析
多模态大模型的涌现能力：视觉-语言对齐的认知机制探析引言：从单一模态到跨模态理解的飞跃近年来，多模态大模型如CLIP、DALL-E、Flamingo等展现出了令人惊叹的涌现能力——它们不仅能够分别处理视觉和语言信息 跨模态表示的神经对齐机制人脑通过联合皮层（如颞上沟）处理跨模态信息，类似地，多模态大模型通过共享表示空间实现视觉与语言的神经对齐。这种对齐不是简单的特征映射，而是基于深层语义结构的系统对应关系。 规模效应与对齐涌现当模型规模达到临界点时，对齐能力会突然涌现：class ScalingLawAnalyzer: """分析规模效应对多模态对齐的影响""" def __init__ image_input > 0.1).float().mean() return ((text_richness + image_richness) / 2).item()结论与展望多模态大模型的视觉 通过深入分析可以发现：对齐的涌现本质：当模型规模、数据质量和训练策略达到临界点时，对齐能力会非线性涌现认知机制的模拟：对比学习、注意力机制、符号接地等都与人类认知过程高度相似跨层级的对齐：从特征层到语义层的多层次对齐是实现真正理解的关键多模态对齐不仅让
36710编辑于 2025-12-11 - 来自专栏AI智能体从入门到实践
构建AI智能体：大模型涌现能力的解构分析：从量变到质变的神秘跃迁
而到了大模型，则表现出强大的逻辑推理能力，当我们问它“小明比小红高，小红比小刚高，谁最矮？” (log scale)') plt.ylabel('综合性能指标') plt.title('大模型涌现能力的尺度定律') plt.legend() plt.grid(True, 2.2 大模型中的相变体现2.2.1 语言理解能力的相变在大模型的训练过程中，语言理解能力呈现出清晰的相变特征：词汇理解的相变：当模型规模较小时，它只能进行表面的词汇匹配。 ：小模型：只会踩油门刹车（记忆）中模型：会转弯了（模式匹配）大模型：会倒车入库了（推理）超大模型：会漂移了（创造）图三：能力相变边界X轴：还是模型大小Y轴：能力是否激活（0=没有，1=有）五条线：每条线代表一种能力关键观察 "右边时间线明确显示每种能力在什么规模解锁雷达图的每个角：一种编程能力线条形状：模型的能力轮廓观察规律： 小模型：只有1-2个角突出（只会补全代码）大模型：所有角都很突出（全能选手）生活比喻，像组装机器人
15410编辑于 2026-01-12 - 来自专栏机器之心
斯坦福最新研究警告：别太迷信大模型涌现能力，那是度量选择的结果
机器之心报道 编辑：蛋酱、Panda W 大模型出现后，涌现这一术语开始流行起来，通常表述为在小规模模型中不存在，但在大规模模型中存在的能力。 但斯坦福大学的研究者对 LLM 拥有涌现能力的说法提出了质疑，他们认为是人为选择度量方式的结果。 「别太迷信大模型的涌现，世界上哪儿有那么多奇迹？」 斯坦福大学的研究者发现，大模型的涌现与任务的评价指标强相关，并非模型行为在特定任务和规模下的基本变化，换一些更连续、平滑的指标后，涌现现象就不那么明显了，更接近线性。 大模型领域的「涌现」如何定义？一种通俗的说法是「在小规模模型中不存在，但在大规模模型中存在的能力」，因此，它们不能通过简单地推断小规模模型的性能改进来预测。 第一，人们现在主要关注大型语言模型的涌现能力，因为对于视觉模型而言，目前还没有观察到模型能力从无突然转变到有的现象。
57310编辑于 2023-05-09 - 来自专栏喔家ArchiSelf
大模型应用的能力分级
对大模型应用的能力分级就像给学生打分一样，能让我们更清楚它的本事有多大。能力分级能帮我们设定目标，知道AI现在能干什么，未来还要学什么。 另外，能力分级让普通人更容易理解AI的能力，避免过度期待或担心。 大模型的应用主要有两种常见模式：RAG 和 Agent。选哪种 RAG 架构，得看具体要解决什么问题，确保它适合任务需求。 关于RAG 的更多资料，可以参考《大模型系列——解读RAG》、《RAG的10篇论文-2024Q1》、《Chunking：基于大模型RAG系统中的文档分块》、《解读GraphRAG》和《在大模型RAG系统中应用知识图谱 利用机器学习来处理新的、不可预见的情况，使它们能够适应变化 在计划外的情况下会失败 关于Agent 的更多内容，可以参考《AI 驱动的数据分析：Data Agent》、《Agent 应用于提示工程》、《基于大模型 小结 将大模型应用的能力进行分级，不仅有助于推动技术发展，还能更好地匹配实际应用场景，同时也让公众更容易理解其价值。
1.6K20编辑于 2025-03-31 - 来自专栏大语言模型
探索大模型能力--prompt工程
之前的文章中我们结合prompt-engineering课程体验了下混元大模型，今天再介绍大家一些写好prompt的思路以及prompt资料。 LLM大语言模型终究也只是一个工具，我们不可能每个人都去训一个大模型，但是我们可以思考如何利用好大模型，让他提升我们的工作效率。 提示词（prompt）就是你给大模型下达的指令输入，它包含以下任意要素： 指令：想要模型执行的特定任务或者指令。 上下文：包含外部信息或额外的上下文信息，引导语言模型更好地响应。 提示工程就是开发和优化提示词（Prompt），一种在大模型中使用的技巧，通过提供清晰、简洁的指令或问题，充分发挥大模型的能力，让模型更好地理解我们的需求，从而得到更好的模型输出。 可惜，很少大模型完全开源他们的数据集。 但是很多大模型都会开放一个平台给大家体验，大家也都会将好的用例分享出来。
2.9K71编辑于 2024-01-23 - 来自专栏资讯分享
大模型能力竞争终局已定
01GPT能力的完善与大模型能力竞争的终结OpenAI发布ChatGPT3.5引爆市场的几个月间，引发了一场大语言模型“大跃进式”的风暴。 首先，大型语言模型（LLM）的成功很大程度上归因于一种‘暴力美学’，即通过大规模参数的增加实现性能的飞跃和涌现能力的出现。 实际上，GPT3.5问世所体现的泛化能力和在涌现上的突破，就已经是决定性的，也预示着LLM能力之争的终结，最近GPT4-Turbo的更新只是让这件事情成为既成事实，同时也开启了整个LLM革命的新时代。 需要指出，大模型能力之争的终结并不指只有OpenAI一家公司独大，而是指其它大模型所发展的方向和生存，不再是以模型基础能力为主要考量，将会向更多复杂的因素延展。 的大模型有差距，但是依靠特定方向的能力提升或者其它赛道上的独特优势成为大模型领域的“多强”。
45210编辑于 2023-11-20 - 来自专栏大语言模型
大模型能力评测方式很多？
其核心框架可拆解为基础维度、主流基准与关键方法，共同构成模型能力的“CT扫描”系统。 一、评测的三大基础维度参照源：分参考式（有标准答案，如准确率、BLEU）与非参考式（依赖判官或规则，如人类偏好、单元测试）。交互模式：覆盖静态单轮问答、多轮对话、工具调用、长上下文处理等全场景。 二、主流基准与核心指标通用能力：MMLU（57学科准确率）、HellaSwag（常识推理）为标杆，需控制数据泄漏与温度参数。 AI评测的核心是“场景匹配”：通用能力看MMLU+人类偏好，代码能力信SWE-bench+pass@k，安全侧重拒答率与校准度。唯有多维指标联动，才能勾勒模型真实能力画像。
32010编辑于 2025-08-13 全球大模型真实编程能力大摸底！评测新标准揭秘模型能力虚胖真相
基于此数据集，我们对全球 18 个主流大模型的算法编程能力进行了系统评测并量化得分，详细评分榜单如下所示，可以看到全球顶尖大模型距离以往所宣称的编程能力还存在很大差距，哪怕是最高分的 o4-mini-high 由于大模型的预训练和微调数据往往会爬取大量互联网内容，容易出现模型在训练阶段就见过类似题目的情况，从而导致评测分数虚高，无法真实反映模型实际能力。 总结与展望本文深入分析了当前大模型编程能力评估中存在的认知鸿沟，揭示了 “宣传” 与 “现实” 之间的差距。 不仅为大语言模型的算法推理能力评测树立了一个全新标杆，也为整个行业带来了更多思考。它让我们看到：即使在模型能力突飞猛进的今天，真正高质量、高难度的算法挑战依然能够 “难倒” 最先进的 AI。 大模型的强大推理和代码生成能力，正好能为人类开发者提供有力支持，帮助他们提升算法设计和代码实现的效率。
63710编辑于 2025-07-28- 来自专栏IT技术订阅
大模型实现通用智能机理与数据驱动的智能涌现
同时，重点分析为什么大量训练数据能够促使智能涌现，包括知识积累、模式多样性、参数优化、减少过拟合、支持复杂计算与学习以及促进涌现现象等。 一、大模型实现通用智能的机理 1. 这种迁移学习能力使得大模型在实际应用中具有很高的灵活性和实用性。 二、大量训练数据促使智能涌现的原因 1. 提供丰富的知识与模式 知识积累是大量训练数据能够促使智能涌现的重要因素。 自监督学习不仅提高了模型的训练效率，还使得模型能够学习到更加广泛和通用的语言知识。 4. 促进涌现现象 非线性交互是大模型内部产生涌现现象的重要原因。 例如，在自然语言生成任务中，模型可能会根据上下文生成出富有创意和逻辑性的文本，这种能力是模型在训练过程中逐渐涌现出来的。 临界点效应则是大量训练数据促使智能涌现的关键因素之一。 当模型的规模和训练数据达到一定阈值时，可能会出现智能的突然提升，即涌现现象。这种现象表明，大模型在达到一定规模和训练数据量后，能够突破原有的性能瓶颈，展现出更加强大和智能的能力。
42910编辑于 2025-04-07 - 来自专栏新智元
MIT斯坦福Transformer最新研究：过度训练让中度模型「涌现」结构泛化能力
新智元报道 编辑：润 【新智元导读】过度训练让中度模型出现了结构泛化能力。 对于人类来说，句子是分层的。 句子的层次结构对于表达和理解都相当重要。 如果对Transformer类的模型进行长时间的训练之后，它能获得这种结构性的泛化能力。 中深度模型的泛化能力比非常深和非常浅的模型都要好。 总体上看，如果能对模型进行更多的扩展训练，普通的Transformer能够展现出层级结构。 作者评估了Dyck20,10中结构上未观察到的字符串的泛化能力，以下图为例。 模型 研究人员训练了有｛2,4,6,8,10｝层的transformer语言模型。 研究人员发现所有Transformer都学习到了正确的树结构，但只有最具树结构性的模型表现出最好的泛化能力。
35810编辑于 2023-12-12 - 来自专栏运维开发王义杰
AI: 探讨大模型的自动学习能力
然而，这些大模型是否具备自动学习能力，即通过用户与其交互的过程中变得更智能，仍是一个值得探讨的问题。 本文将从大模型的训练方式、交互能力和潜在的自动学习机制等方面进行分析，探讨其是否能在使用过程中自我提升。 大模型的训练方式 预训练与微调 大模型通常采用预训练和微调的方式进行训练。 用户交互与智能提升 用户交互的现状 在用户与大模型的交互过程中，模型依赖于其预先训练的知识和微调时获得的任务特定能力。模型通过理解用户输入，生成合理的响应，从而完成对话任务。 大模型通常包含数十亿甚至上千亿个参数，实时调整这些参数需要极大的计算能力。 数据隐私与安全：记录和利用用户交互数据进行学习可能涉及用户的隐私信息。 隐私保护技术：采用差分隐私、联邦学习等隐私保护技术，在保障用户数据隐私的前提下，实现模型的自动学习和优化。 结论 目前的大模型在与用户的交互过程中，尚不具备真正意义上的自动学习能力。
1.4K10编辑于 2024-07-10 语义理解·认知涌现：AI 语义大模型重塑机器认知新范式
AI 语义大模型通过融合超大规模预训练、知识图谱注入与思维链推理技术，构建了从语言表层到深层语义的完整认知体系，实现了从"统计匹配"到"语义理解"的范式革命。 核心痛点解析语义理解偏差：传统模型难以捕捉一词多义、语境依赖等深层语义现象逻辑推理缺失：缺乏常识推理、因果推断等高级认知能力知识融合困难：参数化知识与现实世界知识难以有效对齐和更新专业领域适配差：通用模型在垂直领域表现不佳 ，专业术语理解肤浅可解释性不足：模型决策过程不透明，难以追溯推理路径语义大模型技术架构系统构建"预训练-精调-推理-服务"四层技术栈：基础预训练模型通过海量语料学习通用语言表征；领域适应引擎实现垂直领域知识的快速注入 ；推理增强框架提升模型的逻辑推理能力；服务化部署平台则提供高效可靠的推理服务。 持续进化路径未来技术演进聚焦世界模型融合与自主认知进化：将语言模型与物理世界模型结合，实现更 grounded 的语义理解；发展自监督持续学习能力，实现知识的自动更新和演进；探索模型自我反思和元认知能力
27410编辑于 2025-10-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号