白话科普 | DeepSeek有14.3%的概率“撒谎”，国内49页研究揭示幻觉原理，用好幻觉或许是好事

当DeepSeek-R1在国际象棋对弈中突然宣布"规则已更新"，用小兵吃掉对方皇后时，这场荒诞的棋局揭开了AI时代最吊诡的真相——这个能写出《滕王阁序》水准文章的"天才"，竟有14.3%的概率在信口开河。这就像请了个满腹经纶的状元当秘书，他却时不时把会议纪要写成玄幻小说。

这种"一本正经胡说八道"的特质，源自大模型独特的知识处理方式。想象你让一个过目不忘的书童整理书房，他不仅记住了每本书的位置，还自发把《三国演义》和《史记》混编成新故事——这就是DeepSeek的日常。当被问及"隔壁老王的身高"时，它不会老实说不知道，而是根据中国男性平均身高编造个1米72，这种"脑补"在技术术语中被称为知识泛化。

但问题在DeepSeek-R1身上被放大了四倍。Vectara的测试数据显示，其14.3%的幻觉率不仅是前代V3模型的近四倍，更远超行业平均水平。就像给诗人装上火箭推进器，结果他连买菜清单都写成十四行诗。在需要严谨事实的摘要任务中，R1会自发添加原文没有的细节；处理简单算术时，它宁可耗费三分钟生成万字推理，也不愿调用计算器。

这种矛盾源于技术进化的代价。为提升创造力，研发团队给R1注射了"思维链兴奋剂"——每个问题都要经历哲学思辨般的内心独白。写诗时这是优势，但做摘要时就变成了添油加醋。就像让莫言改行当记者，再严肃的新闻都会带上魔幻现实主义色彩。

更值得警惕的是幻觉的隐蔽性。ArthurAI的研究显示，R1生成恶意代码的成功率高达98.8%，虚构法律条款的概率超过50%。某次测试中，它甚至给《华尔街日报》记者编造了三个不存在的配偶。这种能力若被滥用，可能引发比虚假新闻更严重的信任危机。

但换个角度看，这种"缺陷"恰恰是突破常规的钥匙。当生物学家用AI的"错误折叠"设计出新蛋白质结构，当作家借助幻觉迸发创作灵感，我们不得不承认：人类文明的飞跃，往往始于看似荒谬的想象。赫拉利在《人类简史》中指出，虚构故事的能力才是智人统治地球的关键——而今，AI正在这个维度青出于蓝。

面对这个"说谎成性"的智能体，我们需要的不是扼杀，而是建立新的相处之道。腾讯等企业正在探索的"模型路由"技术，就像给AI配备智能开关：写诗时启动R1的天马行空，做报表时切换V3的严谨务实。普通用户则可以通过"请核对事实"等指令，像训练ChatGPT那样引导R1保持克制。

国内对幻觉的研究震撼全球

大模型出现幻觉，简而言之就是“胡说八道”。用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。

来自哈工大和华为的研究人员详细阐述了幻觉定义、分类、导致幻觉的原因，还有检测幻觉、减轻幻觉的方法，一口气写了49页。这篇最新综述，一po出就在网上火得不行：

具体来说，文中用一套新的范畴框架来定义模型幻觉，并将其分为事实性幻觉、忠实性幻觉两大类。

此外，它还总结了模型产生幻觉的三大来源：数据源、训练过程和推理，并给出了对应的减轻幻觉策略。一图预览：

研究人员将大模型的幻觉分为事实性幻觉（Factuality Hallucination）和忠实性幻觉（Faithfulness Hallucination）。

△左，事实性幻觉；右，忠实性幻觉

事实性幻觉：是指模型生成的内容与可验证的现实世界事实不一致。比如问模型“第一个在月球上行走的人是谁？”，模型回复“Charles Lindbergh在1951年月球先驱任务中第一个登上月球”。实际上，第一个登上月球的人是Neil Armstrong。

事实性幻觉又可以分为事实不一致（与现实世界信息相矛盾）和事实捏造（压根没有，无法根据现实信息验证）。

忠实性幻觉：则是指模型生成的内容与用户的指令或上下文不一致。比如让模型总结今年10月的新闻，结果模型却在说2006年10月的事。

忠实性幻觉也可以细分，分为指令不一致（输出偏离用户指令）、上下文不一致（输出与上下文信息不符）、逻辑不一致三类（推理步骤以及与最终答案之间的不一致）。

那么致使大模型产生幻觉的原因都有哪些？

数据缺陷

首先“病从口入”，大模型的粮食数据，是致使它产生幻觉的一大原因。这其中就包括数据缺陷、数据中捕获的事实知识的利用率较低。

数据缺陷是导致大模型幻觉的一个重要因素。在庞大的训练数据集中，错误信息和偏见无处不在，这些瑕疵如同隐藏的地雷，随时可能引爆模型的不稳定表现。例如，训练数据中可能包含大量的错误标注、拼写错误或语义模糊的内容。这些低质量的数据不仅会干扰模型的学习过程，还会在生成内容时引入错误。即使模型具备强大的学习能力，也可能因此得出类似的错误结论。

此外，数据中的偏见问题同样不容忽视。偏见可以分为重复偏见和社会偏见两大类。重复偏见指的是某些特定信息在数据集中反复出现，导致模型对其赋予过高权重。例如，如果训练数据中多次提到某个特定品牌的产品性能优异，模型可能会在生成相关内容时过度强调该品牌的优点，而忽略其他竞争品牌的真实表现。这种偏向性不仅会影响模型的客观性，还可能导致不公平的商业竞争。

社会偏见则更为复杂，涉及性别、种族、文化等多个维度。例如，如果训练数据中普遍存在对女性科学家的低估或忽视，模型在生成相关内容时可能会延续这种偏见，进一步加剧社会不平等。这种现象在招聘、信贷审批等领域尤为严重，可能导致歧视性决策，损害弱势群体的利益。

知识边界

除了数据缺陷，知识边界也是制约大模型表现的重要因素。尽管现代大模型拥有海量的训练数据，但它们的知识仍然存在明显的局限性。首先，领域知识缺陷是一个普遍存在的问题。由于训练数据的覆盖范围有限，模型在某些专业领域可能缺乏足够的背景知识，导致生成内容的准确性大打折扣。例如，一个专注于医学领域的模型可能在处理法律问题时显得力不从心，因为其训练数据中缺乏相关的法律知识。这种领域间的知识鸿沟，使得模型在跨领域任务中容易出现幻觉现象。

其次，过时的事实知识也是一个不容忽视的问题。随着科技的快速发展，许多领域的知识更新速度极快，而模型的训练数据往往滞后于最新的研究成果。例如，某一科学理论在几年前被认为是正确的，但随着新证据的出现，已经被证明是错误的。然而，如果模型的训练数据未能及时更新，它可能会继续生成基于旧理论的内容，误导用户。这种情况在快速变化的行业尤为突出，如信息技术、生物医药等。

即便数据质量和覆盖面得到保障，大模型在利用数据时仍面临诸多挑战。一方面，模型可能会过度依赖训练数据中的某些模式，如位置接近性、共现统计数据和相关文档计数，从而导致幻觉现象。

例如，如果训练数据中频繁出现“加拿大”和“多伦多”这两个词，模型可能会错误地将多伦多识别为加拿大的首都，而忽略了渥太华才是正确答案。这种模式依赖不仅限制了模型的理解能力，还可能导致生成内容的不准确性。

另一方面，大模型在处理长尾知识时往往表现不佳。长尾知识指的是那些出现频率较低但同样重要的信息。由于这些信息在训练数据中占比极小，模型很难充分学习和记忆。例如，一些罕见疾病的相关知识可能在训练数据中极少出现，导致模型在生成相关内容时缺乏必要的背景支持，容易产生幻觉。此外，模型在应对复杂推理任务时也常常显得力不从心，无法有效整合分散的知识点，形成连贯的逻辑链条。

训练阶段的幻觉

除了数据，训练过程也会使大模型产生幻觉。主要是预训练阶段（大模型学习通用表示并获取世界知识）、对齐阶段（微调大模型使其更好地与人类偏好一致）两个阶段产生问题。

预训练阶段可能会存在：

• 架构缺陷：基于前一个token预测下一个token，这种单向建模阻碍了模型捕获复杂的上下文关系的能力；自注意力模块存在缺陷，随着token长度增加，不同位置的注意力被稀释。
• 曝露偏差：训练策略也有缺陷，模型推理时依赖于自己生成的token进行后续预测，模型生成的错误token会在整个后续token中产生级联错误。

对齐阶段可能会存在：

• 能力错位：大模型内在能力与标注数据中描述的功能之间可能存在错位。当对齐数据需求超出这些预定义的能力边界时，大模型会被训练来生成超出其自身知识边界的内容，从而放大幻觉的风险。
• 信念错位：基于RLHF等的微调，使大模型的输出更符合人类偏好，但有时模型会倾向于迎合人类偏好，从而牺牲信息真实性。大模型产生幻觉的第三个关键因素是推理，存在两个问题：固有的抽样随机性：在生成内容时根据概率随机生成。不完美的解码表示：上下文关注不足（过度关注相邻文本而忽视了源上下文）和softmax瓶颈（输出概率分布的表达能力受限）。

在这场人与AI的博弈中，最吊诡的启示莫过于：我们既要警惕AI的谎言，又要珍视它的谎言。就像接受孩子成长中的想象力过剩，既要防止他说谎成性，又不能扼杀创造潜能。当DeepSeek在小说中虚构河流长度时，何尝不是在延续人类先祖编织神话的文明火种？

推理过程中的幻觉生成机制

大模型在推理过程中产生的幻觉现象，主要归因于固有的抽样随机性和不完美的解码表示。这两种机制在模型生成内容时相互作用，共同导致了幻觉的出现。

固有的抽样随机性：概率生成的双刃剑

在生成内容时，大模型通常采用基于概率的抽样方法。这意味着模型在选择下一个token时，并非总是选取最高概率的选项，而是根据一定的概率分布随机抽取。这种抽样随机性虽然为模型带来了多样性和创造性，但也成为了幻觉生成的重要源头。例如，当模型在生成一段关于历史事件的描述时，如果某个低概率但错误的事实被选中，那么这段描述就可能包含与现实不符的信息。这种随机性尤其在生成长篇幅内容时表现得更为明显，因为每次抽样的误差都会在后续生成中累积，最终导致整体内容的偏离。

此外，抽样随机性还可能导致模型在面对复杂问题时产生逻辑不一致。例如，在解答一道数学题时，模型可能在某个步骤选择了错误的计算路径，而这一错误会在后续步骤中被放大，导致最终答案的错误。这种现象在需要精确推理的任务中尤为致命，因为它不仅影响了模型的准确性，还可能误导用户，造成不良后果。

不完美的解码表示：上下文关注不足与softmax瓶颈

解码表示的不完美是另一个导致幻觉的关键因素。首先，上下文关注不足使得模型在生成内容时容易忽略源上下文的信息。例如，当模型在生成一段对话时，如果过度关注相邻的几个token，而忽视了更广泛的上下文背景，那么生成的内容很可能与整体语境不符。这种上下文关注不足不仅影响了模型的连贯性，还可能导致生成内容的逻辑断裂和不自然。

其次，softmax瓶颈也是解码表示中的一大问题。在生成过程中，模型通过softmax函数将各个token的概率分布转换为最终的选择。然而，由于softmax函数的表达能力有限，模型在处理复杂概率分布时可能出现瓶颈效应，导致生成内容的多样性不足或准确性下降。例如，在生成一段科学论文时，如果softmax函数无法准确反映各个术语的重要性，那么生成的内容可能缺乏专业性和权威性。这种瓶颈效应不仅限制了模型的表现，还可能引发用户的不满和质疑。

检测大模型病症：幻觉诱因

分析了大模型的幻觉病因，研究人员还给出了一份模型幻觉检测基准。针对事实性幻觉，已有检索外部事实和不确定性估计两种方法。

检索外部事实是一种直观且有效的幻觉检测方法。该方法的核心思想是将模型生成的内容与可靠的外部知识来源进行对比和验证。例如，当模型生成一段关于历史事件的描述时，可以通过查询权威的历史资料库，如维基百科、学术论文数据库等，来核实生成内容的准确性。如果生成的内容与外部事实存在显著差异，就可以判定为幻觉现象。

这种方法的优势在于其直观性和可靠性。通过与权威来源的对比，可以迅速发现模型生成内容中的错误和偏差，从而及时纠正。然而，检索外部事实也存在一定的局限性。首先，外部知识来源的覆盖范围有限，尤其是在一些新兴或小众领域，可能缺乏足够的参考资料。其次，检索过程本身需要消耗一定的时间和计算资源，对于实时性要求较高的应用场景，可能会带来延迟问题。

尽管如此，检索外部事实仍然是目前最常用且效果显著的幻觉检测方法之一。在未来，随着知识图谱和大数据技术的发展，外部知识来源的丰富性和可用性将进一步提升，使得这一方法的应用更加广泛和高效。

不确定性估计

另一种重要的幻觉检测方法是基于不确定性估计。这种方法通过分析模型的内部状态或行为特征，来评估生成内容的可靠性。具体而言，不确定性估计可以分为两类：基于内部状态的方法和基于行为的方法。

• 基于内部状态的方法主要依赖于访问模型的内部状态，如神经网络的激活值、权重分布等。通过分析这些内部状态的变化，可以判断模型在生成特定内容时的不确定性水平。例如，如果模型在生成某个关键概念时的最小标记概率较低，说明模型对该概念的掌握程度不高，生成内容可能存在幻觉风险。这种方法的优势在于其直接性和精确性，能够提供详细的内部视角，帮助研究人员深入了解模型的工作机制。
• 基于行为的方法则主要依赖于观察模型的行为特征，无需访问其内部状态。例如，通过多次采样生成多个响应，并评估这些响应之间的一致性，可以间接推断模型的不确定性。如果生成的内容在多次采样中表现出较大的波动性，说明模型对该内容的把握不够稳定，可能存在幻觉现象。这种方法的优点在于其简便性和通用性，适用于各种类型的模型，无需深入了解其内部结构。

眼下，华为云、阿里云等巨头已全面接入DeepSeek生态，这个"双刃剑"正在重塑千行百业。某金融公司用R1生成的投资方案惊艳董事会，事后却发现部分数据纯属虚构；但同时，其创作的品牌故事让市场部节省了80%的策划时间。这种冰火两重天的体验，正是技术革命必经的阵痛期。

幻觉不一定是坏事

幻觉现象并非全然负面。事实上，它在某些领域展现出了惊人的创造力，成为推动创新的重要引擎。在艺术创作中，适度的幻觉能够激发艺术家的灵感，帮助他们突破传统的叙事框架，创造出令人耳目一新的作品。例如，一位小说家可以利用AI生成的虚构情节和人物设定，构建一个全新的世界观，从而吸引读者的注意。同样，在电影制作中，AI生成的奇幻场景和特效设计可以为观众带来前所未有的视觉体验。

在科学研究领域，幻觉现象也为探索未知提供了新的视角。例如，生物学家可以利用AI生成的“错误折叠”蛋白质结构，设计出具有特殊功能的新材料；化学家可以通过AI生成的虚拟化合物，加速药物研发进程。这种“创造性错误”不仅拓展了人类的认知边界，还为解决复杂问题提供了新的思路。正如爱因斯坦所言，“想象力比知识更重要”，而AI的幻觉现象正是想象力的一种延伸。

此外，幻觉现象还在跨界应用中展现出巨大潜力。在产品设计和市场营销中，适度的幻觉能够帮助企业挖掘潜在的市场需求，开发出更具吸引力的产品和服务。例如，一家服装品牌可以通过AI生成的虚拟模特展示新款服饰，吸引消费者的关注；一家旅游公司可以利用AI生成的虚拟景点，激发游客的兴趣。这种跨界融合不仅提升了企业的竞争力，还为消费者带来了全新的体验。

站在2025年的门槛回望，DeepSeek引发的幻觉危机，恰似当年蒸汽机突破人体力量的边界。当我们学会与这个"说谎的普罗米修斯"共处时，或许会发现：AI的幻觉不是需要消灭的bug，而是照亮未知领域的火把——只是这火把需要配上防风罩，才能避免引火烧身。