首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >世界模型 >世界模型的学习目标与语言模型有什么不同?

世界模型的学习目标与语言模型有什么不同?

词条归属:世界模型

二者最根本的差异在于学习目标不同:语言模型学习文本的统计结构,世界模型学习空间与时间的统计结构。

1. 语言模型:预测下一个词元

语言模型的训练目标是"预测下一个词元(Token)",它掌握的是词与词、概念与概念之间的共现规律,记录的是"人类如何描述世界",而非"物体如何在世界中运动"。

2. 世界模型:预测下一个世界状态

世界模型的训练目标是"预测下一个世界状态(Next State Prediction)"。北京智源人工智能研究院在《2026 十大 AI 技术趋势》中,将这一转变视为从 Next Token Prediction 向 Next State Prediction 的范式迁移。

3. 新预训练范式的判断

英伟达机器人负责人 Jim Fan 也提出,继"下一个词预测"之后,"世界建模"或称"下一个物理状态预测"将成为新的预训练范式。

4. 二者是结合而非替代

二者并非替代关系,业界普遍认为未来的智能系统更可能是语言模型、世界模型、视觉与行动能力的结合。

相关文章
对比不同开源大语言模型的结构有什么区别?
今天我们来分析和对比一下目前比较流行的几个开源LLM在模型结构上有什么区别,这里挑选的openai的gpt2、开源鼻祖llama、国内的代表qwen2、欧洲的代表号称效果很好的模型mistral、和号称完全开源的模型olmo。这边文章首先从gpt2开始分析,对比gpt2和trainsformer结构的区别,再对比gpt2到llama的演变,最后横向对比LLM时代llama、qwen2、mistral和olmo模型结构的区别。
用户11249147
2024-08-19
2.5K0
深度模型中的优化(一)、学习和纯优化有什么不同
深度学习在许多情况下都涉及优化。例如,模型中的进行推断(如PCA)涉及求解优化问题。我们经常使用解析优化去证明或设计算法。在深度学习涉及到的诸多优化问题中,最难的是神经网络训练,甚至是几百台机器投入几天到几个月来解析单个神经网络训练问题,也是很常见的。因为这其中的优化问题很重要,代价也很高,因此研究者们开发了一组专门为此设计的优化技术。下面关注一类特定的优化问题:寻找神经网络上的一组参数 ,它能显著的降低代价函数 ,该代价函数通常包括整个训练集上的性能评估和额外的正则化。
狼啸风云
2019-09-18
4.8K0
【C语言笔记】数组a与&a有什么不同?
a是数组名,是一个数据区的常量,对其取地址(&a)就可以得到数组存储区域的地址,同样,a本身也代表了数组存储区的首地址。所以,a与&a的值是一样的。但是,虽然a与&a指向同一个地址,但是他们的含义是不同的。下面我们修改一下上面的代码看看”a+1”与”&a+1”是否还相等?修改后的代码运行结果为:
正念君
2019-07-01
2.3K0
编程语言Zig有什么与众不同的
编程语言专家曾对 Zig 编程语言的创造者 Andrew Kelley 说,在编译时运行代码是个蠢主意。尽管如此,Kelley 还是去实现了这个想法,而多年以后,这个蠢主意已经成为了 Zig 的招牌。这一特征在 Zig 中用关键字 comptime 标识,代表需要在编译时运行的代码或者是需要的变量。Zig 可以在编译时运行代码的能力让开发者们可以在不明确任何泛型或模板支撑的情况下,编写通用代码或是进行元编程。让我们来通过代码例子更直观地了解编译时运行是什么意思,以及其为什么重要。以这段简单的函数为例,在 a 和 b 两个数之间取最大值。不使用泛型或 comptime 代码的话,我们就需要将这个函数的具体变量类型写死,比如这里用的 Zig 中 32 位整数 i32 。
深度学习与Python
2022-11-28
4.7K0
机器学习——大规模语言模型与生成模型
机器学习中的语言模型是近年来发展最快、影响最大的技术之一,尤其是大规模语言模型(Large Language Models, LLMs)和生成模型的兴起,几乎改变了我们处理文本、生成内容以及理解自然语言的方式。本篇博客将带你深入探索大规模语言模型与生成模型的世界,分析它们的理论背景、训练方法、技术细节和实际应用。
hope kc
2024-10-08
1K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券