Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >直面配分函数

直面配分函数

原创
作者头像
用户10360156
发布于 2023-03-02 11:25:19
发布于 2023-03-02 11:25:19
2080
举报
文章被收录于专栏:DraftsDrafts

我们看到许多概率模型(通常是无向图模型)由一个未归一化的概率分布 ˜p(x, θ) 定义。我们必须通过除以配分函数 Z(θ) 来归一化 ˜p,以获得一个有效的概率分布:

配分函数是未归一化概率所有状态的积分(对于连续变量)或求和(对于离散变量):

或者

对于很多有趣的模型而言,以上积分或求和难以计算。有些深度学习模型被设计成具有一个易于处理的归一化常数,或被设计成能够在不涉及计算 p(x) 的情况下使用。然而,其他一些模型会直接面对难以计算的配分函数的挑战。因此,我们需要了解用于训练和评估那些具有难以处理的配分函数的模型的技术。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
机器学习是如何借鉴物理学思想的?从伊辛模型谈起(万字长文)
大数据文摘作品 翻译:大力、白丁、阮雪妮、Lisa、彭湘伟、Shan LIU、钱天培 物理和机器学习,这两个听起来不相关的领域,居然有着千丝万缕的联系! 文摘菌第一次听说时也吓了一跳。 而就真有这样一个神奇的模型,将物理和机器学习紧密联系到了一起——它就是伊辛模型。 伊辛模型——一个描述物质磁性的简单模型——会帮助阐释两个领域之间的广泛联系。 今天,文摘菌会先从简单物理直觉谈谈这个模型,然后导出物理学中著名的变分原理,从而严格推出这个模型。 然后我们就会发现,正是这个变分原理打开了机器学习的窗口。我们将玻尔
大数据文摘
2018/05/23
1.9K0
斯坦福“黑盒学习”研究:使用神经变分推理的无向图模型,可替代“采样”
摘要 机器学习中的许多问题可以自然地用无向图模型的语言表达。在这里,我们提出了无向模型的黑箱学习和推理算法,优化了模型的对数似然的变分近似。我们的方法的核心是我们表示为灵活神经网络的函数q参数化配分函
新智元
2018/03/21
9470
斯坦福“黑盒学习”研究:使用神经变分推理的无向图模型,可替代“采样”
【生成模型】浅析玻尔兹曼机的原理和实践
这一期将介绍另一种生成模型—玻尔兹曼机,虽然它现在已经较少被提及和使用,但其对概率密度函数的处理方式能加深我们对生成模型的理解。
用户1508658
2020/11/19
1.3K0
【生成模型】浅析玻尔兹曼机的原理和实践
[白话解析] 用水浒传为例学习条件随机场
本文将尽量使用易懂的方式,尽可能不涉及数学公式,而是从整体的思路上来看,运用感性直觉的思考来解释条件随机场。并且用水浒传为例学习。并且从名著中找了具体应用场景来帮助大家深入这个概念。
罗西的思考
2020/09/07
8950
【深度干货】专知主题链路知识推荐#5-机器学习中似懂非懂的马尔科夫链蒙特卡洛采样(MCMC)入门教程01
【导读】主题链路知识是我们专知的核心功能之一,为用户提供AI领域系统性的知识学习服务,一站式学习人工智能的知识,包含人工智能( 机器学习、自然语言处理、计算机视觉等)、大数据、编程语言、系统架构。使用请访问专知 进行主题搜索查看 - 桌面电脑访问www.zhuanzhi.ai, 手机端访问www.zhuanzhi.ai 或关注微信公众号后台回复" 专知"进入专知,搜索主题查看。今天给大家继续介绍我们独家整理的机器学习——马尔科夫链蒙特卡洛采样(MCMC)方法。 上一次我们详细介绍了贝叶斯参数估计,里面我们
WZEARW
2018/04/08
1.5K0
【深度干货】专知主题链路知识推荐#5-机器学习中似懂非懂的马尔科夫链蒙特卡洛采样(MCMC)入门教程01
【GAN优化】GAN优化专栏上线,首谈生成模型与GAN基础
在机器学习或者深度学习领域,生成模型具有非常广泛的应用,它可以用于测试模型的高维概率分布的表达能力,可以用于强化学习、半监督学习,可以用于处理多模输出问题,以及最常见的产生“真实”数据问题。
用户1508658
2019/07/28
8770
蒙特卡罗计算积分
通常情况下,我们不能解析地求解积分,必须借助其他方法,其中就包括蒙特卡罗积分。你可能还记得,函数的积分可以解释为函数曲线下的面积。
磐创AI
2020/11/09
8200
蒙特卡罗计算积分
【读书笔记】之概率统计知识梳理
这篇笔记,主要记录花书第三章关于概率知识和信息论知识的回顾。概率论在机器学习建模中的大量使用令人吃惊。因为机器学习,常常需要处理很多不确定的量。不确定的量可能来自模型本身的随机性、对外在失误的不完全观测以及不完全的建模。 其实在这之前,已经有两篇文章重点介绍过概率论的部分知识:协方差&贝叶斯统计的知识。这篇笔记只是记录了花书中的重点,并不是通俗的解释相关概率论只是,想了解更多内容,下面是传送门: 【通俗理解】协方差 【通俗理解】贝叶斯统计 【机器学习】朴素贝叶斯算法分析 随机变量 随机变量(rando
用户1594945
2018/07/20
8310
一文了解采样方法
作者 | DarkScope,蚂蚁金服高级算法工程师,致力于算法技术的创新和实际应用,乐于通过博客的方式对技术进行分享和探讨。
AI科技大本营
2018/07/23
4.1K0
一文了解采样方法
Review:构建有表现力且易处理的概率生成模型
Building Expressive and Tractable Probabilistic Generative Models: A Review
CreateAMind
2024/05/22
1480
Review:构建有表现力且易处理的概率生成模型
斯坦福 CS228 概率图模型中文讲义 二、概率复习
样本空间Ω:随机实验所有结果的集合。 在这里,每个结果ω ∈ Ω可以看作实验结束时真实世界状态的完整描述。
ApacheCN_飞龙
2022/12/01
4530
斯坦福 CS228 概率图模型中文讲义 二、概率复习
概率图模型
很多事情是具有不确定性的。人们往往希望从不确定的东西里尽可能多的得到确定的知识、信息。为了达到这一目的,人们创建了概率理论来描述事物的不确定性。在这一基础上,人们希望能够通过已经知道的知识来推测出未知的事情,无论是现在、过去、还是将来。在这一过程中,模型往往是必须的,什么样的模型才是相对正确的?这又是我们需要解决的问题。这些问题出现在很多领域,包括模式识别、差错控制编码等。
sea-wind
2019/09/11
9520
概率图模型
CS229 课程笔记之九:EM 算法与聚类
为了证明 k-means 算法能否保证收敛,我们定义「失真函数」(distortion function)为:
口仆
2020/08/14
9390
斯坦福 CS228 概率图模型中文讲义 六、变量消除
接下来,我们将注意力转向图模型中的推断问题。 给定概率模型(如贝叶斯网络或 MRF),我们有兴趣使用它来回答有用的问题,例如确定给定电子邮件是垃圾邮件的概率。 更正式地说,我们将关注两类问题:
ApacheCN_飞龙
2022/12/01
6050
斯坦福 CS228 概率图模型中文讲义 六、变量消除
理解生成模型与判别模型
我们都知道,对于有监督的机器学习中的分类问题,求解问题的算法可以分为生成模型与判别模型两种类型。但是,究竟什么是生成模型,什么是判别模型?不少书籍和技术文章对这对概念的解释是含糊的。在今天这篇文章中,我们将准确、清晰的解释这一组概念。
SIGAI学习与实践平台
2018/10/18
9970
理解生成模型与判别模型
对真实的世界建模-概率论(分布&计算)
前段时间觉得概率论不可理喻,再拿起的时候已经少了些许晦涩之感。(我们的自然语言不明确,概率论是离真实建模最近的学科,所以觉得难学,是因为我们逐渐走向精确)
云深无际
2024/10/08
2330
对真实的世界建模-概率论(分布&计算)
机器学习中的概率模型
概率论,包括它的延伸-信息论,以及随机过程,在机器学习中有重要的作用。它们被广泛用于建立预测函数,目标函数,以及对算法进行理论分析。如果将机器学习算法的输入、输出数据看作随机变量,就可以用概率论的观点对问题进行建模,这是一种常见的思路。本文对机器学习领域种类繁多的概率模型做进行梳理和总结,帮助读者掌握这些算法的原理,培养用概率论作为工具对实际问题进行建模的思维。要顺利地阅读本文,需要具备概率论,信息论,随机过程的基础知识。
SIGAI学习与实践平台
2020/07/29
2.7K0
机器学习中的概率模型
[MCSM]Exponential family: 指数分布族
为何指数分布族被广泛应用?是指数分布族选择了我们,还是我们选择了指数分布族?(这个问题没有回答,需要结合具体实例分析)
sea-wind
2019/09/11
1.3K0
[MCSM]Exponential family: 指数分布族
深度生成模型
本次课将首先介绍生成模型的概念以及适用场景。进一步讲解基于能量的模型,包括受限玻尔兹曼机(RBM)和深度玻尔兹曼机等。它们既是早期的神经网络模型,也是经典的生成模型。接着介绍目前常见的深度生成模型,包括自编码器和变分自编码器。最后,介绍生成对抗网络(GAN)及其变种。
数据科学人工智能
2022/03/31
1.1K0
深度生成模型
【机器学习】六、概率图模型
今天我们对概率图模型(Probabilistic Graphical Model,PGM)做一个总结。
Twcat_tree
2023/11/08
4420
【机器学习】六、概率图模型
相关推荐
机器学习是如何借鉴物理学思想的?从伊辛模型谈起(万字长文)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档