Loading [MathJax]/extensions/TeX/autoload-all.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Jensen (琴生) 不等式

Jensen (琴生) 不等式

作者头像
为为为什么
发布于 2022-08-09 11:15:14
发布于 2022-08-09 11:15:14
1.6K0
举报
文章被收录于专栏:又见苍岚又见苍岚

琴生不等式以丹麦技术大学数学家约翰·延森(John Jensen)命名。它给出积分的凸函数值和凸函数的积分值间的关系。

简介

琴生不等式(Jensen’s inequality)以丹麦技术大学数学家约翰·延森(John Jensen)命名 ,它给出积分的凸函数值和凸函数的积分值间的关系。

  • 琴生不等式有以下推论:过一个下凸函数上任意两点所作割线一定在这两点间的函数图象的上方,即:

Jensen不等式

  • 根据凸函数性质,凸集 上的凸函数 上的两点 满足
  • 把上式推广到 个点的情况,即得 Jensen 不等式:对于凸函数 ,其所在凸集 中的任意点集 ,若 ,则有
  • ,如下不等式成立:
证明

现在我们以凸函数为例,证明对于凸函数 来说,对任意 ,如下不等式成立:

采用归纳法证明上述不等式

  • 首先对于J=1,很明显不等式成立;
  • 首先对于J=2,根据凸函数定义

, 不等式成立

  • 假设

时不等式成立,即:

    • 往证 J=n+1 时不等式成立:

代码语言:txt
AI代码解释
复制
- 因此当 J=n+1 时不等式成立
- 完成了 Jensen 不等式的归纳法证明
扩展
  • 为凸函数,则根据Jensen不等式,有:
  • 对于连续随机变量 ,若 为凸函数,则根据Jensen不等式,有:

更一般的概率密度形式:

  • 假设Ω是实轴上的可测子集,而f(x)是非负函数,使得:

即 f 是个概率密度函数

  • 若g是任一实值可测函数,ϕ 在g的值域中是凸函数,则

若g(x)=x,则这形式的不等式简化成一个常用特例:

一般的有限形式:

  • 若Ω是有限集合 {1,x2,…,xn} ,则不等式的一般形式可以简单地用和式表示:

其中

  • 若 ϕ 是凹函数,只需把不等式符号调转
  • 假设

是正实数,

及 φ(x)=log⁡(x)。上述和式便成了

  • 两边取自然指数就得出熟悉的均值不等式:

参考资料

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年6月8日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
常见不等式考察(一)——Jensen不等式
这两天在看文献的时候,突然注意到文献中使用了Jensen不等式,然后猛地发现似乎太久不看这些东西,都已经忘得差不多了,是时候得好好复习一下这些东西了……
codename_cys
2021/09/26
2.8K0
常见不等式考察(一)——Jensen不等式
数据科学基础(四) 大数定律与中心极限定理
📚 文档目录 随机事件及其概率 随机变量及其分布 期望和方差 大数定律与中心极限定理 数理统计的基本概念 参数估计 假设检验 多维 回归分析和方差分析 降维 4.1 大数定律 大量重复实验的平均结果的稳定性. 4.1.1. 马尔可夫不等式 P\left\{X\geq a\right\}\leq\displaystyle\frac{EX}{a} 证明:EX=\displaystyle\int_0^{\infty}xf(x)dx=\int_a^{\infty}xf(x)dx+\int_0^{a}xf(x)dx
Rikka
2022/01/19
7520
数据科学基础(四) 大数定律与中心极限定理
【11408学习记录】破译语言密码·征服数学迷宫——长难句拆解与方程不等式全析
绝大部分长难句都是属于基本结构的长难句,即没有经过复杂结构变化的长难句。可以通过“两步分析法”进行分析:
蒙奇D索隆
2025/04/01
970
【11408学习记录】破译语言密码·征服数学迷宫——长难句拆解与方程不等式全析
工程优化学习笔记
对于凸规划 $ min f(x) $ $ s.t. g_i(x) \leq 0, i=1,2,L,m $
范中豪
2020/02/11
3820
工程优化学习笔记
凸集与凸函数
凸函数(一元)的定义是: 任意属于定义域的两个自变量x1和x2,且对于任意0≤θ≤1,如果函数f(⋅)满足:
为为为什么
2022/08/09
7360
凸集与凸函数
【数值计算方法(黄明游)】解线性代数方程组的迭代法(一):向量、矩阵范数与谱半径【理论到程序】
  矩阵的范数是定义在矩阵空间上的实值函数,用于度量矩阵的大小或度量。对于一个矩阵
Qomolangma
2024/07/30
1600
【数值计算方法(黄明游)】解线性代数方程组的迭代法(一):向量、矩阵范数与谱半径【理论到程序】
概率论基础 - 5 - 马尔可夫不等式
马尔可夫不等式把概率关联到数学期望,给出了随机变量的累积分布函数一个宽泛但仍有用的界。 定义 马尔可夫不等式用于估计尾事件的概率上界。 若随机变量X只取非负值,则\forall a>0 \mathbb{P}(X \geq a) \leq \frac{\mathbb{E}(X)}{a} 证明 思路1 放大概率,得到部分函数期望 截断函数期望,二者相比较 考虑 X\ge a的情况 → \frac {X}{a} \ge 1 对于不等式左边有: \mathbb P(X \geq a)=\int_
为为为什么
2022/08/05
1.4K0
概率论基础 - 5 - 马尔可夫不等式
琴生不等式
琴生不等式(Jensen’s inequality)是数学中重要的不等式之一,其给出了凸组合的函数值和函数值的凸组合之间的关系。
hotarugali
2022/03/18
7570
琴生不等式
拉格朗日对偶问题
在前文了解过拉格朗日乘数法后,进一步介绍拉格朗日对偶。 背景信息 在约束最优化问题中,常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换为对偶问题,通过解对偶问题而得到原始问题的解。 拉格朗日对偶是在拉格朗日乘数法基础之上,通过变换原始问题的求解形式得到的相对于原始优化问题的另一个优化问题 原始优化问题 假设f(x), c_i(x), h_j(x) 是定义在\mathbf{R}^{n}上的连续可微函数,考虑约束最优化问题: image.png 定义此问题为原始优化问
为为为什么
2022/08/05
9190
拉格朗日对偶问题
凸函数及其性质
等号成立时当且仅当 。而根据上文对于上凸函数对于 不等式推导过程可知,若上凸函数为严格上凸函数,则第一个 处等号成立当且仅当: ;第二个 处等号成立当且仅当: ; ;第 个 处等号成立当且仅当: 。所有等号都成立则以上条件都需满足,对以上条件反向推导可得: ; ; ; 。即 等号成立当且仅当
hotarugali
2022/03/16
1.3K0
概率论基础 - 6 - 切比雪夫不等式
切比雪夫不等式可以使人们在随机变量X的分布未知的情况下,对事件|X-\mu|<\varepsilon 定义 假设随机变量X具有期望E(X)=\mu, 方差 Var(X)=\sigma^2,则对于任意正数\varepsilon ,有不等式成立: image.png 含义 其意义是:对于距离E(X)足够远的地方(距离大于等于\varepsilon),事件出现的概率是小于等于\frac{\sigma^{2}}{\varepsilon^{2}} 。即事件出现在区间[\mu-\varepsilon, \
为为为什么
2022/08/05
2.3K0
概率论基础 - 6 - 切比雪夫不等式
霍夫丁不等式
在概率论中,霍夫丁不等式(Hoeffding’s Inequality)给出了有界独立随机变量之和偏离其均值超过一定数量的概率上界。霍夫不等式是切比雪夫界的推广,同时又是吾妻不等式和McDiarmid不等式(还没给出标准的中文翻译2333)。霍夫丁不等式是机器学习的基础理论。
hotarugali
2022/03/18
1.6K0
均值不等式
均值不等式(inequality of arithmetic and geometric means,简称 AM-GM 不等式)是数学中常用的基本不等式之一。
hotarugali
2022/03/18
1.8K0
数据科学基础(六) 参数估计
📚 文档目录 随机事件及其概率 随机变量及其分布 期望和方差 大数定律与中心极限定理 数理统计的基本概念 参数估计 假设检验 多维 回归分析和方差分析 降维 6.1. 参数的点估计 总体分布 X 的分布形式已知,未知的只是分布中的参数,要估计的只是参数或者参数的某一函数. 6.1.1. 矩估计法 公式 样本矩 总体矩 注意: 样本阶中的计算都是 n 而不会用到样本方差 S^2 6.1.2. 极大似然估计 估计参数值,使得出现
Rikka
2022/01/19
8180
数据科学基础(六) 参数估计
机器学习之从极大似然估计到最大熵原理以及EM算法详解
极大似然估计是建立在极大似然原理的基础上的一个统计方法,极大似然原理的直观想法是,一个随机试验如有若干个可能的结果A,B,C,... ,若在一次试验中,结果A出现了,那么可以认为实验条件对A的出现有利,也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球,1个黑球;乙箱中有1个白球.99个黑球。现随机取出一箱,再从抽取的一箱中随机取出一球,结果是黑球,这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多,这时我们自然更多地相信这个黑球是取自乙箱的。一般说来,事件A发生的概率与某一未知参数 \theta 有关, \theta 取值不同,则事件A发生的概率P(A|\theta )也不同,当我们在一次试验中事件A发生了,则认为此时的\theta 值应是t的一切可能取值中使P(A|\theta )达到最大的那一个,极大似然估计法就是要选取这样的t值作为参数t的估计值,使所选取的样本在被选的总体中出现的可能性为最大。
大黄大黄大黄
2018/04/01
3.1K17
机器学习之从极大似然估计到最大熵原理以及EM算法详解
大学生数学竞赛非数专题一(3)
有问题的可以找小编,前面四个题目均是应用夹逼定理来做题,后面两个是关于单调有界来做题。
用户9628320
2022/11/23
4320
每日一练5.30
今天的题目就到这里了,主要利用积分的计算方法,直角坐标和极坐标,注意应用的条件,一般带有绝对值的函数求
用户9628320
2022/11/23
4390
Deep Learning Chapter01:机器学习中概率论
好久不见,大家好,我是北山啦。机器学习当中需要用到许多的数学知识,如今博主又要继续踏上深度学习的路程,所以现在在网上总结了相关的考研数学和机器学习中常见相关知识如下,希望对大家有所帮助。
北山啦
2022/10/31
4020
Deep Learning Chapter01:机器学习中概率论
机器学习之从极大似然估计到最大熵原理以及EM算法详解
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/article/details/78774972
大黄大黄大黄
2018/09/14
1.5K0
机器学习之从极大似然估计到最大熵原理以及EM算法详解
概率论基础 - 8 - 大数定理
概率论历史上第一个极限定理属于伯努利,后人称之为“大数定律”。概率论中讨论随机变量序列的算术平均值向随机变量各数学期望的算术平均值收敛的定律。 依概率收敛 定义 有 : \lim _{n \rightarrow \infty} P\left\{\left|Y_{n}-a\right| \leq \varepsilon\right\}=1 ​ 则称序列依概率收敛于a,记作: Y_{n} \stackrel{P}{\rightarrow} a 含义 收敛:表明这是一个随机变量序列,而不
为为为什么
2022/08/05
1K0
概率论基础 - 8 - 大数定理
推荐阅读
相关推荐
常见不等式考察(一)——Jensen不等式
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档