。 其定义域为
, 其值为
。当
时,
的下凸函数 R(D) 在定义域内是失真度
的
型下凸函数
R(D) 的非增性也容易理解。允许的失真越大
信息率越小。
中,取平均互信 息的最小值。
集合也扩大,这时在扩大的
集合中找最小值,显然这最小值或者不变,或者变小,所以R(D) 是非增的。
根据上述性质, 可以画出率失真函数的一般形式, 如下图示。
图中
,
, 决定了曲线边缘上的两个点。而 在 0 和
之间, R(D) 是单调递减的下凸函数。
在连续信源情况下, 当
时,
, 曲线将不与 R(D) 轴相交。
关于信息率失真函数的说明:
通常我们总希望信息通过信道传输时输入与输出之间的互信息最大,是在信道给定情况下的要求。而这里是在信源给定而不是信道给定条件下传输。信息率失真理论要解决的问题就是计算满足失真要求的传输所需的最小信道容量或传输速率,以达到降低信道的复杂度和通信成本的目的。
适应信源方式:认识信源的实际客观概率统计特性,寻找适应此类概率统计特性的编码方法。
改造信源方式:改造信源的客观统计特性,即解除实际信源消息序列各消息间的统计相关性,使之成为无记忆信源,进而采用预测编码和变换编码。
参考文献:
本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有