- 综合排序
- 最热优先
- 最新优先
- 来自专栏TechBlog
信息论绪论
文章目录 一、信息的基本概念 什么是信息（information) 信息、消息和信号 信息 消息 信号 信息的特征 信息论 二、信息论研究的内容 狭义信息论 一般信息论 广义信息论 信息论研究的内容 信息论 信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科，被称为“通信的数学理论”。 二、信息论研究的内容 狭义信息论 主要研究信息的测度、信道容量以及信源和信道编码理论等问题。 一般信息论 主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。 **两篇文章成了现在信息论的奠基著作。
47750编辑于 2023-02-24 - 来自专栏架构师成长之路
信息论的熵
在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。 熵在信息论中的定义推导过程如下： 信源的不确定性：信源发出的消息不肯定性越大，收信者获取的信息量就越大。如果信源发送的消息是确切的，则对收信者来说没有任何价值（没有信息量）。
1.4K20编辑于 2022-04-15 - 来自专栏算法之名
信息论整理
信息论研究的目的和范畴 通信系统模型 古人近距离用语言来传递信息，远距离用手势、烽火来传递信息；现代人用各种通讯工具(电话、互联网)来传递信息。 基本信息论 信源及信源的不确定性 实际有用的信源应具有不确定性(也称为不肯定性)。
50610编辑于 2022-09-08 - 来自专栏又见苍岚
信息论 - 交叉熵
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。 定义 在信息论中，交叉熵（Cross Entropy）是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。。
59710编辑于 2022-08-05 - 来自专栏YoungGy
信息论中的各种熵
本文简单介绍了信息论中的各种熵，包括自信息、熵；联合熵、条件熵、互信息；KL散度、交叉熵。并在最后用信息论中的交叉熵推导了逻辑回归，得到了和最大似然法相同的结果。
1.6K50发布于 2018-01-02 - 来自专栏老齐教室
用信息论剖析深度学习
作者：Lilian Weng 翻译：老齐 与本文相关书籍推荐：《数据准备和特征工程》 ---- 最近，我聆听了Naftali Tishby教授的演讲“深度学习中的信息论”，感觉很有意思。 他在演讲中说明了如何将信息论用于研究深度神经网络的增长和转换，他利用IB（Information Bottleneck）方法，为深度神经网络（DNN）开创了一个新的领域，由于参数的数量成指数增长，导致传统的学习理论在该领域均行不通
1.1K30发布于 2020-05-15 - 来自专栏ShowMeAI研究中心
图解AI数学基础 | 信息论
www.showmeai.tech/tutorials/83 本文地址：http://www.showmeai.tech/article-detail/164 声明：版权所有，转载请联系平台与作者并注明出处 信息论是运用概率论与数理统计的方法研究信息 信息论中包含的知识和概念在机器学习中也有应用，典型的例子是其核心思想『熵』的应用。 例如，决策树模型ID3、C4.5中是利用信息增益来确定划分特征而逐步生长和构建决策树的；其中，信息增益就是基于信息论中的熵。 4.相对熵（Kullback–Leibler divergence） 相对熵在信息论中用来描述两个概率分布差异的熵，叫作KL散度、相对熵、互熵、交叉熵、信息增益。 5.互信息（Mutual Information） 互信息是信息论里一种有用的信息度量方式，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性
1K81编辑于 2022-02-25 - 来自专栏小锋学长生活大爆炸
基于信息论的编码技术
关键词 信息论 编码 综述 正 文 信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科（如图1[[1]]所示）。 信息论在统计物理（热力学）计算机科学（科尔莫戈罗夫复杂度）、推断统计（奥卡姆剃刀）等学科方向中都有奠基性的贡献。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。 信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 ? 图 1 信息论研究领域 1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》。 香农的这三大定理是信息论的基础理论。这三大定理都是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。 因此，自信息论发展以来，许多科学家对编码的研究也是从未止步。 ?
1.8K30发布于 2020-08-13 - 来自专栏又见苍岚
信息论 - 基础概念
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。本文介绍基本概念。 * 信息论背后的原理是：从不太可能发生的事件中能学到更多的有用信息。 发生可能性较大的事件包含较少的信息。 发生可能性较小的事件包含较多的信息。 独立事件包含额外的信息 。 85779990 http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html https://baike.baidu.com/item/信息论
85810编辑于 2022-08-05 - 来自专栏全栈程序员必看
信息论-Turbo码学习
信道编码的初期：分组码实现编码，缺点有二：只有当码字全部接收才可以开始译码，需要精确的帧同步时延大，增益损失多
1.8K20发布于 2021-04-07 - 来自专栏又见苍岚
信息论 - KL散度
根据 shannon 的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。
1.6K20编辑于 2022-08-05 - 来自专栏数据派THU
【干货书】信息论与编码
来源：专知本文为书籍介绍，建议阅读5分钟这本书是提供信息理论和错误控制编码的全面概述。 这本书是提供信息理论和错误控制编码的全面概述，使用一个不同的方法然后在现有的文献。章节根据香农系统模型组织，其中一个区块影响其他区块。在每一章的开始提供一个相对简短的理论介绍，包括一些额外的例子和解释，但没有任何证明。并在相应章节的末尾对抽象代数的一些方面作了简要的概述。带有大量插图和表格的典型复杂例子被选择来提供对问题本质的详细见解。给出了一些极限情况来说明与理论界的联系。仔细选择数值，以提供所描述的算法的深入解释。
24610编辑于 2022-07-25 人工智能数学基础（九）—— 信息论
信息论是一门研究信息的度量、存储、传输和处理的学科，它在人工智能领域尤其是机器学习、自然语言处理和计算机视觉等方面有着广泛的应用。 今天，我将带大家深入浅出地探索信息论的核心概念，并结合 Python 实例，让大家能够直观地理解和应用这些知识。 9.1 概述 9.1.1 信息论的形成和发展 信息论由克劳德·香农在 1948 年创立，最初用于解决通信中的信息传输问题。 随着时间的推移，信息论的应用范围不断扩大，逐渐渗透到人工智能、数据科学、生物信息学等多个领域。 9.1.2 信息论对人工智能的影响 在人工智能中，信息论提供了度量数据信息量、评估模型复杂度、优化算法性能的工具。
15110编辑于 2026-01-21- 来自专栏CreateAMind
互信息论文笔记
https://github.com/topics/mutual-information
1.5K50发布于 2018-09-27 - 来自专栏zingpLiu
信息论中的基本概念
思考： 根据上面的叙述，我们了解到：信息论中，对于孤立的一个随机变量我们可以用熵来量化；对于两个随机变量有依赖关系，我们可以用互信息来量化。那么:对于两个随机变量之间相差多少?
1.2K30发布于 2019-02-25 - 来自专栏MatheMagician
编码通信与魔术初步（二）——信息论基础
信息论信息和日常信息有什么区别？ 这里大家也可以看到信息论中的信息，和我们日常生活中说的信息，有什么区别。 信息论中的信息，仅仅是两个客观地用来描述同一个对象不确定度减少程度的客观过程量，强调其量的正负，大小。 至于这条信息有什么意义，是不是你关心的，接下来会产生什么影响，这些信息论统统都不考虑，但这些才是我们日常生活中所说的“有用信息”，“重要信息”，“关键信息”等等的含义，而信息论中的信息量，仅仅是个参考罢了 这一点是一开始学习和理解信息论非常重要的一个全新认知，如果你老是拿生活中理解的信息去套信息论中的信息，总是会感觉有些别扭和奇怪。 今天给大家介绍了信息论中关于信息部分的核心理解，其中以熵为核心还有一大堆信息论应用的重要思想和概念，我们下期见！ 后面要分享的魔术，抢先看！
42030编辑于 2023-01-30 - 来自专栏TechBlog
信息论与编码：信道的定义和分类
信道是任何一种通信系统中必不可少的组成部分。任何一个通信系统都可以视为由发送，信道与接收三部分组成。信道通常指以传输媒介为基础的信号通道。
1.1K20编辑于 2022-12-02 - 来自专栏企鹅号快讯
信息论与逻辑回归代价函数
本公众号文章：第4节 认知过程与逻辑回归描述了逻辑回归的原理，并且从数学上推导了逻辑回归代价函数的公式，但为什么采用这个公式需要从信息论的角度去说明。 信息论研究的是信息的度量，存储和传输。 信息论在信号处理，数据压缩，机器学习等领域有广泛应用。 信息论的核心是熵的概念，它是一种对信息不确定性的度量。信息的不确定性越大，则熵越大。 要理解信息论的概念，需要具有概率分布，条件概率等基本的数学基础。如果没有这方面基础，理解起来很困难。 我在网上发现一篇很好的文章，它从概率可视化的角度出发，从基本的概率分布和条件概率概念讲起，由浅入深，逐渐过渡到信息论和熵的概念。理解起来相对来说比较容易。
70850发布于 2018-01-08 - 来自专栏TechBlog
信息论与编码：恒参信道特性
恒参信道 ：信道特性不随时间变化或者变化很缓慢，信道特性主要由传输媒介所决定，如传输媒介基本不随时间变化，则它构成的信道属于恒参信道。
62650编辑于 2022-12-02 - 来自专栏TechBlog
信息论与编码：随参信道特性
随参信道的传输特性主要依赖于传输媒质特性，以电离层反射信道、对流层散射信道为主要代表。 随参信道是一种信道传输特性随时间随机快速变化的信道， 包括陆地移动信道，短波电离层反射信道、超短波微波对流层散射信道、超短波视距绕射信道。
1.7K10编辑于 2022-12-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号