干货速收：信息论与编码的一部分概念题。

信息论的概念题

一：请简述信息、消息和信号三者的含义和差异。

信息是指各个事物运动的状态及状态变化的方式，是一个抽象概念；消息是指包含信息的语言、文字和图像等，是信息的一种形式；信号是消息的物理体现，为了在信道上传输信息，就必须把消息加载到具有某种物理特性的信号上去。所以，消息是数学载体，信号是物理载体。

二：什么是不确定度？什么是自信息量？关系与区别。

不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征了该符号的特性。

自信息量：是指该符号出现后，提供给收信者的信息量，定义具有概率为P(xi)的符号xi的自信息量为：I(xi)=-logp(Xi)

关系：符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同，不确定度是信源符号固有的，不管符号是否发出；而自信息量是信源符号发出后给予收信息者的。

三：平均自信息量、信源熵、条件熵、联合熵的概念。

平均自信息量：即平均每个符号所能提供的信息量，它只与信源中各个符号出现的概率有关。表示信源的不确定度，也表示平均每个信源消息所提供的信息量，

信源熵：把信源x的的平均不确定度又称为信源x的熵，信源熵是在平均意义上来表示信源的总体特性。

条件熵：是在联合符号集合（X,Y）上的条件自信息量的联合概率加权统计平均值。如条件熵H(X|Y)表示已知Y后，X的不确定度：

联合熵：是联合符号集合（X,Y）上的每个元素对（xi,yj）的自信息的概率加权统计平均值，如联合熵H(X，Y)表示X和Y同时发生的不确定度：

联合熵、条件熵与熵的关系：H（X,Y）=H(X)+H(Y|X)=H(Y)+H(X|Y)

四：信道容量的定义。

信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。在信息论中，称信道无差错传输信息最大信息速率为信道容量，记为C=,符号是bit/符号。

五：什么是线性分组码？

分组码是一组固定长度的码组，可表示为（n , k），通常它用于前向纠错。在分组码中，监督位被加到信息位之后，形成新的码。在编码时，k个信息位被编为n位码组长度，而n-k个监督位的作用就是实现检错与纠错。当分组码的信息码元与监督码元之间的关系为线性关系时，这种分组码就称为线性分组码。

六：什么是信源编码，作用是什么？

编码就是从信源符号到码符号的一种映射，信源编码就是指定能够满足信道特性的符号序列，来表示信源输出的消息。

两个作用：1：符号变换：使信源输出的符号与信道输入符号相匹配。2：冗余度压缩：使编码效率接近或等于100%。

七：简述信道纠错编码的思路和目的。

思路：按某种规则在传输的码元序列之中，附加一些冗余的码元，这些冗余码元的取值和原来包含初始信息的码元区直有关。由于插入了冗余码元，原本只是单纯传输信息的码元序列具有了特定的规律，而这些冗余码元也就对信号起了监督作用，又称为“监督码元”。

举例而言：想要传输k位信息，经过编码得到长为n(n>k)的码字，则增加了n-k=r位多余码元。

目的：为了保证信息传输的可靠性，提高信息传输质量，使码字具有一定的抗干扰能力。

八：差错控制系统的基本工作方式有哪些？

　前向纠错（FEC）方式：发端发送有纠错能力的码（纠错码），接收端收到这些码后，通过纠错译码器自动地纠正传输中的错误。

　反馈重发（ARQ）方式：发端发出能够发现错误的码（检错码），收端译码器收到后，判断在传输中有无错误产生，并通过反馈信道把检测结果告诉发端，发端把收端认为有错的信息再次发送，直到收端认为正确为止。

　混合纠错（HEC）方式：此法是前向纠错和反馈重发的结合，发送端发送的码兼有检错和纠错的能力，收端译码器收到码字首先检验错误情况，如果差错不超过码的纠错能力，则自动进行纠错；如果判断码的差错数量已超出码的纠错能力，则接收端通过反馈信道给发送端一个要求重发的信息。

九：检错码与纠错码的不同之处。

检错码：只检错不纠错。

纠错码：发现错误并给予纠正。

十：试简述码的距离（汉明距离）和重量（汉明重量）的概念，线性分组码的最小距离有何实际意义？

两个码字之间，对应位取值不同的个数，成为它们之间的汉明距离，简称距离，用d(c1,c2)表示。

码字中非零码元的个数，称为该码字的汉明重量，简称重量，用W（c）表示。

一个线性分组码的最小距离是衡量码抗干扰能力的重要参数，码的最小距离越大，其抗干扰能力越强。