本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】
信道容量
写出并解释信道容量的定义
分析计算如下信道的信道容量
- 无噪无损信道
- 有噪无损信道
- 无噪有损信道
- 二进制对称信道
- AWGN信道
信道容量的定义
香农指出信道中的噪声对信道造成的根本限制是信道的传信率, 而不是可靠性。
信息传输率 R
我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量, 即信道的信息传输率 R , 即
\begin{aligned} R=I(X ; Y) & =H(X)-H(X \mid Y) \\ & =H(Y)-H(Y \mid X) \text { bit } / \text { symbol } \end{aligned}信息传输速率
若每个符号传输时间为
t(\mathrm{s}) , 则信道在单位时间内平均的信息量定义为信息传输速率
R_{t}=\frac{I(X ; Y)}{t} \quad \mathrm{bit} / \mathrm{s}平均互信息
信道的信息传输率就是平均互信息
信道容量
最大的信息传输率, 单位 bit/symbol
C=\max _{p(\boldsymbol{x}_{i})} I(X ; Y)单位时间的信道容量, 单位 bit/s:
C=\frac{1}{T} \max _{p(x_{i})} I(X ; Y)三种特殊信道的容量
无噪无损信道
有噪无损信道
根据接收的符号, 可以完全确定发送符号, 无信息损失。
\begin{array}{c} H(X \mid Y)=0 \\ C=\max _{p(x)} I(X ; Y)=\max _{p(x)}\{H(X)-H(X \mid Y)\} \\ =\max _{p(x)} H(X)=\operatorname{logr} \end{array}
最佳输入为等概输入
无噪有损信道
发送不会出错, 无噪声。但是根据接收符号, 无法准确判断发送符号, 有信息损失。
\begin{array}{c} H(Y \mid X)=0 \\ C=\max _{p(x)} I(X ; Y)=\max _{p(x)}\{H(Y)-H(Y \mid X)\} \\ =\max _{p(x)} H(Y)=\operatorname{logs} \end{array}
最佳输入为使输出等概。
典型信道的信道容量
BSC信道容量
设二进制对称信道的输入概率空间为
[\begin{array}{l} X \\ P \end{array}]=[\begin{array}{cc} 0 & 1 \\ \omega & \bar{\omega} \end{array}]
信道矩阵:
P=[\begin{array}{cc} 1-p & p \\ p & 1-p \end{array}]=[\begin{array}{ll} \bar{p} & p \\ p & \bar{p} \end{array}]\begin{array}{l} p(y=0)=\sum_{i=0}^{1} p(x_{i}) p(y_{0} \mid x_{i})=\omega \bar{p}+\bar{\omega} p \\ p(y=1)=\sum_{i=0}^{1} p(x_{i}) p(y_{1} \mid x_{i})=\omega p+\bar{\omega} \bar{p} \\ H(Y) \\ =(\omega \bar{p}+\bar{\omega} p) \log \frac{1}{\omega \bar{p}+\bar{\omega} p}+(\omega p+\bar{\omega} \bar{p}) \log \frac{1}{\omega p+\bar{\omega} \bar{p}} \\ =H(\omega \bar{p}+\bar{\omega} p) \end{array}\begin{array}{l} H(Y \mid X)=-\sum_{i} p(x_{i}) \sum_{j} p(y_{j} \mid x_{i}) \log p(y_{j} \mid x_{i}) \\ =-\sum_{j} p(y_{j} \mid x_{i}) \log p(y_{j} \mid x_{i})=-[p \log p+\bar{p} \log p] \\ =H(p) \\ I(X ; Y)=H(Y)-H(Y \mid X)=H(\omega \bar{p}+\bar{\omega} p)-H(p) \\ \leq 1-H(p) \end{array}当 p 固定时, I(X ; Y) 是
\omega 的
\cap 型上凸函数。
\begin{array}{l} I(X ; Y)=H(Y)-H(Y \mid X) \\ =H(\omega \bar{p}+\bar{\omega} p)-H(p) \\ \leq 1-H(p) \end{array}
I(X, Y) 对 \omega 存在一个极大值,该极大值为信源的压缩极限。
BSC 信道容量 C=1-H§
当信源输入符号的速率为
r_{s} (符号/秒), 信道容量
C_{t}=r_{s}[1-H(p)]
实际信息传输速率
R_{t} 为
R_{t}=r_{s}[H(X)-H(X \mid Y)]
进入信道输入端的信息速率
D_{\text {in }}=r_{s} H(X) BSC信道如下图,
r_{s}=1000 符号/秒,错误传递概率
p=0.1 求:信道容量和实际信息传输速率。
\begin{aligned} C_{t} & =r_{s}[1-H(p)] \\ & =1000[1+(0.1 \log 0.1+0.9 \log 0.9)] \\ & =1000[1-0.469]=531 \mathrm{bit} / \mathrm{s} \end{aligned}
信道实际信息传输速率
\begin{array}{l} R_{t}=r_{s}[H(X)-H(X \mid Y)] \\ =1000 \times[0.811-0.398]=413 \mathrm{bit} / \mathrm{s} \\ D_{i n}=r_{s} H(X)=1000 \times 0.811=811 \mathrm{bit} / \mathrm{s} \end{array}
解:
I(X ; Y)=H(Y)-H(Y \mid X)\begin{aligned} H(Y \mid X) & =\sum_{x} p(x) H(Y \mid X=x) \\ & =q H(Y \mid X=0)+(1-q) H(Y \mid X=1) \end{aligned}
因为:
\begin{array}{l} H(Y \mid X=0) \\ =p(0 \mid x=0) \log p(0 \mid x=0)+p(1 \mid x=0) \log p(1 \mid x=0) \\ =1 \log 1+0 \log 0=0 \\ H(Y \mid X)=(1-q) H(Y \mid X=1)=(1-q) h(0.5)=1-q \end{array}\begin{array}{l} p(Y=0) \\ =q p(Y=0 \mid X=0)+(1-q) p(Y=0 \mid X=1) \\ =q+(1-q) \times 0.5=0.5+0.5 q p(Y=1)=q \\ p(Y=1 \mid X=0)+(1-q) p(Y=1 \mid X=1) \\ =(1-q) \times 0.5=0.5-0.5 q \end{array}
故:
\mathrm{C}=\max _{q}[H(0.5-0.5 q)-(1-q)]
令
\frac{d C}{d q}=0 , 有
q=\frac{3}{5}=0.6C=h(0.2)-0.4=0.3219连续信道的信道容量
单符号高斯连续信道
输入为连续随机变量
X \in(-\infty, \infty) ,输出为
Y=X+n,
n : 均值为 0 , 方差为
\sigma^{2} 的高斯变量, 与 X 统计独立。由条件概率可知, 当 X 已知时, Y 也为正态变量, 均值为 0 , 方差为
\sigma^{2} ,
p(y \mid x)=\frac{1}{\sqrt{2 \pi \sigma^{2}}} \exp [-\frac{1}{2 \sigma^{2}}(y-x)^{2}]\begin{array}{l} I[X ; Y, p(x)] \\ =H(Y)-\int_{-\infty}^{\infty} p(x) \int_{-\infty}^{\infty} p(y \mid x) \log p(y \mid x) d y d x \\ =H(Y)-\int_{-\infty}^{\infty} p(x) \log (\sqrt{2 \pi e} \sigma) d x \\ =H(Y)-\log (\sqrt{2 \pi e} \sigma) \end{array}注: p(x) 高斯分布, 则有
\int_{-\infty}^{\infty} p(x) \log p(x) d x=\log (\sqrt{2 \pi e} \sigma)
当信道输入功率为时
P_{W i} , 输出功率可表示为
P_{W o} , 且输入与噪声独立时
P_{W o}=P_{W i}+\sigma^{2}
使 H(Y) 最大的 Y 是均值为 0 的正态分布随机变量。而由
Y=X+n 可知,
X 也应该为均值为零方差为
P_{W_{i}} 的随机变量。所以
C=\log \sqrt{2 \pi e P_{W o}}-\log \sqrt{2 \pi e \sigma^{2}}=\frac{1}{2} \log \frac{P_{W o}}{\sigma^{2}}=\frac{1}{2} \log (1+\frac{P_{W i}}{\sigma^{2}})
如不限制输入信号,
H(\boldsymbol{H}) 、
P_{W_{o}} 可趋于无限, 此时信道容量无限大一一实际不可行。
限频、限功率高斯信道的容量
信道输入信号为平稳随机过程
X(t) , 加性干扰为
n(t) , 输出为
Y(t)=X(t)+n(t) 。输入信号功率受限, 即
E[X^{2}(t)] \leq S 。
限带信道的频率特性:
H(f)=\{\begin{array}{ll} 1, & |f|<B \\ 0, & |f|>B \end{array}.由单符号高斯信道容量公式可得
\begin{aligned} C & =\max _{p(x)}[I(X(t_{n}), Y(t_{n}), p(x))] \\ & =\frac{1}{2} \log (1+\frac{s}{\sigma^{2}}) \end{aligned}上式中
\frac{S}{\sigma^{2}} 为信号功率与噪声功率的比, 也即信噪比 , 其中
S=E[X^{2}(t_{n})], \sigma^{2}=E[n^{2}(t_{n})] 。
单符号信号一>多符号多维信道
X_{L}, Y_{L} 分别表示 L 个抽样
X(t_{n}), Y(t_{n}) (n=1,2, \ldots, L) 的 L 维向量, 则对多符号信道
I(X_{L}, Y_{L}) \leq \frac{L}{2} \log (1+\frac{S}{\sigma^{2}})
当
X(t_{n}), Y(t_{n}) 统计独立时
\max [I(X_{L}, Y_{L})]=\frac{L}{2} \log (1+\frac{S}{\sigma^{2}})T 时间内抽样数 L=2BT , 则信道传输最大信息量
C_{T}=B T \log (1+\frac{S}{\sigma^{2}})
对连续信道, 定义单位时间内传送的最大信息量为信道容量
C=\frac{C_{T}}{T}=B \log (1+\frac{S}{\sigma^{2}})
限频、限功率高斯信道的信道容量公式, 也即 Shannon公式。
小结：
保证一定的信道容量的带宽 B 和信噪比
S / N_{0} 可以互换, 即增加带宽 可以降低必须的信橾比, 或增加信噪比也可以降低所必须的带宽。
Shannon信道编码定理
揭示了信源信息速率与信道容量的关系
如果信源的信息率 (即每秒发出的信息量）小于信道容量, 则存在一种编码方式, 可保证通过该信道传送信息的差错率任意小；反之 , 如果信源的信息率大于信道容量, 则不可能存在此种编码方式, 传送信息的差错率将很大。
信源与信道的匹配
信道的信息的传输速率
\mathbf{R} 与信源分布密切相关。
\mathbf{R}=\mathbf{C} , 信源与信道匹配。
\mathbf{R} \neq \mathbf{C} , 信源与信道不匹配, 信道有冗余
定义
信道冗余度 = C - I (X ; Y)
其中
I(X ; Y) 是信道实际通过的平均信息速率
信道相对冗余度 =1-\frac{I(X ; Y)}{C}参考文献：
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.
