信息论初级——信源概述——2020-11-11

信息论初级——信源概述

内容：
一、信源的数学模型以及分类
二、离散信源信息熵以及其性质
三、随机波形信源
四、信源的冗余度

   关于连续与离散的一些思考：我觉得，连续的本质是离散，即万物皆离散。在定义中，连续的例子有语音信号、热噪音信号等，这些例子如果以生活的角度去看，确实是连续的，因为你发音的时候喉咙是一直在震动的，发出的声音是“连续”的，但是如果将你发出声音的单位时间无限缩小，其实你发出的声音是一帧一帧的，就跟电影录像带一样。**

1.离散信源的信息熵以及其性质：
      ——自信息：某个随机变量所携带的信息量
              I（x）= - log P（x）  log默认是以二为底的对数；p(x)为先验概率。
              在事件发生前，I（x）代表事件 包含的不确定性。事件发生后，I（x）代表事件所提供的信息量。

     ——信息熵：H(x)平均自信息量,单位是bit/符号；还包括联合熵与条件熵

     基本性质：
                       1.离散信息熵是非负的，非负性。
                       2.对称性，即调换信源内信息元的位置后所得的信息熵仍旧不变。
                       3.确定性，即当信源中有一信息元基本确定会出现时，其他信息元基本不会出现，故可得该信源的信息熵为0。
                       4.扩展性，信源的取值数增多时，如若增多的这些值对应的概率很小，则信源的熵不变。
                       5.可加性，H(xy)=H(x)+H(y)；条件：x与y相互独立。
                       6.强可加性，H(xy)=H(x)+H(y/x)； 条件：x与y相互关联。
                       7.递增性，如果信源中有一信息元被分裂成为了多个信息元，且该信源所有信息元概率和仍然为1，那么该信源的熵增大，且熵的增量等于由于分割产商的不确定性量。
                       8.极值性，H(x)max=nlog(1/n)。
                       9.上凸性，同极值性。

2.离散平稳信源：（平稳的意思就是说：离散随机变量的概率分布与时间起点无关）
—— 离散无记忆信源：（离散随机变量之间没有依赖关系）
——离散无记忆信源的拓展信源：例如X属于（0,1），且X的一组信息元为（10,11），那么X的二次拓展信源为X^2：（10,11+00,01）=(1000,1101)。
——离散无记忆N次拓展信源的熵：H(x)=H(x^N)=N*H(x)。

–离散固定信号源(一般)：(两个信号源在任意时刻发出的符号的概率分布完全相同)该信号源可以有记忆

有记忆的含义：——信源在某一时刻发出的符号值取决于两方面：a.这一时刻该变量的分布概率 ； b.这一时刻以前发出的消息。

3.二维离散平稳信源：H(ab) != H(a)+H(b) ;H(ab)=H(a)+H(b/a)
一个思路：其实N维离散信源（N个符号之间有关联）可以看成是单符号离散信源的N次拓展信源，这样处理就可以将离散平稳信源转化为离散平稳无记忆信源。
——例如H(X1X2)=H(X1)+H(X2/X1)。
————但是此时不能准确求出H(X1)与H(X2)的值，此时用平均符号熵作为近似值，即H(X1,X2)=H(X1X2)/2；
——————或者用条件熵H(X2/X1)作为近似值。

马尔科夫信源的性质：a.时齐性：符号的输出概率与时刻l无关，该性质成为时齐性。
b.遍历性：不管初始时刻是何时，在系统运行一段时间后，马尔可夫信源的状态会稳定下来形成循环图。

m阶马尔可夫信源：在任何时刻 l ，符号发生的概率只与前面的m个符号有关。

Original: https://blog.csdn.net/Max_one/article/details/109605783
Author: 青州街打工人
Title: 信息论初级——信源概述——2020-11-11