企业官网建设流程全解析

马尔可夫信源与信源

内容：马尔可夫信源、状态转移概率、马尔可夫信源熵、信源最大熵、信源剩余度（冗余度），包含课本定义、概念解读、性质、例题，公式附带释义标注

一.马尔可夫信源

1.马尔可夫信源定义

若信源输出符号序列，某一时刻输出符号的概率，仅依赖前面有限m个符号，与更早时刻输出的符号无关，该信源称为m阶马尔可夫信源。

1. m阶代表信源记忆长度，只记忆最近m个符号；

2. 0阶马尔可夫信源等价于无记忆离散信源；

3. 一阶马尔可夫信源考试最为高频：下一个符号发生的概率，只和紧邻前一个符号有关；

4. 马尔可夫信源属于有记忆信源，符号之间存在相关性，可以用状态描述信源记忆。

2.信源状态与状态转移概率

【定义】
把m个连续符号组合定义为马尔可夫信源的一个状态 s。信源从当前状态 s，输出某符号之后跳转到下一个状态 s，发生跳转的概率叫做状态转移概率。

【概念解读】

3.m阶马尔可夫信源熵

【定义】
达到稳态之后，m阶马尔可夫信源每符号平均信息量，也就是马尔可夫信源的极限熵。

【概念解读】

4.马尔可夫信源核心性质

【课本例题】
某一阶二元马尔可夫信源，稳态状态概率已知，代入状态与输出符号条件概率，直接使用上面公式计算信源极限熵，算出结果即为每个符号实际平均信息量。

3.3 信源最大熵

【定义】
q元离散无记忆信源，当各个输出符号等概率分布的时候，信源熵取得最大值，该最大值称为信源最大熵。
【课本公式】

【概念解读】

1. q 代表信源符号的总个数；

2. 最大熵是信源理论能够达到的信息量上限；

3. 只要符号不是等概率分布，信源实际熵一定小于最大熵；

4. 最大熵只和符号数量q有关，与各个符号发生的具体概率无关。

3.4 信源剩余度（冗余度）

【定义】
信源的最大熵与实际极限熵之间存在差值，代表信源当中存在可压缩的多余成分，使用剩余度衡量信源冗余的大小。剩余度体现信源可以进行压缩编码的空间。

3.4.1 信源信息效率

【定义】
信源实际极限熵与最大熵的比值，代表信源信息被利用的程度。

【课本公式】

【概念解读】
n 取值介于0~1之间；数值越接近1，代表信源符号的信息利用越充分。

3.4.2 信源剩余度

【课本公式】

【概念解读】

【课本完整计算例题】

本篇博客公式汇总


本篇易错考点小结

1. 马尔可夫信源核心是有限记忆，一阶只依赖前一个符号；

2. 马尔可夫信源极限熵等于条件熵；

3. 最大熵仅取决于符号数目q；

4. 剩余度越大，代表信源可压缩空间越大；

5. 剩余度来自：符号概率不均匀、符号之间相关性。