企业官网建设流程全解析

一、信源的本质分类（核心区分点）

根据输出符号是否独立，把信源分为两大类：

1. 无记忆信源

任意时刻输出符号，与历史符号无关、相互独立

• 序列联合概率 = 各符号概率直接相乘

• 无任何冗余、无相关性

• 第二章全部内容都属于无记忆信源

2. 有记忆信源

现实绝大多数信源（文字、语音、代码）

• 当前符号概率 依赖前面输出符号

• 符号存在强相关性

• 存在大量冗余，可压缩
本章重点：有记忆平稳信源 + 马尔可夫信源
二、平稳信源定义（必考简答题）

平稳信源：信源统计特性不随时间平移而改变

满足两个条件：

1. 一维概率分布恒定：任意时刻符号分布相同

2. 多维联合分布只和符号间隔有关，和起始时刻无关

简单理解：

• 今天发的信源规律、明天发的规律 一模一样

• 大部分工程信源默认都是平稳信源

三、N维离散平稳信源（大题核心）

1. N长信源序列熵

对于有记忆信源，序列熵不能直接乘N，必须用条件熵累加：

H(X_1X_2\cdots X_N)=H(X_1)+H(X_2|X_1)+H(X_3|X_1X_2)+\dots+H(X_N|X_1\cdots X_{N-1})

2. 平均符号熵

表示：N个符号平均每一个符号携带的信息量

H_N=\frac{1}{N}H(X_1X_2\cdots X_N)

3. 极限熵（熵率）

当序列无限长时，信源稳定后的真实单符号信息量

H_\infty=\lim_{N\to\infty}H_N(X)

4. 重要熵大小关系（必背）

H_\infty \le H_{N+1} \le H_N \le H(X) \le H_0

• H_0：最大熵（等概独立）

• H(X)：单符号熵（不考虑关联）

• H_N：N长序列平均熵

• H_\infty：真实有效信息量（最小、最真实）

👉 记忆规律：相关性越强，最终极限熵越小，冗余越大

四、平稳无记忆信源（特例）

如果信源平稳 + 无记忆：

• 所有条件熵 = 单符号熵

• 序列熵：

H(X^N)=N\cdot H(X)

• 平均符号熵恒定：

H_N=H(X)=H_\infty

特点：无冗余、不可压缩

五、平稳有记忆信源（考试主力）

核心特点：

1. 符号前后依赖、概率不独立

2. 随着序列变长，平均符号熵不断下降

3. 最终收敛到极限熵

4. 真实信息传输量由极限熵决定，不是单符号熵

工程意义：
信源压缩编码，压缩极限 = 信源极限熵

六、马尔可夫信源（本章最难、分值最高）

1. 定义

有限记忆、无后效性的平稳有记忆信源
未来符号只依赖最近m个符号，与更早历史无关，称为 m阶马尔可夫信源

一阶马尔可夫：只依赖前1个符号（考试99%考一阶）

2. 核心模型：状态转移

把每一种符号组合定义为 状态
已知：

• 初始状态概率分布

• 状态转移概率矩阵

即可完全描述整个信源

3. 平稳状态分布

马尔可夫链稳定后满足：

\pi_j=\sum_i \pi_i \cdot p_{ij}

\sum \pi_i=1

4. 马尔可夫信源极限熵公式

H_\infty=-\sum_{i}\sum_{j} \pi_i,p_{ij}\log p_{ij}

所有马尔可夫计算题，最终都套这一条公式
七、信源剩余度（冗余度）

1. 公式

\gamma=1-\frac{H_\infty}{H_0}

• H_0=\log q：最大熵

• H_\infty：真实熵

2. 物理意义

• \gamma 越大：冗余越高，压缩空间越大

• \gamma 越小：信源越接近理想无记忆信源

3. 生活例子

中文文本冗余度极高，所以可以：

• 删字不改意

• 高比例压缩存储

八、本章终极总结

1. 无记忆信源：熵最大、无冗余、不可压缩

2. 有记忆平稳信源：存在相关性，熵随序列变长递减

3. 极限熵是信源真正的信息输出速率

4. 马尔可夫信源用状态+转移概率建模有限记忆

5. 剩余度决定信源压缩潜力

九、高频易考点（考前速记）

• 平稳信源：时间平移不变

• 有记忆信源：条件熵逐级递减

• 马尔可夫核心：无后效性

• 压缩极限：极限熵

• 冗余来源：符号相关性