信息論基礎

翟明岳，本科畢業於吉林大學，碩士畢業於中國石油大學，博士畢業於北京郵電大學。先後工作於地礦部華東石油地質局、北京侏羅紀石油軟件開發公司、華北電力大學（2003年至今）。2008年，加州大學伯克利分校博士後；2015年，美國A&M大學訪問學者。中國電子學會普通會員、中國通信學會高級會員。主持2項國家自然科學基金項目，主持4項省部級重點項目，主持多項橫向課題。

 

目 錄

第 1 章  緒論   1 

1.1 信息的概念  1 

1.2 通信系統模型   2 

習題  3 

第 2 章  離散信息的度量    4 

2.1 概率論基本知識    4 

2.1.1 樣本空間與隨機事件 4 

2.1.2 概率的有關概念   5 

2.1.3 全概率公式和貝葉斯公式   6 

2.1.4 先驗概率和後驗概率 8 

2.1.5 離散隨機變量   9 

2.1.6 離散隨機變量的統計特性 11 

2.2 信息度量方法的引入     12 

2.3 自信息量和信息熵   13 

2.3.1 自信息量的定義與含義    13 

2.3.2 信息熵的定義與含義     15 

2.4 聯合自信息量與聯合熵  17 

2.4.1 聯合自信息量 17 

2.4.2 聯合熵 19 

2.5 互信息量與平均互信息量 21 

2.5.1 條件自信息量 21 

2.5.2 條件熵 22 

2.5.3 互信息量的定義  24

2.5.4 互信息量性質 26 

2.5.5 平均互信息量 29 

2.6 熵的性質以及各種熵之間的關系 32 

2.6.1 信息熵的性質 32 

2.6.2 各種熵之間的關系   42 

習題    46 

第 3 章  離散信源及信源熵   50 

3.1 隨機過程基本知識   50 

3.1.1 概率空間   50 

3.1.2 隨機過程   51 

3.2 信源的數學模型和分類  54 

3.2.1 信源的數學模型  54 

3.2.2 信源分類   55 

3.3 離散單符號信源 57 

3.3.1 離散單符號信源的概念和數學模型  57 

3.3.2 離散單符號信源的信息度量   58 

3.4 離散多符號信源. 58 

3.4.1 離散平穩信源的性質     59 

3.4.2 常見的離散平穩信源     60 

3.4.3 離散多符號信源的信源熵 61 

3.4.4 離散平穩無記憶信源     61 

3.4.5 離散平穩有記憶信源     68 

3.4.6 一維離散平穩信源的信源熵   71 

3.5 馬爾可夫信源 73 

3.5.1 有限狀態馬爾可夫鏈     73 

3.5.2 齊次馬爾可夫鏈及其平穩分佈    76 

3.5.3 齊次馬爾可夫信源   81 

3.5.4 m 階齊次馬爾可夫信源    88 

3.6 信源的相關性和剩餘度  93 

3.6.1 信源的相關性 93 

3.6.2 信源剩餘度    95 

習題    98 

第 4 章  離散通道及其容量 102 

4.1 通道的數學模型及其分類     102 

4.1.1 通道的基本概念和研究方法  102 

4.1.2 通道的數學模型    106 

4.1.3 通道的分類   106 

4.2 離散無記憶通道    107 

4.2.1 離散通道的數學模型. 107 

4.2.2 單符號離散通道    109 

4.2.3 通道疑義度   111 

4.3 離散通道中平均互信息量定理   113 

4.3.1 固定通道的平均互信息量上凸函數定理  114 

4.3.2 固定信源的平均互信息量下凸函數定理  115 

4.4 離散無記憶擴展通道   119 

4.4.1 離散無記憶擴展通道的定義  119 

4.4.2 離散無記憶 N 次擴展通道的數學模型   119 

4.4.3 多符號通道平均互信息量定理 122 

4.4.4  N 次擴展通道平均互信息量定理 .128 

4.5 通道容量  128 

4.5.1 通道中平均互信息量的含義  129 

4.5.2 通道容量的概念    131 

4.5.3 離散無噪通道的通道容量     135 

4.5.4 離散對稱通道的通道容量     137 

4.5.5 一般離散通道的通道容量     141 

4.5.6 離散無記憶 N 次擴展通道的通道容量   147 

習題   148 

第 5 章  無失真信源編碼    151 

5.1 信源編碼的相關概念   151 

5.1.1 無失真信源編碼的數學模型  151 

5.1.2 信源編碼的分類    153 

5.1.3 即時碼存在定理和構造方法  155 

5.2 定長碼及定長編碼定理    156 

5.2.1 唯一可譯定長碼存在的一般條件   156 

5.2.2 定長編碼定理   158 

5.3 變長碼和變長碼定理  162 

5.3.1 Kraft 不等式和 McMillan 不等式  163 

5.3.2 唯一可解碼的判別準則   164 

5.3.3 緊致碼平均碼長界限定理     165 

5.3.4 香農第一定理（無失真變長信源編碼定理）  169 

5.4 變長碼的編碼方法 173 

5.4.1 香農編碼  173 

5.4.2 香農-費諾-埃利斯編碼    175 

5.4.3 二元霍夫曼編碼    175 

5.4.4  r 元霍夫曼編碼  178 

習題   180 

第 6 章  有噪通道編碼    183 

6.1 通道編碼的基本概念   183 

6.1.1 編碼通道  183 

6.1.2 錯誤概率的影響因素分析     184 

6.1.3 解碼規則  185 

6.2 錯誤概率與編碼方法   192 

6.2.1 簡單重復編碼降低平均錯誤概率   193 

6.2.2 消息符號個數   196 

6.2.3 (5,2) 線性碼 197 

6.3 有噪通道編碼定理 202 

6.3.1 香農第二定理   202 

6.3.2 有噪通道編碼逆定理 .203 

6.3.3 錯誤概率的上界    204 

習題   205 

第 7 章  限失真信源編碼    207 

7.1 失真測度  207 

7.1.1 試驗通道  208 

7.1.2 失真函數  208 

7.1.3 平均失真  211 

7.2 信息率失真函數    212 

7.2.1 保真度準則與允許通道   212 

7.2.2 信息率失真函數的定義   212 

7.3 信息率失真函數的性質    213 

7.3.1 定義域     213 

7.3.2  R(D) 是 D 的下凸函數   217 

7.3.3  R(D) 是嚴格遞減函數    218 

7.3.4  R(D) 的典型曲線 219 

7.4 信息率失真函數的計算    220 

7.4.1 參量表示法求解 R(D)    220 

7.4.2 參量表示法求解 R(D) 例題  226 

7.5 限失真信源編碼定理和逆定理   230 

7.5.1 限失真信源編碼定理（香農第三定理）  230 

7.5.2 限失真信源編碼逆定理   230 

習題   230 

第 8 章  連續信源和連續通道   232 

8.1 連續隨機變量的基礎知識     232 

8.1.1 連續隨機變量與概率密度函數 232 

8.1.2 聯合概率密度函數與邊緣概率密度函數  233 

8.1.3 隨機變量和的概率密度函數  233 

8.2 連續信源的分類和統計特性  234 

8.2.1 連續信源的分類    234 

8.2.2 連續信源的統計特性. 234 

8.3 連續隨機變量的信息度量     236 

8.3.1 連續隨機變量的熵 236 

8.3.2 連續隨機變量的聯合熵、條件熵和平均互信息量 239 

8.4 連續信源的信息度量   243 

8.4.1 單符號連續信源的熵 .243 

8.4.2 多符號連續信源的熵. 244 

8.4.3 波形信源的熵率    246 

8.5 連續信源的最大熵 246 

8.5.1 連續信源最大熵的數學模型  246 

8.5.2 瞬時功率受限連續信源的最大熵   247 

8.5.3 平均功率受限連續信源的最大熵   248 

8.5.4 連續信源的熵功率 249 

8.6 連續通道和波形通道   251 

8.6.1 連續通道的分類    251 

8.6.2 波形通道的分類    252 

8.7 連續通道的平均互信息量     253 

8.7.1 連續通道  253 

8.7.2 加性通道  254 

8.8 連續通道的通道容量   256 

8.8.1 連續通道的通道容量定義     256 

8.8.2 一維高斯加性通道的通道容量 256 

8.8.3 一維非高斯加性通道的通道容量   257 

8.8.4 多維無記憶高斯加性通道的通道容量 259 

8.9 波形通道的通道容量   260 

8.9.1 限帶 AWGN 通道的通道容量   260 

8.9.2 香農公式的意義    261 

習題   263 

附錄 A 凸函數的概念     265 

附錄 B 吉布斯不等式     268 

附錄 C 信息熵是嚴格上凸函數    270 

附錄 D 馬爾可夫鏈轉移概率的漸近性質    272 

附錄 E 漸近等同分割性和  典型序列 276 

附錄 F 有噪通道編碼定理證明    280 

參考文獻   285