模式識別與機器學習

模式識別是指對錶徵事物或現象的各種形式的信息進行處理和分析，以對事物或現象進行描述、辨認、分類和解釋的過程；
機器學習是指機器通過統計學算法，對大量歷史數據進行學習，進而利用生成的經驗模型指導業務的過程。
本書介紹模式識別和機器學習技術的主要方面，包括貝葉斯統計決策、概率密度函數的估計、線性分類與回歸模型、
其他分類方法、無監督學習和聚類、核方法和支持向量機、神經網絡和深度學習、徵選擇與提取等。
本書既重視基礎理論和經典方法的介紹，又兼顧前沿知識和最新模型的融入，力圖反映該領域的核心知識體系和新發展趨勢；
每章的內容盡可能做到豐富完整，並附有習題或上機實踐題，便於讀者鞏固所學的知識。
本書可作為計算機科學領域機器學習和模式識別專業方向高年級本科生和研究生的教材，也可供相關技術人員參考。

【目錄】
第1章緒論1
1.1 引言1
1.2 模式識別的基本概念3
1.2.1 模式和模式識別3
1.2.2 模式空間、徵空間和類空間5
1.2.3 預處理7
1.2.4 徵提取/選擇7
1.2.5 分類7
1.3 模式識別系統8
1.4 機器學習的主要方法9
1.4.1 監督學習9
1.4.2 無監督學習10
1.4.3 半監督學習11
1.4.4 集成學習11
1.4.5 強化學習12
1.5 概率分佈12
1.5.1 隨機變量及分佈13
1.5.2 隨機向量及分佈16
1.5.3 邊際分佈18
1.5.4 條件概率分佈18
1.6 習題19
第2章貝葉斯統計決策20
2.1 引言20
2.2 最小錯誤率判別規則22
2.3 最小風險判別規則24
2.4 似然比判別規則27
2.5 Neyman-Pearson判別規則30
2.6 最小判別規則33
2.7 分類器設計37
2.8 正態分佈中的貝葉斯分類方法41
2.9 小結50
習題50
第3章概率密度函數的估計52
3.1 引言52
3.2 似然估計52
3.2.1 似然估計基礎52
3.2.2 正態分佈下的似然估計54
3.3 貝葉斯估計與貝葉斯學習56
3.3.1 貝葉斯估計56
3.3.2 正態分佈下的貝葉斯估計57
3.3.3 貝葉斯學習59
3.4 EM估計方法61
3.4.1 EM算法61
3.4.2 混合正態分佈的EM估計63
3.5 非參數估計方法65
3.5.1 非參數估計的基本方法與限制條件65
3.5.2 Parzen窗法67
3.5.3 kN近鄰估計方法72
3.6 小結74
習題74
第4章線性分類與回歸模型75
4.1 引言75
4.2 線性判別函數和決策面75
4.2.1 兩類情況76
4.2.2 多類問題中的線性判別函數76
4.2.3 設計線性分類器的主要步驟81
4.3 廣義線性判別函數83
4.4 最小均方誤差判別86
4.4.1 最小均方和準則86
4.4.2 HK算法88
4.4.3 HK算法的多類推廣90
4.5 線性回歸模型91
4.6 正則化線性回歸92
4.7 小結94
習題94
第5章其他分類方法96
5.1 近鄰法96
5.1.1 最近鄰法96
5.1.2 k近鄰法96
5.2 邏輯斯蒂回歸99
5.3 決策樹與隨機森林102
5.3.1 非數值徵102
5.3.2 決策樹102
5.3.3 屬性選擇方法104
5.3.4 過學習與決策樹的剪枝107
5.3.5 隨機森林108
5.4 小結109
習題109
第6章無監督學習和聚類110
6.1 引言110
6.2 混合模型的估計110
6.2.1 無監督似然估計111
6.2.2 正態分佈下的無監督參數估計112
6.3 動態聚類算法115
6.3.1 均值聚類算法116
6.3.2 ISODATA聚類算法121
6.4 層次聚類算法127
6.4.1 凝聚的層次聚類算法127
6.4.2 分裂的層次聚類算法128
6.5 譜聚類130
6.6 模糊聚類方法134
6.6.1 模糊集基本知識134
6.6.2 模糊c均值算法135
6.7 相似性傳播聚類136
6.8 小結138
習題138
第7章核方法和支持向量機139
7.1 引言139
7.2 核學習機139
7.3 支持向量機140
7.3.1 線性可分支持向量機141
7.3.2 軟間隔線性支持向量機144
7.3.3 非線性支持向量機146
7.4 支持向量回歸機147
7.5 小結151
習題151
第8章神經網絡和深度學習152
8.1 引言152
8.2 感知器153
8.2.1 感知器的概念153
8.2.2 感知器算法及其收斂性154
8.2.3 感知器準則函數及梯度法158
8.3 多層前向神經網絡162
8.3.1 多層前向神經網絡163
8.3.2 BP神經網絡165
8.3.3 RBF神經網絡170
8.4 自組織徵映射神經網絡176
8.4.1 SOM神經網絡結構176
8.4.2 SOM神經網絡算法177
8.5 深度學習179
8.5.1 堆棧式自編碼網絡（SAE）179
8.5.2 深度置信網絡（DBN）182
8.5.3 卷積神經網絡（CNN）185
8.5.4 循環神經網絡（RNN）191
8.5.5 生成對抗網絡（GAN）194
8.5.6 擴散模型196
8.5.7 Transformer模型197
8.6 小結201
習題204
第9章徵選擇與提取205
9.1 引言205
9.2 徵選擇的一般流程205
9.2.1 生成徵子集205
9.2.2 評價準則207
9.2.3 停止條件和結果驗證209
9.3 徵選擇方法209
9.3.1 過濾式徵選擇方法210
9.3.2 封裝式徵選擇方法214
9.3.3 嵌入式徵選擇方法215
9.3.4 集成式徵選擇方法215
9.4 線性徵提取方法216
9.4.1 線性判別分析216
9.4.2 主成分分析方法217
9.5 非線性徵提取方法219
9.5.1 核線性判別分析219
9.5.2 核主成分分析221
9.5.3 流形學習222
9.6 小結224
習題225
參考文獻226