統計學習理論基礎 统计学习理论基础

全書共包含18個章節，從概率密度、貝葉斯決策理論引入樣本學習的基本概念，進而介紹了近鄰域學習、核學習及神經網絡學習，在此基礎上探討了PCA學習、VC維概念、函數估計問題等，後重點介紹了非常實用的支持向量機SVM及Boosting方法。各章均包含小結、附錄、習題及參考資料，非常適合於大專院校電腦及電氣工程類碩博士研究生及高年級學生作為教學參考書。

譯者序
前言

第1章引言：分類、學習、特徵及應用

1.1範圍
1.2為什麼需要機器學習？
1.3一些應用
1.3.1圖像識別
1.3.2語音識別
1.3.3醫學診斷
1.3.4統計套利
1.4測量、特徵和特徵向量
1.5概率的需要
1.6監督學習
1.7小結
1.8附錄：歸納法
1.9問題
1.10參考文獻

第2章概率

2.1一些基本事件的概率
2.2複合事件的概率
2.3條件概率
2.4不放回抽取
2.5一個經典的生日問題
2.6隨機變量
2.7期望值
2.8方差
2.9小結
2.10附錄：概率詮釋
2.11問題
2.12參考文獻

第3章概率密度

3.1一個二維實例
3.2在\（0，1\）區間的隨機數
3.3密度函數
3.4高維空間中的概率密度
3.5聯合密度和條件密度
3.6期望和方差
3.7大數定律
3.8小結
3.9附錄：可測性
3.10問題
3.11參考文獻

第4章模式識別問題

4.1一個簡單例子
4.2決策規則
4.3成功基準
4.4*佳分類器：貝葉斯決策規則
4.5連續特徵和密度
4.6小結
4.7附錄：不可數概念
4.8問題
4.9參考文獻

第5章最優貝葉斯決策規則

5.1貝葉斯定理
5.2貝葉斯決策規則
5.3最優及其評論
5.4一個例子
5.5基於密度函數的貝葉斯定理及決策規則
5.6小結
5.7附錄：條件概率的定義
5.8問題
5.9參考文獻

第6章從實例中學習

6.1概率分佈知識的欠缺
6.2訓練數據
6.3對訓練數據的假設
6.4蠻力學習方法
6.5維數災難、歸納偏置以及無免費午餐原理
6.6小結
6.7附錄：學習的類型
6.8問題
6.9參考文獻

第7章最近鄰規則

7.1最近鄰規則
7.2最近鄰規則的性能
7.3直覺判斷與性能證明框架
7.4使用更多鄰域
7.5小結
7.6附錄：當人們使用最近鄰域進行推理時的一些問題
7.6.1誰是單身漢？
7.6.2法律推理
7.6.3道德推理
7.7問題
7.8參考文獻

第8章核規則

8.1動機
8.2最近鄰規則的變體
8.3核規則
8.4核規則的通用一致性
8.5勢函數
8.6更多的通用核
8.7小結
8.8附錄：核、相似性和特徵
8.9問題
8.10參考文獻

第9章神經網絡：感知器

9.1多層前饋網絡
9.2神經網絡用於學習和分類
9.3感知器
9.3.1閾值
9.4感知器學習規則
9.5感知器的表達能力
9.6小結
9.7附錄：思想模型
9.8問題
9.9參考文獻

第10章多層神經網絡

10.1多層網絡的表徵能力
10.2學習及S形輸出
10.3訓練誤差和權值空間
10.4基於梯度下降的誤差最小化
10.5反向傳播
10.6反向傳播方程的推導
10.6.1單神經元情況下的推導
10.6.2多層網絡情況下的推導
10.7小結
10.8附錄：梯度下降與反射平衡推理
10.9問題
10.10參考文獻

第11章可能近似正確（PAC）學習

11.1決策規則分類
11.2來自一個類中的最優規則
11.3可能近似正確準則
11.4PAC學習
11.5小結
11.6附錄：識別不可辨元
11.7問題
11.8參考文獻

第12章VC維

12.1近似誤差和估計誤差
12.2打散
12.3VC維
12.4學習結果
12.5舉例
12.6神經網絡應用
12.7小結
12.8附錄：VC維與波普爾（Popper）維度
12.9問題
12.10參考文獻

第13章無限VC維

13.1類層次及修正的PAC準則
13.2失配與復雜性間的平衡
13.3學習結果
13.4歸納偏置與簡單性
13.5小結
13.6附錄：均勻收斂與泛致性
13.7問題
13.8參考文獻

第14章函數估計問題

14.1估計
14.2成功準則
14.3最優估計：回歸函數
14.4函數估計中的學習
14.5小結
14.6附錄：均值回歸
14.7問題
14.8參考文獻

第15章學習函數估計

15.1函數估計與回歸問題回顧
15.2最近鄰規則
15.3核方法
15.4神經網絡學習
15.5基於確定函數類的估計
15.6打散、偽維數與學習
15.7結論
15.8附錄：估計中的準確度、精度、偏差及方差
15.9問題
15.10參考文獻

第16章簡明性
16.1科學中的簡明性
16.1.1對簡明性的明確倡導
16.1.2這個世界簡單嗎？
16.1.3對簡明性的錯誤訴求
16.1.4對簡明性的隱性訴求
16.2排序假設
16.2.1兩種簡明性排序法
16.3兩個實例
16.3.1曲線擬合
16.3.2枚舉歸納
16.4簡明性即表徵簡明性
16.4.1要確定表徵系統嗎？
16.4.2參數越少越簡單嗎？
16.5簡明性的實用理論
16.6簡明性和全局不確定性
16.7小結
16.8附錄：基礎科學和統計學習理論
16.9問題
16.10參考文獻

第17章支持向量機

17.1特徵向量的映射
17.2間隔最大化
17.3優化與支持向量
17.4實現及其與核方法的關聯
17.5優化問題的細節
17.5.1改寫分離條件
17.5.2間隔方程
17.5.3用於不可分實例的鬆弛變量
17.5.4優化問題的重構和求解
17.6小結
17.7附錄：計算
17.8問題
17.9參考文獻

第18章集成學習

18.1弱學習規則
18.2分類器組合
18.3訓練樣本的分佈
18.4自適應集成學習算法（AdaBoost）
18.5訓練數據的性能
18.6泛化性能
18.7小結
18.8附錄：集成方法
18.9問題
18.10參考文獻