機器學習導論 原書第4版

譯者序

前言

符號表

第1章?緒論1

1.1?什麼是機器學習1

1.2?機器學習應用的示例2

1.2.1?關聯規則2

1.2.2?分類3

1.2.3?回歸5

1.2.4?無監督學習6

1.2.5?強化學習7

1.3?7

1.4?相關主題9

1.4.1?高性能計算9

1.4.2?數據隱私與9

1.4.3?模型的可解釋性和可信度10

1.4.4?數據科學10

1.5?練習10

1.6?參考文獻12

第2章?有監督學習13

2.1?從示例中學習類別13

2.2?Vapnik-Chervonenkis維16

2.3?概率近似正確學習17

2.4?噪聲18

2.5?學習多分類19

2.6?回歸20

2.7?模型選擇與泛化22

2.8?有監督機器學習算法的維度24

2.9?註釋25

2.10?練習25

2.11?參考文獻27

第3章?貝葉斯決策理論28

3.1?引言28

3.2?分類29

3.3?損失和風險30

3.4?判別函數32

3.5?關聯規則33

3.6?註釋34

3.7?練習35

3.8?參考文獻38

第4章?參數方法39

4.1?引言39

4.2?大似然估計39

4.2.1?伯努利密度40

4.2.2?多項密度40

4.2.3?高斯（正態）密度41

4.3?評估估計量：偏差和方差41

4.4?貝葉斯估計量43

4.5?參數分類45

4.6?回歸47

4.7?調整模型覆雜度：偏差/方差困境50

4.8?模型選擇程序52

4.9?註釋55

4.10?練習55

4.11?參考文獻57

第5章?多元方法58

5.1?多元數據58

5.2?參數估計58

5.3?缺失值的估計59

5.4?多元正態分布60

5.5?多元分類62

5.6?調試覆雜度66

5.7?離散型征68

5.8?多元回歸69

5.9?註釋70

5.10?練習71

5.11?參考文獻72

第6章?降維73

6.1?引言73

6.2?子集選擇74

6.3?主成分分析76

6.4?征嵌入80

6.5?因子分析82

6.6?奇異值分解和矩陣因式分解85

6.7?多維縮放86

6.8?線性判別分析88

6.9?典型相關分析92

6.10?等距征映射93

6.11?局線性嵌入94

6.12?拉普拉斯征映射96

6.13?t分布隨機鄰域嵌入98

6.14?註釋99

6.15?練習100

6.16?參考文獻101

第7章?聚類103

7.1?引言 103

7.2?混合密度103

7.3?k-均值聚類104

7.4?期望大化算法107

7.5?混合潛在變量模型110

7.6?聚類後的有監督學習111

7.7?譜聚類112

7.8?層次聚類113

7.9?選擇簇的數量114

7.10?註釋114

7.11?練習115

7.12?參考文獻116

第8章?非參數方法118

8.1?引言118

8.2?非參數密度估計119

8.2.1?直方圖估計量119

8.2.2?核估計量120

8.2.3?k-近鄰估計量121

8.3?多元數據的泛化123

8.4?非參數分類123

8.5?濃縮近鄰法124

8.6?基於距離的分類125

8.7?離群值檢測127

8.8?非參數回歸：平滑模型128

8.8.1?移動平均平滑器128

8.8.2?核平滑器130

8.8.3?移動線平滑器130

8.9?如何選擇平滑參數131

8.10?註釋132

8.11?練習133

8.12?參考文獻135

第9章?決策樹137

9.1?引言137

9.2?單變量樹138

9.2.1?分類樹138

9.2.2?回歸樹141

9.3?剪枝144

9.4?從樹中提取規則144

9.5?從數據中學習規則145

9.6?多變量樹148

9.7?註釋149

9.8?練習150

9.9?參考文獻152

第10章?線性判別153

10.1?引言153

10.2?線性模型的歸納154

10.3?線性判別式的幾何原理155

10.3.1?二分類155

10.3.2?多分類156

10.4?逐對分割156

10.5?重溫參數判別157

10.6?梯度下降159

10.7?邏輯判別159

10.7.1?二分類159

10.7.2?多分類162

10.7.3?多標簽165

10.8?排序學習165

10.9?註釋166

10.10?練習167

10.11?參考文獻169

第11章?多層感知機170

11.1?引言170

11.1.1?理解大腦170

11.1.2?作為並行處理範例的經網絡171

11.2?感知機172

11.3?訓練感知機174

11.4?學習布爾函數175

11.5?多層感知機詳解176

11.6?作為通用近似器的MLP177

11.7?反向傳播算法179

11.7.1?非線性回歸179

11.7.2?二分類判別182

11.7.3?多分類判別183

11.7.4?多標簽判別183

11.8?過度訓練184

11.9?學習隱藏表征185

11.10?自編碼器187

11.11?word2vec架構188

11.12?註釋190

11.13?練習191

11.14?參考文獻192

第12章?深度學習194

12.1?引言194

12.2?如何訓練多個隱藏層?196

12.2.1?線性整流函數196

12.2.2?初始化196

12.2.3?將反向傳播泛化到多個隱藏層196

12.3?提高訓練的收斂性198

12.3.1?動量199

12.3.2?自適應學習因子199

12.3.3?批量歸一化200

12.4?正則化201

12.4.1?提示201

12.4.2?權重衰減202

12.4.3?丟棄法204

12.5?卷積層204

12.5.1?思想204

12.5.2?形式化205

12.5.3?示例：LeNet-5和AlexNet207

12.5.4?擴展208

12.5.5?多模態深度網絡209

12.6?調整網絡結構209

12.6.1?結構和參數搜索209

12.6.2?跳躍連接210

12.6.3?門控單元211

12.7?學習序列211

12.7.1?示例任務211

12.7.2?時延經網絡212

12.7.3?循環網絡212

12.7.4?長短期記憶單元213

12.7.5?門控循環單元214

12.8?生成對抗網絡215

12.9?註釋216

12.10?練習217

12.11?參考文獻218

第13章?局模型221

13.1?引言221

13.2?競爭學習221

13.2.1?在線k-均值221

13.2.2?自適應共振理論224

13.2.3?自組織映射224

13.3?徑向基函數225

13.4?融合基於規則的知識229

13.5?歸一化基函數230

13.6?競爭基函數231

13.7?學習矢量量化233

13.8?混合家系統233

13.8.1?協同家系統235

13.8.2?競爭家系統235

13.9?層次混合家系統和軟決策樹236

13.10?註釋237

13.11?練習237

13.12?參考文獻239

第14章?核機241

14.1?引言241

14.2?佳分離平面242

14.3?不可分情況：軟邊距平面244

14.4?ν-SVM246

14.5?核技巧247

14.6?向量核248

14.7?定義核250

14.8?多重核學習251

14.9?多類別核機252

14.10?用於回歸的核機253

14.11?用於排序的核機256

14.12?單類別核機257

14.13?大邊距近鄰分類器259

14.14?核降維260

14.15?註釋261

14.16?練習262

14.17?參考文獻263

第15章?圖模型265

15.1?引言265

15.2?條件獨立性的典型案例266

15.3?生成模型271

15.4?d-分離272

15.5?信念傳播272

15.5.1?鏈273

15.5.2?樹274

15.5.3?多樹275

15.5.4?聯合樹277

15.6?無向圖：馬爾可夫隨機場277

15.7?學習圖模型的結構279

15.8?影響圖279

15.9?註釋280

15.10?練習280

15.11?參考文獻282

第16章?隱馬爾可夫模型284

16.1?引言284

16.2?離散馬爾可夫過程284

16.3?隱馬爾可夫模型詳解286

16.4?隱馬爾可夫模型的三個基本問題287

16.5?評估問題288

16.6?尋找狀態序列290

16.7?學習模型參數292

16.8?連續型觀測294

16.9?作為圖模型的隱馬爾可夫模型294

16.10?隱馬爾可夫模型中的模型選擇296

16.11?註釋298

16.12?練習299

16.13?參考文獻301

第17章?貝葉斯估計法302

17.1?引言302

17.2?離散分布參數的貝葉斯估計304

17.2.1?K>2狀態：狄利克雷分布304

17.2.2?K=2 狀態：貝塔分布305

17.3?高斯分布參數的貝葉斯估計306

17.3.1?單變量情況：未知均值、已知方差306

17.3.2?單變量情況：未知均值、未知方差307

17.3.3?多變量情況：未知均值、未知協方差309

17.4?函數參數的貝葉斯估計309

17.4.1?回歸310

17.4.2?為噪聲度假定先驗的回歸312

17.4.3?基函數/核函數的使用314

17.4.4?貝葉斯分類法315

17.5?選擇先驗317

17.6?貝葉斯模型比較317

17.7?混合模型的貝葉斯估計319

17.8?非參數貝葉斯模型321

17.9?高斯過程321

17.10?狄利克雷過程與中餐館324

17.11?潛在狄利克雷分配325

17.12?貝塔過程與印度自助餐326

17.13?註釋327

17.14?練習328

17.15?參考文獻328

第18章?多學習器的組合330

18.1?原理330

18.2?生成多樣化的學習器330

18.3?模型組合方案332

18.4?投票法333

18.5?糾錯輸出碼335

18.6?裝袋法337

18.7?提升法337

18.8?重溫混合家系統339

18.9?堆疊泛化340

18.10?對集成進行微調341

18.10.1?為集成選擇子集341

18.10.2?構建元學習器341

18.11?級聯342

18.12?註釋343

18.13?練習344

18.14?參考文獻345

第19章?強化學習348

19.1?引言348

19.2?單一狀態案例：K臂老虎機349

19.3?強化學習的要素350

19.4?基於模型的學習351

19.4.1?值疊代351

19.4.2?策略疊代352

19.5?時序差分學習352

19.5.1?探索策略353

19.5.2?確定性獎勵和行動353

19.5.3?非確定性獎勵和行動354

19.5.4?資格跡355

19.6?泛化357

19.7?分可觀測狀態358

19.7.1?背景358

19.7.2?示例：老虎問題359

19.8?深度Q學習363

19.9?策略梯度364

19.10?學習下西洋雙陸棋和圍棋365

19.11?註釋366

19.12?練習367

19.13?參考文獻368

第20章?機器學習實驗的設計與分析370

20.1?引言370

20.2?實驗的因素、響應和策略371

20.3?響應面設計373

20.4?隨機化、重覆和阻止373

20.5?機器學習實驗指南374

20.6?交驗證和重采樣方法376

20.6.1?K-折交驗證376

20.6.2?5×2 交驗證377

20.6.3?自舉法377

20.7?測量分類器的性能378

20.8?區間估計380

20.9?假設檢驗383

20.10?評估分類算法的性能384

20.10.1?二項檢驗384

20.10.2?近似正態檢驗385

20.10.3?t檢驗385

20.11?兩種分類算法的比較386

20.11.1?配對卡方檢驗386

20.11.2?K-折交驗證配對t檢驗386

20.11.3?5×2交驗證配對t檢驗387

20.11.4?5×2交驗證配對F檢驗387

20.12?多種算法的比較：方差分析388

20.13?對多個數據集進行比較391

20.13.1?比較兩種算法391

20.13.2?比較多種算法392

20.14?多變量檢驗393

20.14.1?比較兩種算法393

20.14.2?比較多種算法394

20.15?註釋395

20.16?練習396

20.17?參考文獻397

附錄A?概率398

附錄B?線性代數406

附錄C?化412