機器學習（全彩圖解 + 微課 + Python編程）

 

 

Contents

目錄

 

 

 

緒論 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 1

 

第 1章   機器學習 ???????????????????????????????????????????????????????????????????????????????????????????????????????????? 7

1.1    什麽是機器學習?  8

1.2    回歸：找到自變量與因變量關系   10

1.3    分類：針對有標簽數據   14

1.4    降維：降低數據維度，提取主要特徵  16

1.5    聚類：針對無標簽數據  20

1.6    機器學習流程 21

1.7    下一步學什麽？ 24

 

第 2章    回歸分析 ?????????????????????????????????????????????????????????????????????????????????????????????????????????? 27

2.1    線性回歸：一個表格、一條直線  29

2.2    方差分析 (ANOVA)  32

2.3    總離差平方和 (SST) 35

2.4    回歸平方和 (SSR) 37

2.5    殘差平方和 (SSE)  38

2.6    幾何視角：勾股定理  40

2.7    擬合優度：評價擬合程度  42

2.8    F 檢驗：模型參數不全為 0 44

2.9    t 檢驗：某個回歸系數是否為 0 46

2.10    置信區間：因變量均值的區間 50

2.11    預測區間：因變量特定值的區間 51

2.12    對數似然函數：用在最大似然估計 (MLE)  51

2.13    信息準則：選擇模型的標準 52

2.14    殘差分析：假設殘差服從均值為 0 的正態分佈  53

2.15     自相關檢測：Durbin-Watson  54

2.16    條件數：多重共線性  55

 

第 3章    多元線性回歸   57

3.1    多元線性回歸 58

3.2    優化問題：OLS  60

3.3    幾何解釋：投影 63

3.4    二元線性回歸實例 65

3.5    多元線性回歸實例 68

3.6    正交關系 72

3.7    三個平方和 75

3.8    t 檢驗 77

3.9    多重共線性 78

3.10    條件概率視角看多元線性回歸  80

 

第4章    非線性回歸   85

4.1    線性回歸  86

4.2    線性對數模型 88

4.3    非線性回歸 90

4.4    多項式回歸 92

4.5    邏輯回歸  97

4.6    邏輯函數完成分類問題  102

 

第 5章    正則化回歸   109

5.1    正則化：抑制過擬合  110

5.2    嶺回歸  113

5.3    幾何角度看嶺回歸 119

5.4    套索回歸  121

5.5    幾何角度看套索回歸  123

5.6    彈性網絡回歸 127

 

第 6章    貝葉斯回歸   133

6.1    回顧貝葉斯推斷 134

6.2    貝葉斯回歸：無信息先驗  137

6.3    使用 PyMC 完成貝葉斯回歸  137

6.4    貝葉斯視角理解嶺正則化  142

6.5    貝葉斯視角理解套索正則化  144

 

第 7章    高斯過程   149

7.1    高斯過程原理 150

7.2    解決回歸問題 156

7.3    解決分類問題 157

 

 

第8章   k最近鄰分類 ???????????????????????????????????????????????????????????????? 163

8.1    k 最近鄰分類原理：近朱者赤，近墨者黑  164

8.2    二分類：非紅，即藍  166

8.3    三分類：非紅，要麽藍，要麽灰  168

8.4    近鄰數量 k 影響投票結果  170

8.5    投票權重：越近，影響力越高  173

8.6    最近質心分類：分類邊界為中垂線  174

8.7    k-NN 回歸：非參數回歸 177

 

第 9章   樸素貝葉斯分類   181

9.1    重逢貝葉斯 182

9.2    樸素貝葉斯的“樸素 ”之處  186

9.3    高斯，你好 198

 

第 10章    高斯判別分析   213

10.1    又見高斯 214

10.2    六類協方差矩陣  217

10.3    決策邊界解析解  219

10.4    第一類 221

10.5    第二類 224

10.6    第三類 226

10.7    第四類 227

10.8    第五類 228

10.9    第六類 229

10.10    線性和二次判別分析 230

 

第 11章   支持向量機 ????????????????????????????????????????????????????????????????????????????? 235

11.1    支持向量機 236

11.2    硬間隔：處理線性可分  240

11.3    構造優化問題  245

11.4    支持向量機處理二分類問題 248

11.5    軟間隔：處理線性不可分  252

 

第 12章   核技巧 ????????????????????????????????????????????????????????????????????????????????????????? 257

12.1    映射函數：實現升維  258

12.2    核技巧 SVM 優化問題 261

12.3    線性核：最基本的核函數  266

12.4    多項式核 268

12.5    二次核：二次曲面  271

12.6    三次核：三次曲面  273

12.7    高斯核：基於徑向基函數  275

12.8    Sigmoid 核  280

 

第 13章   決策樹 ???????????????????????????????????????????????????????????????????????????????????????????????????????? 285

13.1    決策樹：可以分類，也可以回歸  286

13.2    信息熵：不確定性度量  288

13.3    信息增益：通過劃分，提高確定度 290

13.4    基尼指數：指數越大，不確定性越高 292

13.5    最大葉節點：影響決策邊界 293

13.6    最大深度：控制樹形大小  297

 

第 14章    主成分分析 ??????????????????????????????????????????????????????????????????????????????????????????????? 303

14.1    主成分分析 304

14.2    原始數據 307

14.3    特徵值分解 310

14.4    正交空間 312

14.5    投影結果 316

14.6    還原 320

14.7    雙標圖 323

14.8    陡坡圖 327

 

 

第 15章   截斷奇異值分解 ???????????????????????????????????????????????????????????????????????????????????????? 331

15.1    幾何視角看奇異值分解  332

15.2    四種 SVD 分解 334

15.3    幾何視角看截斷型 SVD 336

15.4    優化視角看截斷型 SVD 339

15.5    分析鳶尾花照片  343

 

第 16章    主成分分析進階 ??????????????????????????????????????????????????????????????????????????????????????? 351

16.1    從“六條技術路線 ”說起  352

16.2    協方差矩陣：中心化數據  355

16.3    格拉姆矩陣：原始數據  363

16.4    相關性系數矩陣：標準化數據 368

 

第 17章    主成分分析與回歸 ???????????????????????????????????????????????????????????????????????????????????? 375

17.1    正交回歸 376

17.2    一元正交回歸  378

17.3    幾何角度看正交回歸  382

17.4    二元正交回歸  385

17.5    多元正交回歸  389

17.6    主元回歸 393

17.7    偏最小二乘回歸  405

 

第 18章   核主成分分析   413

18.1    核主成分分析  414

18.2    從主成分分析說起  415

18.3    用核技巧完成核主成分分析 418

 

第 19章   典型相關分析   427

19.1    典型相關分析原理  428

19.2    從一個協方差矩陣考慮  432

19.3    以鳶尾花數據為例  434

 

 

第 20章   K均值聚類 ???????????????????????????????????????????????????????????????????????????????????????????????? 443

20.1    K 均值聚類 444

20.2    優化問題 445

20.3    迭代過程 448

20.4    肘部法則：選定聚類簇值  450

20.5    輪廓圖：選定聚類簇值  452

20.6    沃羅諾伊圖 454

 

第 21章    高斯混合模型   457

21.1    高斯混合模型  458

21.2    四類協方差矩陣  464

21.3    分量數量 469

21.4    硬聚類和軟聚類  471

 

第 22章    最大期望算法   475

22.1    最大期望 476

22.2    E 步：最大化期望 477

22.3    M 步：最大化似然概率 480

22.4    迭代過程 482

22.5    多元 GMM 迭代 486

 

第 23章   層次聚類   495

23.1    層次聚類 496

23.2    樹形圖 497

23.3    簇間距離 503

23.4    親近度層次聚類  509

 

第 24章    密度聚類   511

24.1    DBSCAN 聚類  512

24.2    調節參數 515

 

第 25章   譜聚類   519

25.1    譜聚類 520

25.2    距離矩陣 521

25.3    相似度 524

25.4    無向圖 525

25.5    拉普拉斯矩陣  527

25.6    特徵值分解 530

參考文獻 ????????????????????????????????????????????????????????????????????????????????? 535