機器學習的算法分析和實踐

本書是一本全面介紹機器學習方法特別是算法的新書，適合初學者和有一定基礎的讀者。 機器學習可以分成三大類別，監督式學習、非監督式學習和強化學習。三大類別背後的算法也各有不同。監督式學習使用了數學分析中函數逼近方法、概率統計中的極大似然方法。非監督式學習使用了聚類和貝葉斯算法。強化學習使用了馬爾可夫決策過程算法。 機器學習背後的數學部分來自概率、統計、數學分析以及線性代數等領域。雖然用到的數學較多，但是最快捷的辦法還是帶著機器學習的具體問題來掌握背後的數學原理。因為線性代數和概率理論使用較多，本書在最後兩章集中把重要的一些概率論和線性代數的內容加以介紹，如果有需要的同學可以參考。另外，學習任何知識，動手練習加深理解的**方法，所以本書的每一章都配備了習題供大家實踐和練習。

 

目錄

第 1章引論 .............................................................................................1 

1.1什麽是機器學習 .............................................................................1 

1.2多項式逼近函數 .............................................................................3 

1.3多項式 Remez算法........................................................................6 習題 ................................................................................................... 10

第 2章感知機模型 ................................................................................. 11 

2.1分類問題的刻畫 ........................................................................... 11 

2.2線性規劃 ..................................................................................... 15 習題 ................................................................................................... 21

第 3章線性回歸..................................................................................... 23 

3.1最小二乘法原理 ........................................................................... 23 

3.2多元高斯分佈模型........................................................................ 25 

3.3誤差和方差.................................................................................. 26 

3.4嶺回歸和 Lasso回歸 .................................................................... 28 習題 ................................................................................................... 30

第 4章邏輯回歸..................................................................................... 31 

4.1邏輯回歸概述 .............................................................................. 31 

4.2多重分類線性模型和非線性模型.................................................... 34 習題 ................................................................................................... 35

第 5章決策樹模型 ................................................................................. 37 

5.1離散型數據.................................................................................. 37 

5.2熵和決策樹的建立........................................................................ 39 

5.3剪枝............................................................................................ 41 

5.4連續型數據.................................................................................. 42 

5.5 CART樹 .................................................................................... 43

習題 ................................................................................................... 46 

第 6章生成模型和判別模型 .................................................................... 48 

6.1極大似然估計 .............................................................................. 48 

6.2貝葉斯估計.................................................................................. 50 

6.3線性判別模型 .............................................................................. 51 

6.4多元正態分佈 .............................................................................. 53 

6.5 LDA和 LQA .............................................................................. 54

第 7章優化方法..................................................................................... 57 

7.1數值解方程.................................................................................. 57 

7.2光滑函數的極值點........................................................................ 58 

7.3帶約束條件的極值問題 ................................................................. 59 

7.4梯度下降法.................................................................................. 61 

7.5凸函數 ........................................................................................ 62 

7.6對偶問題 ..................................................................................... 65 

7.7 Minimax問題 ............................................................................. 66 

7.8 L1過濾....................................................................................... 68

第 8章支持向量機 ................................................................................. 70 

8.1點到平面的距離 ........................................................................... 70 

8.2支持向量機的原理........................................................................ 71 

8.3對偶問題 ..................................................................................... 73 

8.4核函數的方法 .............................................................................. 75 

8.5軟性支持向量機 ........................................................................... 77 

8.6支持向量機回歸 ........................................................................... 79 習題 ................................................................................................... 80

第 9章神經網絡..................................................................................... 81 

9.1簡單函數逼近復雜函數 ................................................................. 81 

9.2神經網絡結構 .............................................................................. 83 習題 ................................................................................................... 85

第 10章機器學習理論問題 ..................................................................... 87 

10.1問題的提出 ................................................................................ 87 

10.2概率不等式 ................................................................................ 90 

10.3有限假設空間............................................................................. 92 

目錄 V 

10.4 No Free Lunch定理 ................................................................... 95 

10.5 VC維度 .................................................................................... 96 習題 ................................................................................................. 104

第 11章集成和提升 ............................................................................. 105 

11.1方差偏度分解........................................................................... 105 

11.2隨機森林 ................................................................................. 107 

11.3梯度提升決策樹模型................................................................. 108 

11.4 AdaBoost方法 ........................................................................ 111 習題 ................................................................................................. 114

第 12章主成分分析 ............................................................................. 115 

12.1對稱矩陣特徵值和特徵向量....................................................... 115 

12.2矩陣的奇異值分解 .................................................................... 118 

12.3主成分分析 .............................................................................. 119

第 13章 EM算法 ................................................................................ 121 

13.1一個概率問題........................................................................... 121 

13.2混合高斯分佈的 EM算法 ......................................................... 123 

13.3一般形式推導........................................................................... 126 習題 ................................................................................................. 127

第 14章隱馬爾可夫模型....................................................................... 129 

14.1第一個問題 .............................................................................. 130 

14.2第二個問題 .............................................................................. 133 

14.3第三個問題 .............................................................................. 134 

14.4連續型隱馬爾可夫模型 ............................................................. 136 習題 ................................................................................................. 138

第 15章強化學習................................................................................. 140 

15.1馬爾可夫價值系統 .................................................................... 140 

15.2馬爾可夫價值蒙特卡羅數值解 ................................................... 141 

15.3馬爾可夫決策系統 .................................................................... 142 

15.4馬爾可夫決策系統最優策略....................................................... 143 

15.5時序差分方法........................................................................... 144 

15.6資格跡..................................................................................... 146 

15.7值函數逼近方法 ....................................................................... 147 習題 ................................................................................................. 149

第 16章概率論基礎 ............................................................................. 150 

16.1古典概率論內容 ....................................................................... 150 

16.2連續分佈 ................................................................................. 151 

16.3期望 ........................................................................................ 154 

16.4信息和熵 ................................................................................. 155 

16.5大數定律證明........................................................................... 157 

16.6中心極限定理證明 .................................................................... 159

第 17章線性代數基礎 .......................................................................... 161 

17.1行列式..................................................................................... 161 

17.2 Cramer法則 ............................................................................ 166 

17.3矩陣初等性質........................................................................... 168 

17.4矩陣的逆 ................................................................................. 171 

17.5矩陣的初等變換 ....................................................................... 172 

17.6伴隨矩陣 ................................................................................. 174 

17.7對於矩陣運算求導數................................................................. 175