機器學習算法原理與代碼實現

童永清，碩士畢業於電子科技大學計算機軟件與理論專業，研究方向為人工智能、機器學習及其在大數據中的應用。從事人工智能、大數據相關的研究與開發工作，主持省部級科研項目5項，研發智能化系統3套，獲省部級獎項3項。

第 1章 緒論1

11 歷史背景、現實狀況和未來展望 1

12 人工智能、機器學習和深度學習的關系 2

13 機器學習基本概念 3

131 機器學習基本術語 3

132 機器學習主要類型 5

133 機器學習基本元素 8

14 機器學習發展歷程 13

15 機器學習主要應用 13

16 機器學習相關背景 13

161 數學基礎 14

162 Python 14

163 scikit-learn庫 14

17 數據集操作實例 15

小結 17

筆試、面試題目選講 17

習題 18

參考文獻 18

第 2章 線性回歸 19

21 線性回歸問題提出 19

22 線性回歸模型設計 22

23 模型求解之最小二乘法 25

24 模型求解之梯度下降法 28

241 一個數值實例 29

242 梯度 31

243 凸函數判定與黑塞矩陣 32

244 批量梯度下降法 35

245 隨機梯度下降法 37

246 小批量梯度下降法 37

247 隨機平均梯度下降法 38

248 動量梯度下降法 38

25 線性回歸概率解釋 39

26 數據預處理 42

27 線性回歸模型評價 43

28 線性回歸算法實現 44

29 線性回歸算法應用 46

210 多項式回歸 50

211 局部加權線性回歸 51

小結 57

筆試、面試題目選講 57

習題 58

參考文獻 59

第3章 感知機60

31 感知機問題提出 60

32 感知機模型設計 63

33 感知機模型求解 65

331 模型求解之原始形式 65

332 模型求解之對偶形式 67

333 模型求解之誤差形式 69

34 感知機模型證明 70

35 感知機算法實現 72

36 感知機模型應用 75

37 非線性可分感知機 76

371 口袋感知機 77

372 多項式感知機 77

小結 78

筆試、面試題目選講 79

習題 79

參考文獻 80

第4章 邏輯斯諦回歸與Softmax回歸81

41 邏輯斯諦回歸問題提出 81

42 邏輯斯諦回歸模型設計 82

43 邏輯斯諦回歸模型求解 85

44 邏輯斯諦回歸算法實現 90

45 邏輯斯諦回歸模型應用 91

46 Softmax回歸模型設計 92

47 Softmax回歸模型求解 96

48 Softmax回歸算法實現 97

49 Softmax回歸模型應用 99

410 多分類學習策略 100

411 數據不平衡問題 101

小結 102

筆試、面試題目選講 102

習題 103

參考文獻 104

第5章 正則化 105

51 欠擬合與過擬合問題的提出 105

52 範數 106

53 正則化框架 108

54 L2正則化 110

541 嶺回歸模型求解 110

542 嶺回歸算法實現 112

543 嶺回歸模型應用 113

55 L1正則化 115

551 次導數和次梯度 115

552 坐標下降法 116

553 Lasso回歸模型求解 118

554 Lasso回歸算法實現 121

555 Lasso回歸模型應用 122

56 線性回歸、嶺回歸、Lasso回歸模型對比 124

57 彈性網絡 127

58 正則化的概率解釋 127

小結 130

筆試、面試題目選講 130

習題 130

參考文獻 131

第6章 線性判別分析 132

61 向量內積與向量投影 132

62 線性判別分析問題提出 133

63 線性判別分析模型 136

631 二分類線性判別分析 136

632 多分類線性判別分析 138

64 線性判別分析算法實現 142

65 線性判別分析模型應用 145

小結 147

筆試、面試題目選講 148

習題 149

參考文獻 150

第7章 k近鄰 151

71 k近鄰問題提出 151

72 k近鄰模型設計 151

721 相似性度量 152

722 k值的選擇 154

723 預測規則 155

73 屬性與樣例預處理 156

731 屬性預處理 156

732 樣例預處理 157

74 k近鄰模型求解 158

741 暴力搜索 158

742 k維樹構建與搜索 158

743 球樹構建與搜索 164

75 k 近鄰算法實現 165

76 k 近鄰模型應用 169

小結 171

筆試、面試題目選講 171

習題 172

參考文獻 173

第8章 樸素貝葉斯 174

81 樸素貝葉斯問題提出 174

82 樸素貝葉斯模型設計 179

821 概率與統計知識回顧 179

822 樸素貝葉斯模型 182

83 樸素貝葉斯模型求解 183

831 伯努利樸素貝葉斯參數估計 183

832 類別樸素貝葉斯參數估計 187

833 多項式樸素貝葉斯參數估計 192

834 高斯樸素貝葉斯參數估計 195

84 最大後驗估計 198

85 樸素貝葉斯算法實現 201

86 樸素貝葉斯模型應用 203

小結 206

筆試、面試題目選講 207

習題 207

參考文獻 208

第9章 決策樹209

91 決策樹模型提出 209

92 決策樹模型設計 211

921 信息論基礎 211

922 決策樹構建 215

923 決策樹剪枝 217

93 CART 219

931 CART構建 219

932 CART剪枝 223

94 決策樹模型擴展 228

95 決策樹算法實現 229

951 ID3算法實現 230

952 決策樹可視化 233

953 CART生成算法實現 234

954 CART剪枝算法實現 237

96 決策樹模型應用 239

小結 242

筆試、面試題目選講242

習題 243

參考文獻 245

第 10章 支持向量機 246

101 支持向量機問題提出 246

102 硬間隔與線性可分支持向量機247

1021 線性可分支持向量機的目標函數 247

1022 線性可分支持向量機的對偶形式 249

1023 線性可分支持向量機對偶形式初步求解 253

1024 KKT條件 255

103 軟間隔與線性支持向量機 256

104 核函數與非線性支持向量機 261

1041 線性不可分與空間變換 261

1042 核技巧和核函數 262

1043 非線性支持向量機 263

105 支持向量機求解與SMO算法 264

106 支持向量機擴展 272

1061 多分類支持向量機 272

1062 支持向量回歸 272

107 SMO算法實現 273

108 SMO算法應用 277

小結 279

筆試、面試題目選講 280

習題 281

參考文獻 282

第 11章 人工神經網絡 283

111 人工神經網絡的提出和發展 283

112 人工神經網絡的基本結構 285

1121 神經元 285

1122 激活函數 286

1123 神經網絡 290

1124 正向傳播算法 291

1125 通用近似定理 295

113 人工神經網絡的訓練方法 295

1131 神經網絡的學習法則 296

1132 神經網絡的訓練數據 296

1133 神經網絡的損失函數 297

1134 誤差反向傳播算法的一個示例 298

1135 誤差反向傳播算法的一般形式 305

1136 神經網絡的優化算法 309

114 神經網絡的常見問題和解決方法 311

1141 初始化、梯度消失與激活函數 311

1142 局部最優解與訓練方法 312

1143 過擬合與正則化 312

1144 學習時間長與加速方法 313

115 人工神經網絡算法實現 313

116 人工神經網絡模型應用 316

小結 320

筆試、面試題目選講 320

習題 321

參考文獻 321

第 12章 特征工程 322

121 特征工程的提出 322

1211 特征工程的必要性 322

1212 數據集與相關 Python 包 323

122 數據探索 323

1221 基本情況分析 324

1222 缺失值檢測 325

1223 異常值檢測 326

1224 單變量分析 328

1225 多變量分析 330

123 數據預處理 333

1231 缺失值處理 333

1232 異常值處理 335

1233 類別不平衡處理 336

124 特征變換 338

1241 特征編碼 338

1242 特征標準化和歸一化 339

1243 特征構造 342

125 特征選擇 343

小結 348

筆試、面試題目選講 348

習題 349

參考文獻 350

第 13章 模型評估與選擇351

131 模型評估與選擇的提出 351

132 損失函數與誤差分析 351

1321 模型的表示方式和損失函數 352

1322 訓練誤差、測試誤差與泛化誤差 353

1323 偏差、方差與誤差分析 356

133 數據集劃分與模型選擇358

1331 簡單劃分法 359

1332 交叉驗證法 359

1333 自助劃分法 360

1334 數據集劃分實踐操作 360

134 性能指標與性能度量 362

1341 查準率、查全率與 P-R曲線 363

1342 ROC 曲線 368

1343 性能指標與性能度量實踐操作 371

135 模型調參 372

1351 模型調參的主要方法 372

1352 驗證曲線和學習曲線 373

1353 模型調參的實踐操作 376

小結 378

筆試、面試題目選講379

習題 379

參考文獻 380