走進人工智能——機器學習原理解析與應用

目錄

第一部分 概 述

第1 章 人工智能基礎… …………………………………………………………………… 2

1. 1 人工智能 …………………………………………………………………………… 2

1. 1. 1 人工智能的由來 …………………………………………………………… 2

1. 1. 2 人工智能學科 ……………………………………………………………… 3

1. 2 機器學習 …………………………………………………………………………… 6

1. 2. 1 機器學習簡介 ……………………………………………………………… 6

1. 2. 2 機器學習的類別 …………………………………………………………… 7

1. 2. 3 機器學習的應用 …………………………………………………………… 9

本章小結 ………………………………………………………………………………… 10

第2 章 Python 環境搭建……………………………………………………………………11

2. 1 軟件的下載與安裝 ………………………………………………………………… 11

2. 1. 1 平臺一：海龜編輯器 ……………………………………………………… 11

2. 1. 2 平臺二： PyCharm ………………………………………………………… 13

2. 2 必需庫功能簡介 …………………………………………………………………… 20

2. 2. 1 numpy——基礎科學計算庫 ……………………………………………… 20

2. 2. 2 SciPy——科學計算工具集 ……………………………………………… 22

2. 2. 3 Pandas——數據分析利器 ………………………………………………… 23

2. 2. 4 matplotlib——圖形繪製法寶 ……………………………………………… 26

IV 走進人工智能——機器學習原理解析與應用

2. 2. 5 Sklearn——機器學習神器 ………………………………………………… 28

本章小結 ………………………………………………………………………………… 30

第二部分 分 類

第3 章 K 近鄰算法………………………………………………………………………… 33

3. 1 K 近鄰算法的原理 ………………………………………………………………… 33

3. 2 K 近鄰算法的應用 ………………………………………………………………… 37

3. 2. 1 K 近鄰算法的常用參數 …………………………………………………… 37

3. 2. 2 應用案例一：小說分類 …………………………………………………… 37

3. 2. 3 應用案例二：糖尿病診斷 ………………………………………………… 39

3. 3 K 近鄰算法的特點 ………………………………………………………………… 40

本章小結 ………………………………………………………………………………… 41

第4 章 決策樹… ………………………………………………………………………… 42

4. 1 決策樹的原理 ……………………………………………………………………… 42

4. 1. 1 決策樹的分類過程 ………………………………………………………… 42

4. 1. 2 決策樹的具體組成 ………………………………………………………… 43

4. 1. 3 構建決策樹的相關概念 …………………………………………………… 44

4. 2 決策樹的構建 ……………………………………………………………………… 47

4. 2. 1 建樹 ………………………………………………………………………… 47

4. 2. 2 剪枝 ………………………………………………………………………………… 49

4. 3 決策樹的應用 ……………………………………………………………………… 50

4. 3. 1 環境補充搭建 ……………………………………………………………… 50

4. 3. 2 決策樹的常用參數 ………………………………………………………… 50

4. 3. 3 應用案例：影院會員觀影喜好分析 ……………………………………… 51

4. 4 決策樹的特點 ……………………………………………………………………… 53

本章小結 ………………………………………………………………………………… 53

第5 章 隨機森林… ……………………………………………………………………… 54

5. 1 隨機森林的原理 …………………………………………………………………… 54

5. 1. 1 集成學習 …………………………………………………………………… 54

5. 1. 2 隨機森林的分類過程 ……………………………………………………… 55

目錄V

5. 2 隨機森林的構建 …………………………………………………………………… 57

5. 2. 1 訓練樣本隨機採樣 ………………………………………………………… 58

5. 2. 2 樣本特徵隨機選擇 ………………………………………………………… 59

5. 3 隨機森林的應用 …………………………………………………………………… 59

5. 3. 1 環境補充搭建 ……………………………………………………………… 59

5. 3. 2 RandomForestClassifier 類 ………………………………………………… 60

5. 3. 3 應用案例一：紅酒分類——決策樹與隨機森林分類器效果對比 ……… 60

5. 3. 4 應用案例二：影院會員觀影喜好分析 …………………………………… 61

5. 4 隨機森林的特點 …………………………………………………………………… 67

本章小結 ………………………………………………………………………………… 68

第6 章 支持向量機… …………………………………………………………………… 69

6. 1 支持向量機的邏輯原理 …………………………………………………………… 69

6. 2 支持向量機的數學原理解析 ……………………………………………………… 71

6. 2. 1 線性可分的情況 …………………………………………………………… 71

6. 2. 2 近似線性可分的情況 ……………………………………………………… 73

6. 2. 3 線性不可分的情況 ………………………………………………………… 74

6. 3 支持向量機中的核函數 …………………………………………………………… 76

6. 3. 1 支持向量機中常用核函數介紹 …………………………………………… 77

6. 3. 2 支持向量機中核函數的應用 ……………………………………………… 78

6. 4 支持向量機的應用 ………………………………………………………………… 80

6. 4. 1 SVM 類的常用參數 ……………………………………………………… 80

6. 4. 2 應用案例：情緒分類 ……………………………………………………… 80

本章小結 ………………………………………………………………………………… 84

第7 章 貝葉斯算法… …………………………………………………………………… 85

7. 1 貝葉斯算法的原理 ………………………………………………………………… 85

7. 1. 1 貝葉斯公式 ………………………………………………………………… 85

7. 1. 2 貝葉斯算法的原理（以樸素貝葉斯算法為例） ………………………… 89

7. 1. 3 貝葉斯算法的類別 ………………………………………………………… 90

7. 2 貝葉斯算法的應用 ………………………………………………………………… 91

7. 2. 1 調用方法 …………………………………………………………………… 91

7. 2. 2 應用案例：識別毒蘑菇 …………………………………………………… 91

VI 走進人工智能——機器學習原理解析與應用

7. 3 貝葉斯算法的特點 ………………………………………………………………… 93

本章小結 ………………………………………………………………………………… 94

第三部分 回 歸

第8 章 線性回歸… ……………………………………………………………………… 97

8. 1 一元線性回歸的原理 ……………………………………………………………… 98

8. 2 一元線性回歸的應用 …………………………………………………………… 100

8. 2. 1 LinearRegression 類的常用參數 ………………………………………… 100

8. 2. 2 應用案例：房屋翻修成本預測 ………………………………………… 101

8. 3 多元線性回歸的原理 …………………………………………………………… 103

8. 4 多元線性回歸的應用 …………………………………………………………… 105

8. 5 線性回歸算法的特點 …………………………………………………………… 107

本章小結 ……………………………………………………………………………… 108

第9 章 多項式回歸… ………………………………………………………………… 109

9. 1 一元多項式回歸的原理 ………………………………………………………… 110

9. 2 一元多項式回歸的應用 ………………………………………………………… 114

9. 2. 1 PolynomialFeatures 類的常用參數 ……………………………………… 114

9. 2. 2 應用案例：紅酒價值預測 ……………………………………………… 114

9. 3 多元多項式回歸的原理 ………………………………………………………… 117

9. 4 多元多項式回歸的應用 ………………………………………………………… 119

9. 5 多項式回歸的特點 ……………………………………………………………… 120

本章小結 ……………………………………………………………………………… 120

第10 章 LASSO 回歸與嶺回歸… …………………………………………………… 122

10. 1 L1 範數正則化——LASSO 回歸 …………………………………………… 123

10. 1. 1 LASSO 回歸中的alpha 參數調節 …………………………………… 125

10. 1. 2 LASSO 類的常用參數 ……………………………………………… 125

10. 1. 3 應用案例：對糖尿病數據集進行擬合 …………………………… 126

10. 2 L2 範數正則化——嶺回歸 …………………………………………………… 130

10. 2. 1 嶺回歸中的alpha 參數調節 ………………………………………… 131

10. 2. 2 Ridge 類的常用參數 ………………………………………………… 132

目錄VII

10. 2. 3 應用案例：對糖尿病數據集進行擬合 …………………………… 132

10. 3 LASSO 回歸與嶺回歸的異同 ………………………………………………… 137

10. 3. 1 LASSO 回歸與嶺回歸的共同點 …………………………………… 137

10. 3. 2 LASSO 回歸與嶺回歸的區別 ……………………………………… 137

本章小結 ……………………………………………………………………………… 137

第11 章 邏輯回歸……………………………………………………………………… 138

11. 1 邏輯回歸的原理 ……………………………………………………………… 139

11. 2 邏輯回歸的應用 ……………………………………………………………… 143

11. 2. 1 邏輯回歸算法的常用參數 ………………………………………… 143

11. 2. 2 應用案例：鳶尾花分類 …………………………………………… 144

11. 3 邏輯回歸實現多分類的原理 ………………………………………………… 145

11. 3. 1 OVR/A（One Vs Rest/All） ………………………………………… 146

11. 3. 2 OVO（One Vs One） ………………………………………………… 147

11. 4 多分類邏輯回歸的應用 ……………………………………………………… 148

11. 5 邏輯回歸的特點 ……………………………………………………………… 150

本章小結 ……………………………………………………………………………… 150

第12 章 模型評估與優化……………………………………………………………… 152

12. 1 交叉驗證 ……………………………………………………………………… 152

12. 1. 1 K 折交叉驗證的原理 ………………………………………………… 154

12. 1. 2 交叉驗證法的具體應用 ……………………………………………… 155

12. 1. 3 留一交叉驗證法 ……………………………………………………… 157

12. 2 分類模型的可信度評估 ………………………………………………………… 158

12. 2. 1 混淆矩陣 ……………………………………………………………… 159

12. 2. 2 分類系統的評價指標 ………………………………………………… 160

12. 2. 3 應用案例：識別乳腺癌 ……………………………………………… 162

12. 3 回歸模型的可信度評估 ……………………………………………………… 163

12. 3. 1 平均絕對誤差 ………………………………………………………… 164

12. 3. 2 均方誤差 ……………………………………………………………… 164

12. 3. 3 均方根誤差 …………………………………………………………… 165

12. 3. 4 R2 ……………………………………………………………………… 166

12. 3. 5 應用案例：波士頓房價預測 ………………………………………… 166

12. 4 超參數調優 …………………………………………………………………… 168

VIII 走進人工智能——機器學習原理解析與應用

12. 4. 1 簡單網格搜索來尋找超參數 ……………………………………… 168

12. 4. 2 與交叉驗證結合的網格搜索 ……………………………………… 170

本章小結 ……………………………………………………………………………… 172

第四部分 聚 類

第13 章 物以類聚：K 均值聚類… …………………………………………………… 175

13. 1 K 均值算法的原理 …………………………………………………………… 175

13. 1. 1 K 均值算法的基本思想 …………………………………………… 176

13. 1. 2 算法基本過程 ……………………………………………………… 177

13. 2 K 均值算法的應用 …………………………………………………………… 178

13. 2. 1 KMeans 類的常用參數 ……………………………………………… 178

13. 2. 2 應用案例一：鳶尾花的聚類 ……………………………………… 179

13. 2. 3 應用案例二：甜西瓜的由來（一） ………………………………… 181

13. 3 K 均值算法的特點 …………………………………………………………… 184

本章小結 ……………………………………………………………………………… 184

第14 章 DBSCAN 聚類……………………………………………………………… 185

14. 1 DBSCAN 算法的原理 ………………………………………………………… 186

14. 1. 1 DBSCAN 算法的核心概念 ………………………………………… 186

14. 1. 2 DBSCAN 算法的基本過程 ………………………………………… 187

14. 2 DBSCAN 算法的應用 ………………………………………………………… 189

14. 2. 1 DBSCAN 類的常用參數 ……………………………………………… 189

14. 2. 2 應用案例一：小濤的問題 …………………………………………… 190

14. 2. 3 應用案例二：甜西瓜的由來（二） ………………………………… 191

14. 3 DBSCAN 算法的特點 ………………………………………………………… 193

本章小結 ……………………………………………………………………………… 193

第五部分 關 聯 分 析

第15 章 Apriori 算法…………………………………………………………………… 196

15. 1 Apriori 算法的原理 …………………………………………………………… 196

15. 1. 1 關聯分析中的相關概念 ……………………………………………… 196

目錄IX

15. 1. 2 Apriori 算法的原理 …………………………………………………… 197

15. 2 Apriori 算法的應用 …………………………………………………………… 201

15. 2. 1 Apriori 類的常用參數 ………………………………………………… 201

15. 2. 2 應用案例一：貨架調整 ……………………………………………… 201

15. 2. 3 應用案例二：餐廳菜品 ……………………………………………… 203

15. 3 Apriori 算法的特點 …………………………………………………………… 206

本章小結 ……………………………………………………………………………… 206

第六部分 數據預處理

第16 章 數據歸一與標準化…………………………………………………………… 209

16. 1 數據歸一化與標準化的必要性 ……………………………………………… 209

16. 2 數據歸一化 …………………………………………………………………… 210

16. 2. 1 離差法過程 …………………………………………………………… 210

16. 2. 2 均值歸一化過程 ……………………………………………………… 211

16. 2. 3 數據歸一化的應用 …………………………………………………… 211

16. 3 數據標準化 …………………………………………………………………… 213

16. 3. 1 數據標準化過程 ……………………………………………………… 214

16. 3. 2 數據標準化的應用 …………………………………………………… 214

16. 4 數據預處理實例 ……………………………………………………………… 216

本章小結 …………………………………………………………………………… 219

第17 章 神奇的工具PCA……………………………………………………………… 220

17. 1 PCA 算法的基本原理 ………………………………………………………… 221

17. 1. 1 PCA 的簡單理解 ……………………………………………………… 221

17. 1. 2 向量投影與內積 ……………………………………………………… 222

17. 1. 3 PCA——選擇最優的基 ……………………………………………… 224

17. 1. 4 PCA 的基本過程 ……………………………………………………… 227

17. 2 PCA 算法的應用 ……………………………………………………………… 229

17. 2. 1 PCA 類的常用參數 …………………………………………………… 229

17. 2. 2 應用案例一：對鳶尾花進行PCA 降維 …………………………… 229

17. 3 PCA 算法的特點 ……………………………………………………………… 231

本章小結 ……………………………………………………………………………… 231

X 走進人工智能——機器學習原理解析與應用

第七部分 人工神經網絡

第18 章 自主學習—— MLP 算法… …………………………………………………… 234

18. 1 人工神經網絡的發展簡史 …………………………………………………… 234

18. 2 單層感知機 …………………………………………………………………… 236

18. 3 多層感知機 …………………………………………………………………… 240

18. 3. 1 MLP 的基本原理 ……………………………………………………… 240

18. 3. 2 MLP 前向傳播 ………………………………………………………… 242

18. 3. 3 MLP 後向傳播 ………………………………………………………… 245

18. 3. 4 梯度下降 ……………………………………………………………… 248

18. 4 MLP 算法的應用 ……………………………………………………………… 253

18. 4. 1 MLPClassifier 類的常用參數 ………………………………………… 253

18. 4. 2 應用案例一：一起去游樂場 ………………………………………… 254

18. 4. 3 應用案例二：圖片文字識別 ………………………………………… 256

18. 5 MLP 算法的特點 ……………………………………………………………… 259

本章小結 ……………………………………………………………………………… 259