scikit-learn 機器學習實戰

目    錄

第1章  機器學習概述 1

1.1  什麽是機器學習 1

1.2  機器學習的作用領域 3

1.3  機器學習的分類 4

1.4  機器學習理論基礎 6

1.5  機器學習應用開發的典型步驟 7

1.6  本章小結 8

1.7  復習題 8

第2章  機器學習之數據特徵 9

2.1  數據的分佈特徵 9

2.1.1  數據分佈集中趨勢的測度 9

2.1.2  數據分佈離散程度的測定 14

2.1.3  數據分佈偏態與峰度的測定 17

2.2  數據的相關性 19

2.2.1  相關關系 19

2.2.2  相關分析 22

2.3  數據的聚類性 24

2.4  數據主成分分析 27

2.4.1  主成分分析的原理及模型 27

2.4.2  主成分分析的幾何解釋 29

2.4.3  主成分的導出 30

2.4.4  證明主成分的方差是依次遞減的 31

2.4.5  主成分分析的計算 32

2.5  數據動態性及其分析模型 34

2.5.1  動態數據及其特點 34

2.5.2  動態數據分析模型分類 35

2.5.3  平穩時間序列建模 35

2.6  數據可視化 37

2.7  本章小結 39

2.8  復習題 39

第3章  用scikit-learn估計器分類 40

3.1  scikit-learn基礎  40

3.1.1  sklearn包含的機器學習方式 40

3.1.2  sklearn的強大數據庫 41

3.1.3  sklearn datasets構造數據 42

3.2  scikit-learn估計器 43

3.2.1  sklearn估計器的類別 43

3.2.2  sklearn分類器的比較 43

3.3  本章小結 47

3.4  復習題 48

第4章  樸素貝葉斯分類 49

4.1  算法原理 49

4.1.1  樸素貝葉斯算法原理 49

4.1.2  樸素貝葉斯分類法 50

4.1.3  拉普拉斯校準 52

4.2  樸素貝葉斯分類 52

4.2.1  高斯樸素貝葉斯 53

4.2.2  伯努利樸素貝葉斯 54

4.2.3  多項式樸素貝葉斯 55

4.3  樸素貝葉斯分類實例 57

4.4  樸素貝葉斯連續值的處理 60

4.5  本章小結 62

4.6  復習題 63

第5章  線性回歸 64

5.1  簡單線性回歸模型 64

5.1.1  一元線性回歸模型 64

5.1.2  損失函數 65

5.1.3  梯度下降算法 65

5.1.4  二元線性回歸模型 67

5.1.5  多元線性回歸模型 68

5.2  分割數據集  68

5.2.1  訓練集和測試集 69

5.2.2  驗證集 72

5.3  用簡單線性回歸模型預測考試成績 73

5.3.1  創建數據集並提取特徵和標簽 73

5.3.2  模型訓練 75

5.4  本章小結 78

5.5  復習題 78

第6章  用k近鄰算法分類和回歸 79

6.1  k近鄰算法模型  79

6.1.1  k近鄰算法的原理 79

6.1.2  距離的度量 81

6.1.3  算法的優缺點及算法的變種 81

6.2  用k近鄰算法處理分類問題 82

6.3  用k近鄰算法對鳶尾花進行分類 85

6.3.1  導入數據集 85

6.3.2  模型訓練 86

6.4  用k近鄰算法進行回歸擬合 88

6.5  本章小結 90

6.6  復習題 91

第7章  從簡單線性回歸到多元線性回歸 92

7.1  多變量的線性模型  92

7.1.1  簡單線性回歸模型 92

7.1.2  多元線性回歸模型的預測函數 93

7.1.3  向量形式的預測函數 93

7.1.4  向量形式的損失函數 94

7.1.5  梯度下降算法 94

7.2  模型的優化  94

7.2.1  數據歸一化 94

7.2.2  欠擬合和過擬合 96

7.2.3  正則化 99

7.2.4  線性回歸與多項式 101

7.2.5  查準率和召回率 102

7.3  用多元線性回歸模型預測波士頓房價 103

7.3.1  導入波士頓房價數據 104

7.3.2  模型訓練 105

7.3.3  模型優化 106

7.3.4  學習曲線 108

7.4  本章小結 110

7.5  復習題 110

第8章  從線性回歸到邏輯回歸 111

8.1  邏輯回歸模型  111

8.1.1  基本公式 112

8.1.2  邏輯回歸算法的代價函數 113

8.1.3  邏輯回歸算法的損失函數 114

8.1.4  梯度下降算法 114

8.2  多元分類問題 115

8.2.1  OVR 115

8.2.2  softmax函數 116

8.3  正則化項 118

8.3.1  線性回歸的正則化 118

8.3.2  邏輯回歸的正則化 119

8.4  模型優化 119

8.4.1  判定邊界 119

8.4.2  L1和L2的區別 120

8.5  用邏輯回歸算法處理二分類問題 121

8.5.1  導入數據集 122

8.5.2  模型訓練 123

8.5.3  學習曲線 125

8.6  識別手寫數字的多元分類問題 128

8.6.1  導入數據集 128

8.6.2  模型訓練 129

8.6.3  模型優化 131

8.7  本章小結 132

8.8  復習題 132

第9章  非線性分類和決策樹回歸 133

9.1  決策樹的特點 133

9.2  決策樹分類 135

9.3  決策樹回歸 137

9.4  決策樹的復雜度及使用技巧 139

9.5  決策樹算法：ID3、C4.5和CART 140

9.5.1  ID3算法 140

9.5.2  C4.5算法 141

9.5.3  CART算法 142

9.6  本章小結 143

9.7  復習題 143

第10章  集成方法：從決策樹到隨機森林 144

10.1  Bagging元估計器 144

10.2  由隨機樹組成的森林 145

10.2.1  隨機森林 145

10.2.2  極限隨機樹 146

10.2.3  參數 146

10.2.4  並行化 147

10.2.5  特徵重要性評估 147

10.3  AdaBoost 149

10.3.1  AdaBoost算法 149

10.3.2  AdaBoost使用方法 150

10.4  梯度提升回歸樹 150

10.4.1  分類 151

10.4.2  回歸 151

10.4.3  訓練額外的弱學習器 153

10.4.4  控制樹的大小 154

10.4.5  數學公式 154

10.4.6  正則化 155

10.4.7  投票分類器 157

10.4.8  投票回歸器 159

10.5  本章小結 161

10.6  復習題 161

第11章  從感知機到支持向量機  162

11.1  線性支持向量機分類 162

11.1.1  線性支持向量機分類示例 163

11.1.2  軟間隔分類 165

11.2  非線性支持向量機分類 168

11.2.1  多項式內核 169

11.2.2  相似特徵 171

11.2.3  高斯RBF內核 173

11.2.4  計算復雜度 175

11.3  支持向量機回歸 175

11.4  本章小結 178

11.5  復習題 178

第12章  從感知機到人工神經網絡 179

12.1  從神經元到人工神經元  179

12.1.1  生物神經元 180

12.1.2  神經元的邏輯計算 181

12.2  感知機  182

12.3  多層感知機 186

12.3.1  反向傳播算法 187

12.3.2  激活函數 188

12.3.3  分類MLP 189

12.3.4  回歸MLP 190

12.3.5  實用技巧 191

12.4  本章小結 192

12.5  復習題 192

第13章  主成分分析降維 193

13.1  數據的向量表示及降維問題 193

13.2  向量的表示及基變換 194

13.2.1  內積與投影 194

13.2.2  基 195

13.2.3  基變換的矩陣表示 196

13.3  協方差矩陣及優化目標 197

13.3.1  方差 198

13.3.2  協方差 199

13.3.3  協方差矩陣 199

13.3.4  協方差矩陣對角化 200

13.4  PCA算法流程 201

13.5  PCA實例 202

13.6  scikit-learn PCA降維實例 203

13.7  核主成分分析KPCA簡介 208

13.8  本章小結 209

13.9  復習題 209

參考文獻 210