Python機器學習原理與實踐

目錄

第1章機器學習基礎1

1.1認識機器學習1

1.1.1機器學習的定義1

1.1.2機器學習的應用2

1.2機器學習簡史5

1.2.1萌芽期6

1.2.2發展期6

1.2.3蓬勃期6

1.3人工智能、機器學習、深度學習的關系7

1.4機器學習的相關概念8

1.5機器學習的任務10

1.5.1監督學習10

1.5.2無監督學習10

1.5.3半監督學習11

1.6機器學習的一般步驟12

1.7機器學習Python基礎13

1.7.1Python開發環境13

1.7.2Python基本語法14

1.7.3Python列表、元組、字典、集合16

1.7.4NumPy中的array19

1.7.5pandas庫中的DataFrame21

1.7.6scikitlearn機器學習庫25

1.8評估方法與數據集27

1.8.1評估方法27

1.8.2常用數據集29

1.9本章小結31

1.10習題31

第2章貝葉斯分類器33

2.1貝葉斯分類器的理論基礎33

2.1.1貝葉斯定理的相關概念33

2.1.2貝葉斯決策理論35

2.1.3極大似然估計36

2.1.4梯度下降法38

2.2樸素貝葉斯分類器的原理與設計40

2.2.1了解數據集40

2.2.2手工設計貝葉斯分類器40

2.2.3貝葉斯分類器的Python實現41

2.2.4平滑方法44

2.3樸素貝葉斯分類算法實現——鱸魚和三文魚的分類系統45

2.3.1算法實現45

2.3.2調用系統函數實現51

2.4正態貝葉斯分類器53

2.5本章小結55

2.6習題56

第3章k近鄰算法與非參數估計58

3.1k近鄰算法原理58

3.2k近鄰算法的應用——鳶尾花的分類59

3.3非參數估計63

3.3.1參數估計與非參數估計63

3.3.2非參數估計方法64

3.3.3非參數估計的一般推導66

3.4非參數估計算法的實現67

3.4.1利用直方圖估計概率密度、分類67

3.4.2利用Parzen矩形窗估計概率密度、分類72

3.4.3利用Parzen正態核估計概率密度、分類73

3.5本章小結75

3.6習題75

第4章決策樹77

4.1決策樹構造的基本原理77

4.2決策樹的構造過程78

4.3決策樹學習算法思想及實現81

4.4決策樹算法的實現——泰坦尼克號幸存者預測84

4.5本章小結89

4.6習題89

第5章感知機與支持向量機92

5.1線性可分的感知機92

5.1.1感知機模型92

5.1.2模型參數學習93

5.1.3手工設計感知機模型95

5.1.4感知機算法的實現96

5.2SVM簡介98

5.2.1劃分超平面98

5.2.2間隔最大化及線性SVM99

5.3線性SVM算法的實現102

5.4非線性SVM與核函數104

5.4.1線性不可分104

5.4.2核函數104

5.5SVM算法的實現——鳶尾花的分類106

5.5.1sklearn中的SVC參數介紹106

5.5.2使用SVC對鳶尾花數據進行分類107

5.6本章小結110

5.7習題110

第6章聚類113

6.1聚類算法簡介113

6.1.1聚類算法的分類113

6.1.2距離度量的方法114

6.2Kmeans聚類116

6.2.1Kmeans聚類算法思想116

6.2.2通過調用庫函數實現聚類122

6.3基於層次的聚類——AGNES聚類126

6.3.1AGNES聚類算法思想126

6.3.2AGNES算法的實現128

6.4譜聚類130

6.4.1譜聚類基本算法思想130

6.4.2圖的劃分132

6.4.3Ncut聚類134

6.4.4譜聚類應用舉例136

6.5高斯混合聚類138

6.5.1概率密度函數138

6.5.2高斯混合聚類算法的推導過程139

6.5.3高斯混合聚類算法思想140

6.5.4高斯混合聚類應用舉例141

6.6各種聚類算法的比較145

6.7本章小結146

6.8習題147

第7章線性回歸149

7.1回歸分析概述149

7.2線性回歸150

7.2.1單變量線性回歸151

7.2.2多變量回歸分析157

7.2.3多項式回歸分析162

7.3本章小結165

7.4習題165

第8章邏輯回歸168

8.1sigmoid函數與邏輯回歸模型168

8.2梯度下降與推導過程169

8.3參數學習向量化170

8.4邏輯回歸的Python實現——乳腺良性與惡性腫瘤的預測172

8.5本章小結178

8.6習題178

第9章人工神經網絡181

9.1感知機181

9.2神經網絡模型183

9.3BP神經網絡算法思想及實現185

9.3.1BP神經算法模型參數的學習過程185

9.3.2BP神經網絡算法的實現187

9.4BP神經網絡算法的實現——鳶尾花分類191

9.5本章小結197

9.6習題197

第10章深度學習200

10.1深度學習概述200

10.1.1什麼是深度學習200

10.1.2為什麼要進行深度學習201

10.1.3深度學習與機器學習的區別201

10.1.4傳統的BP神經網絡與深度學習的區別202

10.2卷積神經網絡204

10.2.1CNN模型結構204

10.2.2卷積205

10.2.3池化208

10.2.4全連接操作209

10.2.5構建CNN網絡模型210

10.3循環神經網絡218

10.3.1循環神經網絡的基本結構218

10.3.2LSTM網絡220

10.3.3簡單的RNN與LSTM算法的實現221

10.4本章小結226

10.5習題227

第11章推薦系統229

11.1推薦系統簡介229

11.1.1信息檢索與推薦系統229

11.1.2推薦系統的發展歷史230

11.1.3推薦系統的原理與分類230

11.1.4推薦系統的評估方法233

11.2基於最近鄰的協同過濾推薦算法235

11.2.1基於近鄰用戶的協同過濾推薦235

11.2.2基於近鄰項目的協同過濾推薦239

11.2.3算法實現241

11.3基於隱語義分析的推薦模型244

11.4基於標簽的推薦算法250

11.5綜合案例分析: 基於協同過濾的推薦系統251

11.5.1數據探索與分析251

11.5.2基於項目的協同過濾電影推薦系統254

11.6本章小結259

11.7習題260

第12章綜合案例分析: 手寫數字識別262

12.1圖像的存儲表示262

12.2數據預處理264

12.2.1將圖像轉換為文本264

12.2.2將矩陣轉換為向量266

12.3基於kNN的手寫數字識別266

12.3.1劃分訓練集和測試集267

12.3.2kNN分類模型267

12.3.3kNN分類模型評估268

12.4基於神經網絡的手寫數字識別269

12.4.1定義神經網絡模型269

12.4.2主函數271

12.5本章小結276

12.6習題276

第13章綜合案例分析: 深度學習中文郵件分類279

13.1文本預處理279

13.1.1中文分詞279

13.1.2文本向量化288

13.2中文郵件分類算法及實現293

13.3本章小結300

13.4習題300

第14章綜合案例分析: 零售商品銷售額分析與預測303

14.1問題描述與分析303

14.2數據探索與預處理304

14.2.1數據探索304

14.2.2屬性特征的數值化306

14.2.3缺失值處理308

14.3特征選擇311

14.4建立回歸模型312

14.4.1線性回歸模型312

14.4.2嶺回歸模型313

14.4.3Lasso回歸模型315

14.4.4多項式回歸模型316

14.4.5隨機森林回歸模型317

14.5超參數選擇319

14.6本章小結320

14.7習題321

第15章綜合案例分析: 電影評論情感分析322

15.1問題描述與分析322

15.2數據探索與預處理323

15.2.1數據探索323

15.2.2詞匯表的構建和使用325

15.3構建卷積網絡327

15.3.1卷積網絡的結構327

15.3.2訓練網絡329

15.4本章小結332

15.5習題332

參考文獻335