機器學習原理及應用

《機器學習原理及應用》以機器學習及其算法為主題，詳細介紹其理論細節與應用方法。
《機器學習原理及應用》共19章，分別介紹了機器學習概述、線性回歸與*大熵模型、k-近鄰算法、
決策樹模型、樸素貝葉斯分類器、支持向量機模型、集成學習、EM算法、降維算法、
聚類算法、神經網絡模型等基礎模型或算法，以及8個綜合項目實例。
《機器學習原理及應用》重視理論與實踐相結合，希望為讀者提供全面而細緻的學習指導。
《機器學習原理及應用》可作為高等院校計算機科學與技術、軟件工程等相關專業的教材，
也適合機器學習初學者、相關行業從業人員閱讀。

前言 
第1章機器學習概述 
1.1機器學習的組成 
1.2分類問題和回歸問題 
1.3監督學習、半監督學習和 
無監督學習 
1.4生成模型和判別模型 
1.5模型評估 
1.5.1訓練誤差和泛化誤差 
1.5.2過擬合和欠擬合 
1.6正則化 
1.7Scikit-learn模塊 
1.7.1數據集 
1.7.2模型選擇 
1.8習題 

第2章線性回歸及熵模型 
2.1線性回歸 
2.1.1一元線性回歸 
2.1.2多元線性回歸 
2.2廣義線性回歸 
2.2.1邏輯回歸 
2.2.2多分類邏輯回歸 
2.2.3交叉熵損失函數 
2.3熵模型 
2.3.1熵模型的導出 
2.3.2熵模型與邏輯回歸之間的 
關係 
2.4評價指標 
2.4.1混淆矩陣 
2.4.2準確率 
2.4.3精確率與召回率 
2.4.4PR曲線 
2.4.5ROC曲線與AUC曲線 
2.5實例：基於邏輯回歸實現乳腺癌 
預測 
2.6習題 

第3章k-近鄰算法 
3.1k值的選取 
3.2距離的度量 
3.3快速檢索 
3.4實例：基於k-近鄰實現鳶尾花 
分類 
3.5習題 

第4章決策樹模型 
4.1特徵選擇 
4.1.1信息增益 
4.1.2信息增益比 
4.2決策樹生成算法CART 
4.3決策樹剪枝 
4.3.1預剪枝 
4.3.2後剪枝 
4.4實例：基於決策樹實現葡萄酒 
分類 
4.5習題 

第5章樸素貝葉斯分類器 
5.1極大似然估計 
5.2樸素貝葉斯分類 
5.3拉普拉斯平滑 
5.4樸素貝葉斯分類器的極大似然 
估計解釋 
5.5實例：基於樸素貝葉斯實現垃圾 
短信分類 
5.6習題 

第6章支持向量機模型 
6.1間隔及超平面 
6.2線性可分支持向量機 
6.3合頁損失函數 
6.4核技巧 
6.5二分類問題與多分類問題 
6.5.1一對一 
6.5.2一對多 
6.5.3多對多 
6.6實例：基於支持向量機實現 
葡萄酒分類 
6.7習題 

第7章集成學習 
7.1偏差與方差 
7.2Bagging及隨機森林 
7.2.1Bagging 
7.2.2隨機森林 
7.3Boosting及AdaBoost 
7.3.1Boosting 
7.3.3AdaBoost 
7.4提升樹 
7.4.1殘差提升樹 
7.4.2GBDT 
7.4.3XGBoost 
7.5Stacking 
7.6實例：基於梯度下降樹實現 
波士頓房價預測 
7.7習題 

第8章EM算法及其應用 
8.1Jensen不等式 
8.2EM算法 
8.3高斯混合模型 
8.4隱馬爾可夫模型 
8.4.1計算觀測概率的輸出 
8.4.2估計隱馬爾可夫模型的參數 
8.4.3隱變量序列預測 
8.5實例：基於高斯混合模型實現 
鳶尾花分類 
8.6習題 

第9章降維算法 
9.1主成分分析 
9.1.1方差即協方差的無偏估計 
9.1.2實例：基於主成分分析實現 
鳶尾花數據降維 
9.2奇異值分解 
9.2.1奇異值分解的構造 
9.2.2奇異值分解用於數據壓縮 
9.2.3SVD與PCA的關係 
9.2.4奇異值分解的幾何解釋 
9.2.5實例：基於奇異值分解實現圖片 
壓縮 
9.3習題 

第10章聚類算法 
10.1距離度量 
10.1.1閔可夫斯基距離 
10.1.2餘弦相似度 
10.1.3馬氏距離 
10.1.4漢明距離 
10.2層次聚類 
10.3K-Means聚類 
10.4K-Medoids聚類 
10.5DBSCAN 
10.6實例：基於K-Means實現 
鳶尾花聚類 
10.7習題 

第11章神經網絡與深度學習 
11.1神經元模型 
11.2多層感知機 
11.3損失函數 
11.4反向傳播算法 
11.4.1梯度下降法 
11.4.2梯度消失及梯度爆炸 
11.5卷積神經網絡 
11.5.1卷積 
11.5.2池化 
11.5.3網絡架構 
11.6循環神經網絡 
11.7生成對抗網絡 
11.8圖卷積神經網絡 
11.9深度學習發展 
11.10實例：基於卷積神經網絡 
實現手寫數字識別 
11.10.1MINST數據集 
11.10.2基於卷積神經網絡的手寫 
數字識別 
11.11習題 

第12章案例1：基於回歸問題、 
XGBoost的房價預測 
12.1XGBoost模型介紹 
12.2技術方案 
12.2.1數據分析 
12.2.2XGBoost模型參數 
12.2.3調參過程 
12.3完整代碼及結果展示 

第13章案例2：影評數據分析與 
電影推薦 
13.1明確目標與數據準備 
13.2工具選擇 
13.3初步分析 
13.3.1用戶角度分析 
13.3.2電影角度分析 
13.4電影推薦 

第14章案例3：汽車貸款違約的 
數據分析 
14.1數據分析常用的Python 
工具庫 
14.2數據樣本分析 
14.2.1數據樣本概述 
14.2.2變量類型分析 
14.2.3Python代碼實踐 
14.3數據分析的預處理 
14.3.1目標變量探索 
14.3.2X變量初步探索 
14.3.3連續變量的缺失值處理 
14.3.4分類變量的缺失值處理 
14.4數據分析的模型建立與模型 
評估 
14.4.1數據的預處理與訓練集劃分 
14.4.2採用回歸模型進行數據分析 
14.4.3採用決策樹模型進行數據 
分析 
14.4.4採用隨機森林模型優化 
決策樹模型 

第15章案例4：基於KNN模型預測 
葡萄酒種類的數據分析與 
可視化 
15.1KNN模型的初級構建 
15.2使用專業工具包構建KNN 
模型 
15.3數據可視化 

第16章案例5：使用Keras進行人 
臉關鍵點檢測 
16.1深度學習模型 
16.1.1數據集獲取 
16.1.2卷積神經網絡的搭建與訓練 
16.2模型評價 
16.3訓練歷史可視化 

第17章案例6：股價預測 
17.1使用tsfresh進行升維和特徵 
工程 
17.2程序設計思路 
17.3程序設計步驟 
17.3.1讀入數據，分析數據 
17.3.2移窗 
17.3.3升維 
17.3.4方差過濾 
17.3.5使用Adaboost模型進行回歸 
預測 
17.3.6預測結果分析 

第18章案例7：用戶流失預警 
18.1讀入數據 
18.2數據預處理 
18.3五折交叉驗證 
18.4代入三種模型 
18.5調整prob閾值，輸出精度 
評估 

第19章案例8：機器人路徑 
走迷宮 
19.1關鍵技術 
19.1.1馬爾科夫決策過程 
19.1.2Bellman方程 
19.2程序設計步驟 
19.2.1初始化迷宮地圖 
19.2.2計算不同位置路徑 
參考文獻