Python機器學習算法及應用

 

 

目錄

 

 

查看源碼

 

 

第1章在數據上的電腦學習能力

 

1.1轉換機器學習

 

1.1.1轉換機器學習簡介

 

1.1.2轉換機器學習對比其他方法

 

1.1.3轉換機器學習的改進

 

1.1.4轉換機器學習的可解釋性

 

1.1.5轉換機器學習對比深度神經網絡

 

1.1.6構建機器學習的生態系統

 

1.2三種不同類型的機器學習

 

1.2.1用監督學習預測未來

 

1.2.2用強化學習解決交互問題

 

1.2.3用無監督學習發現隱藏的結構

 

1.2.4分類和回歸術語

 

1.3評估機器學習模型

 

1.3.1簡單的留出驗證

 

1.3.2K折驗證

 

1.3.3帶有打亂數據的重復K折驗證

 

1.4數據預處理、特徵工程和特徵學習

 

1.4.1神經網絡的數據預處理

 

1.4.2特徵工程

 

1.5過擬合和欠擬合

 

1.5.1減小網絡大小

 

1.5.2添加權重正則化

 

1.5.3添加dropout正則化

 

1.6機器學習工作流程

 

1.6.1收集數據集

 

1.6.2選擇衡量成功的指標

 

1.6.3確定評估法

 

1.6.4開發更好的模型

 

1.6.5擴大模型規模

 

1.6.6正則化與調節超參數

 

1.7應用Python解決機器學習問題

 

1.7.1使用Python的原因

 

1.7.2Python的安裝

 

1.7.3Jupyter Notebook的安裝與使用

 

1.7.4使用pip安裝第三方庫

 

1.8用於機器學習的軟件包

 

1.8.1NumPy軟件包

 

1.8.2SciPy軟件包

 

1.8.3Pandas軟件包

 

第2章簡單的機器學習分類算法

 

2.1機器學習的早期歷史——人工神經網絡

 

2.1.1人工神經網絡的定義

 

2.1.2感知機學習規則

 

2.2感知機分類鳶尾

 

2.3自適應神經學習

 

2.4大規模機器學習與隨機梯度下降

 

2.4.1梯度下降算法概述

 

2.4.2批量梯度下降算法

 

2.4.3隨機梯度下降算法

 

2.4.4小批量梯度下降算法

 

2.4.5梯度下降算法的調優

 

第3章sklearn機器學習分類器

 

3.1分類器的選擇

 

3.2訓練感知器

 

3.3基於邏輯回歸的分類概率建模

 

3.3.1幾個相關定義

 

3.3.2邏輯代價函數的權重

 

3.3.3正則化解決過擬合問題

 

3.4支持向量機最大化分類間隔

 

3.4.1超平面

 

3.4.2函數間隔和幾何間隔

 

3.4.3間隔最大化

 

3.5核SVM解決非線性分類問題

 

3.5.1處理非線性不可分數據的核方法

 

3.5.2核函數實現高維空間的分離超平面

 

3.6決策樹

 

3.6.1何為決策樹

 

3.6.2決策樹生成

 

3.6.3決策樹的剪枝

 

3.6.4使用sklearn預測個人情況

 

3.7K近鄰算法

 

3.7.1K近鄰算法的原理

 

3.7.2K近鄰算法的實現

 

3.8貝葉斯算法

 

3.8.1貝葉斯算法的基本思想 

 

3.8.2貝葉斯算法的模型

 

3.8.3用sklearn實現貝葉斯分類

 

第4章數據預處理

 

4.1數據清洗

 

4.1.1缺失值處理

 

4.1.2異常值分析

 

4.2對某一列編碼

 

4.3劃分訓練集與測試集

 

4.3.1偽隨機數劃分

 

4.3.2交叉驗證

 

4.4數據特徵縮放

 

4.4.1特徵標準化/方差縮放

 

4.4.2特徵歸一化

 

4.5特徵選擇

 

4.5.1Filter

 

4.5.2Wrapper

 

4.5.3基於L1的正則化

 

第5章降維實現數據壓縮

 

5.1數據降維

 

5.2主成分降維

 

5.2.1主成分分析步驟

 

5.2.2PCA算法實現

 

5.2.3降維映射PCA的實現與應用

 

5.3線性判別分析監督數據壓縮

 

5.3.1線性判別分析基本思想

 

5.3.2LDA公式推導

 

5.3.3拉格朗日函數問題

 

5.3.4LDA實現數據降維

 

5.3.5基於sklearn的線性判別分析

 

5.4非線性映射核主成分降維

 

5.4.1核函數與核技巧

 

5.4.2KPCA與PCA降維實現

 

第6章不同模型的集成學習

 

6.1集成學習

 

6.2多投票機制組合分類器

 

6.3Bagging算法

 

6.4Boosting模型

 

6.4.1Boosting的基本思路

 

6.4.2AdaBoost算法

 

6.4.3Gradient Boosting算法

 

6.5Stacking模型

 

6.5.1Stacking原理

 

6.5.2Stacking模型實現

 

第7章連續變量的回歸分析

 

7.1線性回歸

 

7.1.1簡單線性回歸

 

7.1.2多元線性回歸

 

7.1.3相關矩陣查看關系

 

7.1.4協方差與相關性

 

7.2最小二乘線性回歸

 

7.2.1梯度下降法

 

7.2.2通過sklearn估計回歸模型的系數

 

7.3使用RANSAC算法擬合健壯回歸模型

 

7.4線性回歸模型性能的評估

 

7.4.1線性回歸算法的衡量標準

 

7.4.2線性回歸算法應用實例

 

7.5利用正則化方法進行回歸

 

7.5.1嶺回歸

 

7.5.2Lasso回歸

 

7.5.3彈性網絡

 

7.6將線性回歸模型轉換為多項式回歸

 

7.7用隨機森林處理非線性關系

 

7.7.1決策樹

 

7.7.2隨機森林回歸

 

第8章數據的聚類分析

 

8.1KMeans算法

 

8.1.1KMeans算法原理

 

8.1.2KMeans算法步驟

 

8.1.3KMeans算法的缺陷

 

8.1.4使用sklearn進行KMeans聚類

 

8.1.5肘法與輪廓法

 

8.1.6KMeans++算法

 

8.2層次聚類

 

8.3DBSCAN算法

 

8.3.1DBSCAN算法相關概念

 

8.3.2DBSCAN算法的優缺點

 

8.3.3DBSCAN算法實現

 

第9章從單層到多層的人工神經網絡

 

9.1人工神經網絡建模復雜函數

 

9.1.1單隱層神經網絡概述

 

9.1.2多層神經網絡結構

 

9.1.3前向傳播激活神經網絡

 

9.1.4反向傳播

 

9.2識別手寫數字

 

9.2.1神經網絡算法實現數字的識別

 

9.2.2實現多層感知器

 

第10章使用深度捲積神經網絡實現圖像分類

 

10.1構建捲積神經網絡

 

10.1.1深度學習

 

10.1.2CNN的原理

 

10.1.3使用CNN實現手寫體識別

 

10.2使用LeNet5實現圖像分類

 

10.3使用AlexNet實現圖片分類

 

10.3.1AlexNet結構分析

 

10.3.2AlexNet的分類實現

 

10.4VGG16的遷移學習實現

 

10.5使用OpenCV實現人臉識別

 

10.5.1人臉檢測

 

10.5.2車牌檢測

 

10.5.3目標檢測

 

10.6使用OpenCV實現網絡遷移

 

第11章使用循環神經網絡實現序列建模

 

11.1RNN

 

11.1.1RNN的發展歷史

 

11.1.2什麽是RNN

 

11.1.3LSTM結構和GRU結構

 

11.1.4序列模型實現

 

11.2雙向循環神經網絡

 

11.3Seq2Seq模型序列分析

 

11.3.1Seq2Seq模型

 

11.3.2如何訓練Seq2Seq模型

 

11.3.3利用Seq2Seq進行時間序列預測

 

第12章使用生成對抗網絡合成新數據

 

12.1GAN原理

 

12.2GAN應用

 

12.3強化學習

 

12.3.1強化學習的方式

 

12.3.2強化學習系統與特點

 

12.3.3GAN損失函數

 

12.3.4馬爾可夫決策

 

12.3.5Qlearning算法

 

12.3.6策略梯度

 

12.3.7強化學習的經典應用