概率機器學習——從基礎到前沿

王琢，沈陽理工大學副教授，碩士研究生導師，主要研究方向為機器學習、異常檢測等。在國內外學術期刊和國際會議發表論文30余篇，其中以第一作者在Knowledge-based systems、Applied intelligence、Data mining and knowledge discovery等國際知名期刊發表SCI檢索論文6篇，谷歌學術引用300余次。擔任國際知名期刊Knowledge-based systems, Information sciences, Information Fusion等國際知名期刊審稿人。

 

目錄

 

 

 

 

配書資源（教學課件、源碼等)

 

 

 

 

有監督學習篇

 

第1章緒論

 

1.1機器學習發展歷程

 

1.1.1機器學習簡史

 

1.1.2人工智能大事年表

 

1.2機器學習模型

 

1.2.1模型的定義和術語

 

1.2.2機器學習模型的三要素

 

1.2.3機器學習模型的分類

 

1.2.4為什麼神經網絡屬於概率模型

 

1.3學習本書的前提和方法

 

1.3.1必備基礎

 

1.3.2學習方法

 

1.3.3本書的符號約定

 

1.4概率論基礎

 

1.4.1概率的定義和基本運算

 

1.4.2隨機變量和分布函數

 

1.4.3常見隨機變量的分布

 

1.4.4期望和方差

 

1.4.5多維隨機變量

 

1.4.6最大似然估計

 

第2章線性回歸

 

2.1用sklearn做線性回歸

 

2.1.1創建數據集

 

2.1.2劃分訓練集和測試集

 

2.1.3一元線性回歸

 

2.1.4二元線性回歸

 

2.1.5三元線性回歸

 

2.2線性回歸的模型結構和預測

 

2.2.1數據集表示

 

2.2.2模型結構和模型預測

 

2.3線性回歸模型的損失函數

 

2.3.1殘差平方和損失

 

2.3.2負對數似然損失

 

2.4線性回歸的模型訓練

 

2.4.1最小二乘法

 

2.4.2梯度下降法

 

2.5嶺回歸

 

2.5.1L2正則化與嶺回歸

 

2.5.2Lp範數

 

2.6線性自回歸： AR

 

2.6.1AR模型結構和預測

 

2.6.2AR模型訓練

 

2.7線性回歸模型的評估指標

 

2.7.1均方誤差

 

2.7.2R2

 

2.8練習題

 

第3章邏輯回歸

 

3.1用sklearn實現邏輯回歸

 

3.1.1生成用於分類的模擬數據集

 

3.1.2用sklearn對樣本進行分類

 

3.2邏輯回歸的模型結構和預測

 

3.2.1數據集表示

 

3.2.2模型結構和預測

 

3.3邏輯回歸模型的損失函數

 

3.3.1確定似然函數

 

3.3.2確定損失函數

 

3.4邏輯回歸的模型訓練

 

3.5多分類邏輯回歸

 

3.6線性回歸模型的擴展

 

3.6.1對數概率回歸

 

3.6.2多項式回歸

 

3.7分類性能評估指標

 

3.7.1多分類性能評估指標

 

3.7.2二分類性能評估指標

 

3.8邏輯回歸實踐： 用sklearn實現鳶尾花分類

 

3.9練習題

 

第4章支持向量機

 

4.1用sklearn中的SVC實現分類

 

4.2支持向量機的模型結構和預測

 

4.2.1數據集表示

 

4.2.2模型結構

 

4.2.3模型預測

 

4.3支持向量機的損失函數

 

4.4支持向量機模型訓練

 

4.4.1線性可分的情況

 

4.4.2線性不可分的情況

 

4.4.3再論支持向量機的損失函數

 

4.5核技巧

 

4.6多分類支持向量機

 

4.7支持向量機實踐： 乳腺癌篩查

 

4.7.1k重交叉驗證

 

4.7.2乳腺癌良性惡性分類

 

4.8練習題

 

第5章K近鄰與決策樹

 

5.1用sklearn實現K近鄰

 

5.2K近鄰的模型結構和預測

 

5.2.1K近鄰模型結構

 

5.2.2K近鄰模型預測

 

5.2.3K近鄰模型的決策邊界

 

5.3使用sklearn構建鳶尾花分類決策樹

 

5.4決策樹的模型結構和預測

 

5.5決策樹模型訓練

 

5.5.1用分治策略構建決策樹

 

5.5.2分裂節點的選擇

 

5.5.3基於分治和基尼不純度實現鳶尾花決策樹

 

5.6常用決策樹模型

 

5.6.1單棵決策樹模型

 

5.6.2集成學習模型

 

5.7練習題

 

第6章樸素貝葉斯

 

6.1貝葉斯分類器

 

6.1.1貝葉斯分類器模型結構和預測

 

6.1.2構造ACHW數據集

 

6.1.3一個簡單的貝葉斯分類器

 

6.2樸素貝葉斯

 

6.2.1樸素貝葉斯模型結構和預測

 

6.2.2非高斯樸素貝葉斯

 

6.2.3其他問題

 

6.3樸素貝葉斯實踐： 文本分類

 

6.4練習題

 

 

無監督學習篇

 

 

第7章KMeans和高斯混合模型

 

7.1用sklearn實現KMeans聚類

 

7.2KMeans模型結構和預測

 

7.2.1模型結構

 

7.2.2模型預測

 

7.3KMeans模型的損失函數

 

7.4KMeans的模型訓練

 

7.4.1疊代優化： KMeans 算法

 

7.4.2KMeans++： 改進的初始化方法

 

7.4.3超參數K的選擇

 

7.5聚類度量指標

 

7.5.1輪廓系數

 

7.5.2DB指數

 

7.6用sklearn實現高斯混合模型聚類

 

7.6.1使用ACHW數據集訓練高斯混合模型

 

7.6.2用高斯混合模型生成新樣本

 

7.7高斯混合模型的模型結構和預測

 

7.7.1模型結構

 

7.7.2模型的可視化

 

7.7.3模型預測

 

7.8高斯混合模型的模型訓練

 

7.8.1確定似然函數

 

7.8.2EM算法

 

7.9KMeans和高斯混合模型實踐： 鳶尾花聚類

 

7.9.1KMeans聚類

 

7.9.2高斯混合模型聚類

 

7.10練習題

 

第8章低秩近似和表征學習

 

8.1用sklearn做主成分分析

 

8.1.1鳶尾花數據集的可視化

 

8.1.2鳶尾花數據集的降維

 

8.2主成分分析原理

 

8.2.1向量空間的數據變換

 

8.2.2PCA降維

 

8.2.3PCA作為一種機器學習模型

 

8.2.4PCA與低秩近似

 

8.3奇異值分解原理

 

8.3.1奇異值分解及其降維

 

8.3.2奇異值分解作為一種機器學習模型

 

8.4矩陣補全原理

 

8.4.1矩陣分解

 

8.4.2矩陣補全與SVD的比較

 

8.5表征學習

 

8.5.1表征學習的歷史

 

8.5.2表征學習相關技術

 

8.5.3奇異值分解與表征學習

 

8.6練習題

 

概率圖模型篇

 

 

第9章貝葉斯推斷

 

9.1什麼是貝葉斯推斷

 

9.1.1象棋大戰

 

9.1.2為什麼最大似然估計不可靠

 

9.1.3貝葉斯推斷的核心思想

 

9.2先驗分布

 

9.2.1Beta分布

 

9.2.2Beta分布應用於象棋大戰問題

 

9.2.3沒有免費的午餐定理

 

9.3貝葉斯處理

 

9.3.1象棋大戰問題的後驗分布估計

 

9.3.2共軛分布

 

9.3.3後驗分布更新過程的可視化

 

9.4最大後驗估計

 

9.5貝葉斯邏輯回歸

 

9.5.1參數的先驗分布

 

9.5.2觀測值的似然函數

 

9.5.3參數的後驗分布

 

9.6貝葉斯邏輯回歸求解： 最大後驗估計

 

9.6.1最大後驗估計

 

9.6.2代碼實現

 

9.7貝葉斯邏輯回歸求解： 采樣近似法

 

9.7.1MetropolisHastings采樣法

 

9.7.2用MetropolisHastings采樣計算近似後驗分布

 

9.7.3使用近似後驗樣本進行預測

 

9.7.4代碼實現

 

9.8練習題

 

第10章概率圖模型

 

10.1用概率圖模型表示聯合分布

 

10.2有向圖模型

 

10.2.1常用概率模型的有向圖表示

 

10.2.2貝葉斯網絡及其概率推理

 

10.2.3三種基本概率推理模式

 

10.3D分隔

 

10.3.1三種基本阻塞結構

 

10.3.2用pgmpy驗證D分隔

 

10.3.3D分隔實例

 

10.3.4馬爾可夫毯

 

10.4無向圖模型

 

10.4.1馬爾可夫網絡和吉布斯分布

 

10.4.2無向圖模型中的獨立性

 

10.5概率圖模型的學習和推斷

 

10.5.1模型學習

 

10.5.2模型推斷

 

10.6練習題

 

第11章馬爾可夫鏈和隱馬爾可夫模型

 

11.1馬爾可夫鏈

 

11.1.1三硬幣問題

 

11.1.2馬爾可夫鏈的一般形式

 

11.1.3馬爾可夫鏈的收斂性

 

11.1.4馬爾可夫鏈的訓練和推斷

 

11.2隱馬爾可夫模型結構

 

11.2.1模型結構

 

11.2.2生成式模型

 

11.3隱馬爾可夫模型的解碼

 

11.3.1使用hmmlearn做推斷

 

11.3.2Viterbi算法

 

11.3.3Viterbi算法的實現

 

11.4隱馬爾可夫模型的訓練

 

11.4.1用hmmlearn訓練隱馬爾可夫模型

 

11.4.2BaumWelch算法

 

11.4.3BaumWelch算法的實現

 

11.5練習題

 

第12章馬爾可夫隨機場

 

12.1馬爾可夫隨機場模型

 

12.1.1模型結構

 

12.1.2模型訓練和推斷

 

12.2馬爾可夫隨機場實踐1： 圖像去噪

 

12.2.1伊辛模型

 

12.2.2圖像去噪模型

 

12.2.3模型推斷： ICM

 

12.2.4代碼實現

 

12.3馬爾可夫隨機場實踐2： 立體視覺問題

 

12.3.1立體視覺問題

 

12.3.2馬爾可夫隨機場建模

 

12.3.3模型推斷： 循環置信傳播

 

12.3.4代碼實現

 

12.4練習題

 

第13章條件隨機場

 

13.1生成式模型和判別式模型

 

13.1.1常見的生成式模型和判別式模型

 

13.1.2生成式模型和判別式模型的區別

 

13.2條件隨機場模型

 

13.2.1兩個條件隨機場的例子

 

13.2.2線性鏈條件隨機場

 

13.2.3一般形式的條件隨機場

 

13.3特征工程

 

13.3.1特征函數的構建方法

 

13.3.2特征工程示例： 拼音輸入法

 

13.4模型推斷和訓練

 

13.4.1模型推斷

 

13.4.2模型訓練

 

13.5條件隨機場實踐： 拼音輸入法

 

13.5.1構建訓練集

 

13.5.2模型訓練與預測

 

13.6練習題

 

深度學習篇

 

 

第14章人工神經網絡

 

14.1MP神經元

 

14.2感知機

 

14.2.1感知機的結構和預測

 

14.2.2感知機的訓練

 

14.2.3感知機的局限性

 

14.2.4常用激活函數

 

14.3多分類感知機： Softmax回歸

 

14.3.1Softmax回歸模型結構和預測

 

14.3.2Softmax回歸模型訓練

 

14.3.3Softmax回歸代碼實現

 

14.4多層感知機： 前饋神經網絡

 

14.4.1多層感知機模型結構和預測

 

14.4.2VC維與通用逼近定理

 

14.5多層感知機的訓練

 

14.5.1損失函數

 

14.5.2梯度計算

 

14.5.3後向傳播算法

 

14.6神經網絡自動求導

 

14.6.1神經網絡常用層的構造

 

14.6.2基於常用層搭建神經網絡

 

14.7梯度優化器

 

14.7.1優化器工作原理

 

14.7.2不同優化器的代碼實現

 

14.8其他優化方法

 

14.8.1權重初始化

 

14.8.2權重正則化

 

14.9人工神經網絡實踐： 手寫數字識別

 

14.10練習題

 

第15章卷積神經網絡

 

15.1圖像分類問題

 

15.1.1全連接層的局限性

 

15.1.2深度網絡的必要性

 

15.2卷積神經網絡的結構

 

15.2.1單通道、單卷積核的卷積層

 

15.2.2卷積運算

 

15.2.3單通道池化層

 

15.2.4多輸入通道、多輸出通道卷積

 

15.2.5多通道池化

 

15.3一個簡單的卷積神經網絡——SCNN

 

15.3.1SCNN的結構

 

15.3.2SCNN的前向傳播

 

15.4SCNN卷積神經網絡的訓練

 

15.4.1池化層的後向傳播

 

15.4.2ReLU層的後向傳播

 

15.4.3卷積層的後向傳播

 

15.5SCNN卷積神經網絡的代碼實現

 

15.6常用卷積神經網絡簡介

 

15.7卷積神經網絡實踐： CIFAR10圖像分類

 

15.8練習題

 

第16章循環神經網絡

 

16.1一個簡單的語言模型： 預測下一個單詞

 

16.2循環神經網絡的模型結構和預測

 

16.2.1模型結構

 

16.2.2模型預測： 前向傳播算法

 

16.3循環神經網絡的訓練

 

16.3.1後向傳播算法： BPTT

 

16.3.2BPTT代碼實現

 

16.4循環神經網絡的變體

 

16.4.1多層循環神經網絡

 

16.4.2雙向循環神經網絡

 

16.4.3可變長度序列的循環神經網絡

 

16.5改進的循環神經網絡： LSTM和GRU簡介

 

16.5.1LSTM的模型結構和預測

 

16.5.2GRU的模型結構和預測

 

16.5.3Transformer簡介

 

16.6循環神經網絡實踐： 中文句子生成

 

16.7練習題

 

參考文獻