深度學習理論與實踐

深度學習是電腦科學的一個重要分支，是一種以人工神經網絡為架構，對數據進行表徵學習的算法的總稱。深度學習是傳統機器學習算法的發展和衍生，相關內容涉及代數、統計學、優化理論、矩陣計算等多個領域。《深度學習理論與實踐》是深度學習的基礎入門級教材，在內容上盡可能覆蓋深度學習算法相關基礎知識。全書共11章，大致可分為三大部分：第一部分(第1～3章)主要介紹機器學習的基礎知識和一些傳統算法；第二部分(第4～8章)主要介紹人工神經網絡等的相關理論、優化算法和各類經典神經網絡模型；第三部分(第9～11章)為進階知識，主要介紹非監督學習和強化學習的相關算法。 在學習《深度學習理論與實踐》的過程中，讀者不僅要深入理解相關算法理論，更要多思多練。讀者在閱讀各章節內容後，可基於各章習題鞏固知識，並將理論與實踐結合，基於torch、tensorflow等深度學習平臺在實際任務中演練所學理論知識和技能。本書可作為高等院校電腦或電子信息相關專業的本科生或研究生教材。

目  錄

 

第1章  緒論 1

1.1  疫情防控中的應用 3

1.2  自動駕駛中的應用 4

1.3  現代農業中的應用 5

第2章  基礎回歸模型 6

2.1  線性回歸模型 6

2.1.1  一元線性回歸 7

2.1.2  多元線性回歸 7

2.1.3  多項式回歸 9

2.2  參數估計模型 10

2.2.1  最小二乘估計 10

2.2.2  嶺回歸 12

2.2.3  套索回歸 14

2.2.4  彈性回歸 15

2.3  梯度下降算法 17

2.3.1  梯度的概念 17

2.3.2  梯度下降法算法 21

2.3.3  梯度下降算法分類 25

2.4  回歸模型效果評估 27

2.4.1  平均絕對誤差(MAE) 27

2.4.2  平均絕對百分比誤差

MAPE) 27

2.4.3  均方誤差(MSE) 28

2.4.4  均方根誤差(RMSE) 28

2.4.5  均方根對數誤差(RMSLE) 28

2.4.6  中位數絕對誤差(MedAE) 28

2.4.7  決定系數(R2) 29

習題2 30

第3章  基礎分類模型 32

3.1  邏輯回歸 32

3.1.1  廣義線性模型 32

3.1.2  邏輯回歸模型 33

3.1.3  代價函數 35

3.1.4  模型求解 36

3.2  支持向量機 37

3.2.1  線性支持向量機 37

3.2.2  模型參數的求解 40

3.2.3  非線性支持向量機 41

3.3  決策樹 43

3.3.1  算法簡介 43

3.3.2  決策樹的基本構建流程 44

3.3.3  特徵選擇與不純性計算 45

3.3.4  C4.5算法 50

3.4  貝葉斯分類 51

3.4.1  相關數學概念 51

3.4.2  貝葉斯決策理論 53

3.4.3  極大似然估計 55

3.4.4  樸素貝葉斯分類器 56

3.4.5  半樸素貝葉斯分類器 58

3.5  分類模型效果評估 60

3.5.1  一級指標 60

3.5.2  二級指標 61

3.5.3  三級指標 62

習題3 64

第4章  人工神經網絡基礎 65

4.1  人工神經網絡基礎結構 65

4.1.1  人工神經元 65

4.1.2  單層神經網絡 66

4.1.3  多層神經網絡 67

4.2  神經網絡的向量化表示與主要函數 68

4.2.1  神經網絡的向量化表示 68

4.2.2  常用激活函數 69

4.2.3  常見損失函數 72

4.3  正向傳播與反向傳播 73

4.3.1  正向傳播 73

4.3.2  反向傳播 74

4.4  深度學習平臺簡介 77

習題4 80

第5章  人工神經網絡優化 81

5.1  人工神經網絡的特點和主要

問題 81

5.2  模型優化表徵能力提外

方法 82

5.2.1  模型的規模提升與結構選擇 82

5.2.2  數據預處理 85

5.2.3  模型參數初始化 86

5.2.4  模型結構優化 89

5.2.5  模型的超參設定 92

5.3  優化算法改進方法 95

5.3.1  指數加權平均 95

5.3.2  基於動量的梯度下降法 96

5.3.3  AdaGrad & RMSprop算法 97

5.3.4  Adam算法 99

5.3.5  近似梯度計算 100

5.4  模型效果評估與泛化能力提外方法 104

5.4.1  訓練集、驗證集、測試集

劃分 104

5.4.2  欠擬合與過擬合 105

5.4.3  正則化 106

5.4.4  丟棄法 107

5.4.5  提前停止法 109

5.4.6  誤差分析 110

習題5 110

第6章  捲積神經網絡 112

6.1  捲積神經網絡基礎 112

6.1.1  捲積運算 113

6.1.2  池化操作 116

6.1.3  捲積神經網絡構成 116

6.1.4  反向傳播 118

6.2  經典的捲積神經網絡模型 121

6.2.1  AlexNet 121

6.2.2  VGG網絡 124

6.2.3  GoogleNet(Inception) 126

6.2.4  ResNet 128

6.2.5  DenseNet 132

6.2.6  SqueezeNet 134

習題6 135

第7章  循環神經網絡 137

7.1  循環神經網絡基礎 137

7.1.1  循環神經網絡的基礎結構 137

7.1.2  不同類型的循環神經網絡 138

7.1.3  正向傳播 140

7.1.4  反向傳播 141

7.2  經典的循環神經網絡模型 144

7.2.1  LSTM 144

7.2.2  GRU 147

7.2.3  雙向循環神經網絡 148

7.2.4  多層循環神經網絡模型 149

7.2.5  Seq-to-Seq模型 150

習題7 152

第8章  註意力機制及其應用 154

8.1  註意力機制 154

8.1.1  註意力機制模型構建流程 155

8.1.2  多頭註意力機制 157

8.2  自註意力模型 157

8.3  Transformer模型 159

8.3.1  編碼器 160

8.3.2  解碼器 160

8.3.3  多頭自註意力 160

8.3.4  位置信息編碼 161

8.4  自然語言處理中的註意力

模型 162

8.4.1  自然語言處理背景介紹 162

8.4.2  Word2vec原理與訓練

模式 163

8.4.3  ELMo 174

8.4.4  GPT模型 176

8.4.5  Bert模型 179

習題8 180

第9章  圖神經網絡 181

9.1  圖的概述 182

9.1.1  圖的基本定義 182

9.1.2  圖的基本類型 182

9.1.3  圖的存儲 184

9.1.4  圖的應用 184

9.2  圖信號處理 186

9.2.1  圖的拉普拉斯矩陣 186

9.2.2  圖的傅里葉變換 188

9.3  圖捲積網絡 190

9.3.1  圖捲積網絡的演化 191

9.3.2  一般圖捲積網絡 192

9.4  空間域圖神經網絡 194

9.4.1  GNN的通用框架 194

9.4.2  GraphSAGE 198

9.4.3  圖自註意力網絡 199

9.4.4  Graphormer 201

習題9 203

第10章  無監督學習 204

10.1  聚類 205

10.1.1  k-Means聚類 205

10.1.2  k-Means++聚類算法 207

10.2  無監督特徵學習 208

10.2.1  主成分分析 208

10.2.2  自編碼器 210

10.2.3  生成對抗網絡 214

習題10 218

第11章  強化學習 220

11.1  強化學習概述 220

11.1.1  強化學習的理論基礎 221

11.1.2  強化學習的分類 223

11.1.3  強化學習的應用 224

11.2  馬爾可夫決策過程 225

11.2.1  價值函數 226

11.2.2  最優價值函數求解 228

11.2.3  馬爾可夫決策過程實例 229

11.3  模型強化學習 230

11.3.1  策略評估 231

11.3.2  策略改進 232

11.3.3  策略迭代 233

11.4  無模型強化學習 233

11.4.1  蒙特卡羅強化學習 234

11.4.2  時序差分學習 237

11.4.3  價值函數近似 241

11.4.4  深度Q-learning 243

習題11 244

參考文獻 246