深度學習應用與實戰（全彩）

本書系統介紹了神經網絡和深度學習，並結合實際應用場景和綜合案例，讓讀者深入瞭解深度學習。全書共16章，分為4個部分。第1部分介紹了深度學習基礎算法與應用，主要包括神經網絡和深度學習的相關概念、多層神經網絡的基本原理和具體應用、捲積神經網絡的原理及項目案例實現、優化算法與模型管理。第2部分介紹了深度學習進階算法與應用，主要包括經典的深度捲積神經網絡，ResNet、DenseNet和MobileNet，目標檢測的基本概念和常見算法，循環神經網絡的基本概念和具體應用。第3部分介紹了時空數據模型與應用，主要包括CNN-LSTM混合模型的基本概念和具體應用，多元時間序列神經網絡、註意力機制和Transformer的基本結構和具體應用。第4部分介紹了生成對抗網絡及其應用，主要包括生成對抗網絡的基本概念及其模型的結構和訓練過程，使用檢測模型、識別模型對車牌進行檢測與識別。本書適合對人工智能、機器學習、神經網絡和深度學習等感興趣的讀者閱讀，也適合作為本科院校和高等職業院校人工智能相關專業的教材。本書可以幫助有一定基礎的讀者查漏補缺，使其深入理解和掌握與深度學習相關的原理及方法，並能提高其解決實際問題的能力。

目 錄
第 1 部分 深度學習基礎算法與應用
第 1 章 單層神經網絡 2
1.1 深度學習的基本概念 2
1.1.1 深度學習的概述 2
1.1.2 神經網絡 3
1.2 深度學習框架 5
1.2.1 常見框架介紹 5
1.2.2 張量 6
1.3 單層神經網絡的概述 6
1.3.1 回歸模型 6
1.3.2 二分類模型 10
1.3.3 多分類模型 13
1.4 單層神經網絡實現鳶尾花分類 17
1.4.1 使用 TensorFlow 實現鳶尾花分類 17
1.4.2 使用 PyTorch 實現鳶尾花分類 20
本章總結 22
作業與練習 22
第 2 章 多層神經網絡 24
2.1 多層神經網絡的概述 24
2.1.1 隱藏層的意義 24
2.1.2 激活函數 25
2.1.3 反向傳播 27
2.1.4 異或處理代碼實現 28
2.2 梯度下降算法 30
2.2.1 批量梯度下降算法 30
2.2.2 隨機梯度下降算法 31
2.2.3 小批量梯度下降算法 31
2.3 正則化處理 31
2.3.1 L1 正則化與 L2 正則化 31
2.3.2 Dropout 正則化 31
2.3.3 提前停止 32
2.3.4 批量標準化 32
2.4 手寫數字識別
2.4.1 MNIST 數據集簡介 32
2.4.2 使用 TensorFlow 實現MNIST 手寫數字分類 33
2.4.3 使用 PyTorch 實現MNIST 手寫數字分類 36
本章總結 39
作業與練習 39
第 3 章 捲積神經網絡 41
3.1 圖像基礎原理 41
3.1.1 像素 41
3.1.2 灰度值 42
3.1.3 彩色圖像表達 42
3.2 捲積的作用及原理 43
3.2.1 捲積的概述 43
3.2.2 捲積運算的原理 43
3.2.3 捲積運算的方式 44
3.2.4 捲積表達的含義 44
3.2.5 捲積相關術語 45
3.3 捲積神經網絡的基本結構 46
3.3.1 捲積神經網絡的網絡結構 46
3.3.2 捲積層 47
3.3.3 ReLU 層 47
3.3.4 池化層 48
3.3.5 全連接層 49
3.4 基於捲積神經網絡實現MNIST 手寫數字識別 49
3.4.1 構建捲積神經網絡模型 49
3.4.2 使用 TensorFlow 實現捲積神經網絡 MNIST手寫數字分類 50
3.4.3 使用 PyTorch 實現捲積神經網絡 MNIST 手寫
數字分類 52
本章總結 55
作業與練習 55
第 4 章 優化算法與模型管理 57
4.1 數據增強 57
4.1.1 數據增強的意義 57
4.1.2 使用 TensorFlow 實現數據增強 58
4.1.3 使用 PyTorch 實現數據增強 59
4.2 梯度下降優化 60
4.2.1 梯度下降優化的必要性 60
4.2.2 Momentum 優化器 60
4.2.3 Adagrad 優化器 60
4.2.4 RMSprop 優化器 61
4.2.5 Adam 優化器 62
4.3 模型的保存與加載 62
4.3.1 TensorFlow 模型保存與加載 62
4.3.2 PyTorch 模型保存與加載 63
4.4 項目案例：車輛識別 64
4.4.1 汽車數據集 65
4.4.2 項目案例實現 65
本章總結 70
作業與練習 70
第 2 部分 深度學習進階算法與應用
第 5 章 深度捲積神經網絡 74
5.1 深度捲積神經網絡的概述 74
5.2 AlexNet 75
5.2.1 AlexNet 的網絡結構 75
5.2.2 構建 AlexNet 模型 77
5.3 VGG 79
5.3.1 VGG 的網絡結構 79
5.3.2 構建 VGG 模型 80
5.4 NiN 81
5.4.1 NiN 的網絡結構 81
5.4.2 構建 NiN 模型 83
5.5 GoogLeNet 85
5.5.1 GoogLeNet 的網絡結構 85
5.5.2 構建 GoogLeNet 模型 88
5.6 項目案例：車輛多屬性識別 90
5.6.1 多屬性識別 91
5.6.2 項目案例實現 91
本章總結 100
作業與練習 100
第 6 章 高效的捲積神經網絡 102
6.1 ResNet 102
6.1.1 ResNet 的網絡結構 102
6.1.2 構建 ResNet 模型 103
6.2 DenseNet 109
6.2.1 DenseNet 的網絡結構 110
6.2.2 構建 DenseNet 模型 111
6.3 MobileNet 112
6.3.1 MobileNet 的網絡結構 112
6.3.2 構建 MobileNet 模型 113
6.4 項目案例：違規駕駛行為識別 114
本章總結 126
作業與練習 126
第 7 章 目標檢測 128
7.1 目標檢測的概述 128
7.2 兩階段目標檢測 129
7.2.1 R-CNN 129
7.2.2 Fast R-CNN 和Faster R-CNN 130
7.2.3 Mask R-CNN 132
7.3 一階段目標檢測 133
7.3.1 YOLO 系列 133
7.3.2 SSD 137
7.4 項目案例：車輛檢測 137
本章總結 144
作業與練習 144
第 8 章 循環神經網絡 145
8.1 循環神經網絡的概述 145
8.2 LSTM 神經網絡 147
8.2.1 LSTM 神經網絡的網絡結構 147
8.2.2 LSTM 門機制 147
8.3 GRU 神經網絡 148
8.3.1 GRU 神經網絡的網絡結構 148
8.3.2 GRU 門機制 148
8.4 項目案例：文本生成 149
本章總結 159
作業與練習 159
第 9 章 深度循環神經網絡 160
9.1 深度循環神經網絡的概述 160
9.1.1 深度循環神經網絡的特點 160
9.1.2 雙向 LSTM 神經網絡 162
9.2 項目案例：短時交通流量預測 163
9.2.1 解決方案 163
9.2.2 項目案例實現 164
本章總結 177
作業與練習 177
第 3 部分 時空數據模型與應用
第 10 章 CNN-LSTM 混合模型 180
10.1 編碼器-解碼器模型 180
10.1.1 模型結構 180
10.1.2 構建編碼器-解碼器模型 182
10.2 項目案例：基於時空特徵的交通事故預測 183
10.2.1 數據集和評價指標 184
10.2.2 項目案例實現 184
本章總結 193
作業與練習 193
第 11 章 多元時間序列神經網絡 195
11.1 圖 195
11.1.1 結構和信號 196
11.1.2 圖結構 197
11.1.3 圖神經網絡 197
11.2 圖捲積網絡 198
11.2.1 基本原理 198
11.2.2 數學運算 199
11.2.3 使用 GCN 模型實現圖像識別 200
11.3 多元時間序列神經網絡的概述 205
11.3.1 DCRNN 205
11.3.2 seq2seq 模型 207
11.4 項目案例：基於 DCRNN實現交通流量預測 209
11.4.1 解決方案 209
11.4.2 項目案例實現 210
本章總結 226
作業與練習 227
第 12 章 MTGNN 與交通流量預測 228
12.1 基於 MTGNN 實現交通流量預測 228
12.1.1 MTGNN 的網絡結構 229
12.1.2 MTGNN 時空捲積 229
12.2 PyTorch-Lightning 231
12.2.1 安裝 231
12.2.2 基本使用 231
12.3 項目案例：基於 MTGNN實現交通流量預測 232
本章總結 245
作業與練習 246
第 13 章 註意力機制 247
13.1 註意力機制的概述 247
13.1.1 機器翻譯中的註意力機制 248
13.1.2 自註意力機制的概述 251
13.2 項目案例：視頻異常檢測 253
本章總結 266
作業與練習 266
第 14 章 Transformer 268
14.1 Transformer 的概述 268
14.1.1 Transformer 的簡介 269
14.1.2 Transformer 的總體結構 269
14.2 Self-Attention 機制 271
14.2.1 Self-Attention 機制的原理 271
14.2.2 Self-Attention 的計算過程 272
14.2.3 Positional Encoding 和LayerNorm 273
14.3 項目案例：軌跡預測 275
14.3.1 解決方案 275
14.3.2 車輛軌跡預測數據集 276
14.3.3 實現過程 278
本章總結 290
作業與練習 290
第 4 部分 生成對抗網絡及其應用
第 15 章 生成對抗網絡 294
15.1 生成對抗網絡的概述 294
15.1.1 GAN 模型的結構 294
15.1.2 GAN 模型的訓練過程 295
15.2 TecoGAN 模型 296
15.2.1 TecoGAN 模型的結構 297
15.2.2 TecoGAN 損失函數 297
15.2.3 TecoGAN 評價指標 298
15.3 項目案例：視頻超分辨率 298
本章總結 306
作業與練習 306
第 16 章 車牌檢測與識別 307
16.1 項目案例：車牌檢測與識別 307
16.1.1 數據集 308
16.1.2 MTCNN 模型 309
16.1.3 LPRNet 311
16.2 項目案例實現 312
本章總結 323
作業與練習 324