深度學習理論與應用

本書基於PyTorch框架介紹深度學習的有關理論和應用,以Python為實現語言。全書共分10章，內容包括深度學習的概念和發展過程、感知器、全連接神經網絡、捲積神經網絡、若乾經典CNN預訓練模型及其遷移方法、深度捲積神經網絡應用案例、循環神經網絡、基於預訓練模型的自然語言處理、面向模型解釋的深度神經網絡可視化方法、多模態學習與多模態數據分類等。 本書兼顧理論與應用、原理與方法，集系統性、實用性、便捷性於一體，易於入門，實例豐富，所有代碼全部經過調試和運行。此外，每一章後面都配有適量的習題，供教學和學習參考使用。 本書可作為各類高等學校人工智能和電腦相關專業的“人工智能”或“機器學習”課程的教材，也可作為人工智能、深度學習愛好者和初學者的自學教材，以及從事人工智能課題研究和應用開發人員的參考用書。

目錄

第1章緒論與PyTorch基礎/1

1.1人工智能與神經網絡1

1.2深度學習2

1.2.1什麽是深度學習2

1.2.2深度學習的發展過程3

1.2.3深度學習的基礎網絡4

1.3建立PyTorch的開發環境4

1.3.1Anaconda與Python的安裝4

1.3.2PyCharm和PyTorch的安裝5

1.3.3PyTorch的Hello World程序6

1.4張量基礎7

1.4.1張量的定義及其物理含義7

1.4.2張量的切片操作10

1.4.3面向張量的數學函數13

1.4.4張量的變形16

1.4.5張量的常用運算17

1.4.6張量的廣播機制21

1.4.7梯度的自動計算22

1.4.8張量與其他對象的相互轉換23

1.4.9張量的拼接24

1.5初識PyTorch框架25

1.5.1一個簡單的網絡模型25

1.5.2訪問網絡模型的各個網絡層27

1.5.3訪問模型參數及模型保存和加載方法29

1.6本章小結30

1.7習題31

第2章感知器——神經元/32

2.1感知器的定義32

2.2激活函數33深度學習理論與應用目錄2.3感知器的訓練34

2.3.1監督學習和無監督學習34

2.3.2面向回歸問題的訓練方法35

2.3.3面向分類問題的訓練方法43

2.4使用PyTorch框架46

2.4.1PyTorch框架的作用47

2.4.2使用PyTorch框架實現感知器47

2.5本章小結52

2.6習題53

第3章全連接神經網絡/54

3.1構建一個簡單的全連接神經網絡——解決二分類問題54

3.1.1一個簡單全連接神經網絡的構建和訓練54

3.1.2程序代碼解釋及網絡層的構建方法56

3.2全連接神經網絡的構造方法59

3.2.1網絡層的定義59

3.2.2網絡結構的實現60

3.2.3從網絡結構判斷網絡的功能62

3.3幾種主流的損失函數62

3.3.1nn.CrossEntropyLoss()和nn.NLLLoss()函數63

3.3.2nn.MSELoss()函數66

3.3.3nn.BCELoss()和nn.BCEWithLogitsLoss()函數66

3.3.4nn.L1Loss()函數67

3.4網絡模型的訓練與測試68

3.4.1數據集分割68

3.4.2數據打包69

3.4.3網絡模型的訓練方法70

3.4.4梯度累加的訓練方法71

3.4.5學習率衰減在訓練中的應用72

3.4.6網絡模型的測試74

3.4.7應用案例——波士頓房價預測76

3.5正向計算和反向梯度傳播的理論分析81

3.5.1正向計算81

3.5.2梯度反向傳播與參數更新85

3.6本章小結89

3.7習題90

第4章捲積神經網絡/91

4.1一個簡單的捲積神經網絡——手寫數字識別91

4.1.1程序代碼91

4.1.2代碼解釋94

4.2捲積神經網絡的主要操作96

4.2.1單通道捲積96

4.2.2多通道捲積100

4.2.3捲積操作的PyTorch代碼實現103

4.2.4池化操作及其PyTorch代碼實現105

4.2.5relu()激活函數及其應用107

4.2.6感受野109

4.3捲積神經網絡的設計方法109

4.3.1基本設計原則109

4.3.2網絡結構查看和參數量計算110

4.3.3一個貓狗圖像分類示例111

4.4過擬合及其解決方法116

4.5本章小結117

4.6習題117

第5章若乾經典CNN預訓練模型及其遷移方法/119

5.1一個使用VGG16的圖像識別程序119

5.1.1程序代碼119

5.1.2代碼解釋122

5.2經典捲積神經網絡的結構124

5.2.1捲積神經網絡的發展過程124

5.2.2AlexNet網絡125

5.2.3VGGNet網絡126

5.2.4GoogLeNet網絡與1×1捲積核128

5.2.5ResNet網絡130

5.2.6EfficientNet網絡131

5.3預訓練模型的遷移方法132

5.3.1預訓練網絡遷移的基本原理132

5.3.2VGG16的遷移案例133

5.3.3GoogLeNet的遷移案例136

5.3.4ResNet的遷移案例140

5.3.5EfficientNet的遷移案例142

5.4本章小結145

5.5習題145

第6章深度捲積神經網絡的應用案例/146

6.1人臉識別146

6.1.1人臉識別的設計思路146

6.1.2人臉識別程序147

6.2語義分割152

6.2.1從零開始構建語義分割網絡152

6.2.2使用預訓練模型構建語義分割網絡160

6.3目標檢測161

6.3.1從零開始構建目標檢測網絡161

6.3.2使用Fasterrcnn構建目標檢測網絡165

6.4生成對抗網絡172

6.4.1生成手寫數字圖片173

6.4.2生成花卉圖片176

6.4.3條件性生成對抗網絡179

6.5本章小結182

6.6習題182

第7章循環神經網絡/183

7.1一個簡單的循環神經網絡——航空旅客出行人數預測183

7.1.1程序代碼183

7.1.2代碼解釋187

7.2循環神經網絡應用188

7.2.1循環神經網絡的基本結構188

7.2.2從“零”開始構建一個循環神經網絡190

7.3長短時記憶網絡（LSTM）192

7.3.1LSTM的結構和特點192

7.3.2LSTM的使用方法195

7.3.3深度循環神經網絡199

7.3.4雙向循環神經網絡199

7.3.5LSTM的變體——GRU200

7.4文本的表示201

7.4.1詞的獨熱表示201

7.4.2Word2Vec詞向量202

7.4.3詞嵌入表示202

7.5基於LSTM的文本分類206

7.6基於LSTM的文本生成210

7.6.1語言模型與文本生成210

7.6.2類不平衡問題211

7.6.3文本生成案例212

7.7本章小結216

7.8習題216

第8章基於預訓練模型的自然語言處理/217

8.1Seq2Seq結構與註意力機制217

8.1.1Seq2Seq結構217

8.1.2註意力機制221

8.2Transformer及其在NLP中的應用225

8.2.1Transformer中的註意力機制225

8.2.2Transformer的結構226

8.2.3Transformer的位置編碼與嵌入226

8.2.4Transformer的使用方法229

8.2.5Transformer應用案例232

8.3BERT及其在NLP中的應用238

8.3.1關於BERT238

8.3.2BERT的使用方法240

8.3.3基於BERT的文本分類243

8.3.4基於BERT的閱讀理解247

8.4基於GPT的文本生成254

8.4.1關於GPT254

8.4.2使用GPT2生成英文文本——直接使用255

8.4.3使用GPT2生成中文文本——微調方法256

8.5視覺Transformer（ViT）260

8.5.1關於ViT260

8.5.2ViT預訓練模型的使用方法260

8.5.3基於ViT的圖像分類262

8.6ChatGPT及其使用方法264

8.6.1關於ChatGPT264

8.6.2ChatGPT的使用方法266

8.7本章小結269

8.8習題269

第9章面向解釋的深度神經網絡可視化方法/270

9.1CNN各網絡層輸出的可視化270

9.2CNN模型決策原因的可視化方法274

9.2.1基於類別權重的類激活圖（CAM）274

9.2.2基於梯度的類激活圖（CAM）277

9.3面向NLP任務的可視化方法281

9.3.1NLP任務中註意力機制可視化的一般方法281

9.3.2自註意力機制的可視化282

9.4本章小結284

9.5習題285

第10章多模態學習與多模態數據分類/286

10.1多模態學習286

10.1.1多模態學習的發展過程286

10.1.2多模態學習的主要任務287

10.2多模態數據分類288

10.2.1文本特徵提取方法289

10.2.2圖像特徵提取方法289

10.2.3多模態數據融合方法289

10.3多模態數據分類案例291

10.4本章小結296

10.5習題297

參考文獻/298