深度學習算法與實踐

本書旨在為讀者建立完整的深度學習知識體系。
全書內容包含3個部分，第一部分為與深度學習相關的數學基礎；
第二部分為深度學習的算法基礎以及相關實現；
第三部分為深度學習的實際應用。
通過閱讀本書，讀者可加深對深度學習算法的理解，並將其應用到實際工作中。
本書適用於對深度學習感興趣並希望從事相關工作的讀者，也可作為高校相關專業的教學參考書。

於子葉

中國科學院博士研究生，曾就職於生物科技公司。
從事數值模擬算法以及智能算法設計研究。
曾參與四川地區災害監測智能算法設計工作，將深度學習算法應用於災害檢測領域。
人工智能講師，參與AI線下課程設計，普及TensorFlow使用。

目錄
第一部分
第1章空間幾何與線性代數3
1．1多維幾何空間3
1．1．1空間、函數和向量3
1．1．2空間變換與矩陣7
1．2矩陣和運算9
1．2． 1矩陣基本運算9
1．2．2矩陣分塊運算和線性變換10
1．2．3矩陣分解11
1．2．4方陣的線性變換：特徵值分解12
1．2．5非方陣線性變換：奇異值分解13
1．2．6其他線性變換：字典學習14
1．3實踐部分14
1．3．1矩陣定義與計算14
1．3．2仿射變換實例16
1．3．3數據壓縮18
1．4小結20

第2章概率與統計22
2．1概率基礎概念22
2．2隨機變量數字特徵25
2．3信息熵28
2．4概率模型下的線性變換30
2．5最大似然估計與最大後驗估計31
2．6常見分佈34
2．7實踐部分36
2．8小結40

第3章函數建模與優化41
3．1函數與建模41
3．1．1機器學習問題描述42
3．1．2函數的展開與建模44
3．2優化問題45
3．2．1多元函數展開和梯度45
3．2．2無約束最優化問題46
3．2．3約束最優化問題提出49
3．2．4等式約束的最優化問題示例50
3．2 ．5不等式約束的最優化問題示例51
3．2．6約束最優化與最大熵53
3．3損失函數的多元函數表示54
3．3．1基於梯度的優化算法54
3．3．2動量加入55
3．3．3 AdaGrad與Adam算法55
3．4過擬合與欠擬合問題57
3．4．1問題闡述57
3．4．2過擬合與欠擬合判斷59
3．5集成學習61
3．5．1方差和偏差61
3．5．2 Bagging和Boosting 62
3．6實踐部分63
3．6．1線性回歸問題63
3．6．2使用TensorFlow進行曲線擬合65
3．6． 3多元線性回歸問題66
3．7小結68

第4章機器學習庫的使用69
4．1 TensorFlow執行過程69
4．2建模與優化所需的函數72
4．2．1自動求導72
4． 2．2矩陣以及相關的計算73
4．2．3從手寫數字識別例子來完整學習建模和優化過程75
4．3多個計算圖80
4．4變量命名80
4．5小結83

第二部分
第5章深度學習模型與全連接網絡87
5．1多層神經網絡與理解87
5．1．1表格類型數據與線性模型87
5．1 ．2多層神經網絡模型引入90
5．1．3過擬合問題94
5．2鍊式求導與反向傳播96
5．2．1矩陣相乘可訓練參數導數與誤差傳播96
5．2 ．2偏置項導數可訓練參數導數與誤差傳播97
5．2．3通過函數可訓練參數導數與誤差傳播97
5．3實踐部分98
5．3．1多層全連接網絡從零實現98
5 ．3．2調用TensorFlow實現全連接網絡101
5．3．3空間變換102
5．3．4 TensorFlow高層API 103
5．4小結104

第6章卷積神經網絡105
6．1連續型數據105
6． 2信號處理中的捲積107
6．2．1滑動互相關與特徵提取107
6．2．2濾波概念與滑動互相關關係109
6．3從神經網絡的角度看待卷積神經網絡112
6．4卷積神經網絡113
6．4．1輸入數據形式113
6．4．2卷積的數學形式114
6．4．3感受野114
6．4．4加深網絡與調整步長115
6．4．5池化層的數學形式115
6．4．6空洞卷積116
6．4．7圖像金字塔117
6．5卷積神經網絡反向傳播算法117
6．5．1卷積層反向傳播118
6．5．2池化層反向傳播118
6．5．3展開層反向傳播118
6．6實踐部分118
6．6．1卷積結構濾波118
6．6．2卷積神經網絡從零實現121
6．6．3卷積神經網絡的TensorFlow實現125
6．6．4卷積神經網絡其他API 127
6．7小結127

第7章循環神經網絡基礎128
7．1文本數據類型128
7．1．1無順序文本128
7．1．2順序文本處理130
7．2文本問題建模130
7．2．1無順序文本建模130
7 ．2．2順序文本建模132
7．3循環神經網絡模型132
7．3．1基本循環神經網絡模型132
7．3．2循環神經網絡結構改進133
7．3．3卷積神經網絡處理時序數據134
7．4反向傳播過程134
7．5實踐部分134
7．5．1從零實現循環神經網絡134
7．5．2文本分類問題139
7．5．3 TensorFlow的Embedding示例141
7．5．4 TensorFlow的RNN輸入與輸出示例141
7．5．5中文分詞示例142
7．6小結142

第8章循環神經網絡擴展144
8．1雙向RNN 144
8．2聯結主義時間分類器146
8．2．1 CTC-Loss 146
8．2．2 CTC解碼147
8．3編碼-解碼結構（基於RNN） 149
8． 3．1結構說明149
8．3．2序列損失函數（Sequence Loss） 151
8．3．3預測過程151
8．4實踐部分151
8．4．1使用RNN進行文本分類151
8．4．2使用RNN進行文本生成實例152
8．4．3中文文本分詞實踐155
8．5小結162

第9章深度學習優化163
9．1網絡結構優化163
9．1．1 Inception結構163
9．1．2殘差網絡164
9．1．3注意力機制165
9．2神經網絡輔助結構167
9．2．1批正則化167
9．2．2 DropOut 168
9．3深度學習參數優化169
9．3．1學習率169
9．3．2批尺寸169
9．3．3 Embedding大小與DropOut數值169
9．3．4網格搜索方法169
9．3．5初始化策略170
9．3．6數據預處理170
9．3．7梯度剪裁170
9．4實踐部分171
9．5小結172

第三部分
第10章圖像處理任務175
10．1圖像多分類問題175
10．1．1人臉識別類任務分析179
10．1．2三元損失函數179
10．1．3使用分類問題訓練180
10．1．4 CenterLoss 180
10．1．5結果181
10．2任意大小圖像處理182
10．2．1純卷積結構182
10．2．2圖像處理任務中的分類與回歸問題184
10．2．3預測過程186
10．3物體檢測問題189
10．3．1 RCNN類物體檢測算法189
10．3． 2 Yolo類物體檢測方法195
10．4小結199

第11章自然語言處理200
11．1語音識別任務200
11．1．1語音信號特徵201
11．1．2語音處理模型204
11．1．3結果輸出205
11．2自然語言翻譯205
11．2．1編碼結構206
11．2．2解碼結構206
11．2．3 Attention機制211
11．2．4網絡結構圖像解釋214
11 ．2．5損失函數214
11．3文本轉語音（TTS）模型215
11．3．1網絡模型215
11．3．2自定義RNN結構：ZoneoutLSTM 215
11．3．3自定義RNN：帶有捲積層的循環網絡218
11．3．4自定義解碼器219
11．3．5自定義Helper 221
11．3．6自定義Attention機制222
11．3．7模型描述223
11．3．8後處理225
11．3．9結果展示226
11．4小結227

第12章非監督學習模型228
12．1對抗生成網絡228
12．1．1反捲積結構229
12．1．2對抗神經網絡的搭建230
12．1．3結果展示234
12．2去噪自編碼器234
12．2．1去噪自編碼器結構235
12．2．2去噪結果235
12．2．3與對抗生成網絡對比236
12 ．3增強學習236
12．3．1遊戲說明238
12．3．2網絡模型239
12．3．3損失函數構建240
12．4小結242