深度學習原理與實踐 深度学习原理与实践

陳仲銘，擁有計算機工程學士和軟件工程碩士學位，曾在國內核心期刊發表多篇論文，熱愛機器人、人工智能算法、機器學習並有多年領域從業經驗，現從事人工智能算法工作。

第1章初探深度學習1 
1.1什麼是深度學習2 
1.1.1機器學習的一般方法4 
1.1.2選擇深度學習的原因5 
1.1.3深度學習前的思考6 
1.2深度學習的應用7 
1.3深度學習的硬件加速器10 
1.3.1 GPU比CPU更適合深度學習10 
1.3.2 GPU硬件選擇13 
1.4深度學習的軟件框架15 
1.5本章小結19 
引用/參考19 
第2章人工神經網絡21 
2.1人工神經網絡概述22 
2.1 .1歷史背景22 
2.1.2基本單位—神經元24 
2.1.3線性模型與激活函數25 
2.1.4多層神經網絡26 
2.2訓練與預測28 
2.2.1訓練28 
2.2.2預測29 
2.3核心算法29 
2.3.1梯度下降算法29 
2.3.2向前傳播算法31 
2.3.3反向傳播算法33 
2.4示例：醫療數據診斷42 
2.4.1從醫療數據到數學模型43 
2.4.2準備數據44 
2.4.3線性分類45
2.4.4建立人工神經網絡模型46 
2.4.5隱層節點數對人工神經網絡模型的影響53 
2.5本章小結55 
引用/參考56 
第3章深度學習基礎及技巧58 
3.1激活函數59 
3.1.1線性函數60 
3.1.2 Sigmoid函數61 
3.1.3雙曲正切函數62 
3.1.4 ReLU函數63 
3.1.5 Softmax函數64 
3.1.6激活函數的選擇65 
3.2損失函數65 
3.2.1損失函數的定義66 
3.2.2回歸損失函數67 
3.2.3分類損失函數69 
3.2.4神經網絡中常用的損失函數70 
3.3超參數71 
3.3.1學習率71 
3.3.2動量72 
3.4深度學習的技巧73 
3.4.1數據集準備73 
3.4.2數據集擴展74 
3.4.3數據預處理76 
3.4.4網絡的初始化81 
3.4.5網絡過度擬合84 
3.4.6正則化方法85 
3.4.7 GPU的使用88 
3.4.8訓練過程的技巧89 
3.5本章小結91 
引用/參考92
第4章卷積神經網絡93 
4.1卷積神經網絡概述94 
4.1.1卷積神經網絡的應用95 
4.1.2卷積神經網絡的結構99 
4.1.3卷積神經網絡與人工神經網絡的聯繫101 
4.2卷積操作103 
4.2.1滑動窗口卷積操作104 
4.2.2網絡卷積層操作105 
4.2.3矩陣快速卷積107 
4.3卷積神經網絡三大核心思想110 
4.3.1傳統神經網絡的缺點110 
4.3 .2局部感知111 
4.3.3權值共享112 
4.3.4下採樣113 
4.4設計卷積神經網絡架構115 
4.4.1網絡層間排列規律116 
4.4.2網絡參數設計規律116 
4.5示例1：可視化手寫字體網絡特徵117 
4.5.1 MNIST手寫字體數據庫118 
4.5.2 LeNet5網絡模型119 
4.5.3 LeNet5網絡訓練122 
4.5.4可視化特徵向量124 
4.6示例2：少樣本卷積神經網絡分類127 
4.6.1 Kaggle貓狗數據庫128 
4.6.2 AlexNet模型130 
4.6.3 AlexNet訓練134 
4.6.4 AlexNet預測136
4.6.5微調網絡137 
4.7本章小結140 
引用/參考141 
第5章卷積神經網絡視覺盛宴143 
5.1圖像目標檢測144 
5.1.1傳統目標檢測方法146 
5.1.2基於區域的網絡147 
5.1.3基於回歸的網絡157 
5.1.4目標檢測小結163 
5.2圖像語義分割165 
5.2.1傳統圖像分割方法165 
5.2.2全卷積神經網絡167 
5.2.3 SegNet網絡171 
5.2.4 DeepLab網絡173 
5.3示例1：NMS確定候選框176 
5.4示例2：SS算法提取候選框179 
5.4.1圖像複雜度179 
5.4.2算法核心思想180 
5.4.3區域相似度計算184 
5.5本章小結189 
引用/參考190 
第6章卷積神經網絡進階示例192 
6.1示例1：全卷積網絡圖像語義分割193 
6.1.1 VGG連續小核卷積層193 
6.1.2 VGG網絡模型195 
6.1.3全卷積網絡模型199 
6.1.4全卷積網絡語義分割204 
6.2示例2：深度可視化網絡209 
6.2.1梯度上升法210
6.2.2可視化所有捲積層213 
6.2.3可視化輸出層218 
6.2.4卷積神經網絡真能理解視覺嗎219 
6.3示例3：卷積神經網絡藝術繪畫220 
6.3.1算法思想221 
6.3.2圖像風格定義222 
6.3.3圖像內容定義224 
6.3.4算法實現225 
引用/參考229 
第7章循環神經網絡231 
7.1初識循環神經網絡232 
7.1.1前饋式神經網絡的缺點233 
7.1.2什麼是序列數據234 
7.2循環神經網絡的應用235 
7.3循環神經網絡的模型結構237 
7.3.1序列數據建模237 
7.3.2基本結構238 
7.3.3其他結構239 
7.4循環神經網絡的核心算法241 
7.4.1模型詳解241 
7.4.2向前傳播243 
7.4.3損失函數245 
7.4.4時間反向傳播算法246 
7.4.5梯度消失與梯度爆炸251 
7.5示例：使用循環神經網絡預測文本數據254 
7.5.1定義網絡模型254 
7.5.2序列數據預處理255 
7.5.3準備輸入輸出數據258
7.5.4實現簡單的循環神經網絡模型260 
7.6本章小結263 
引用/參考264 
第8章循環神經網絡進階序列長期記憶265 
8.1長期依賴問題266 
8.2長短期記憶網絡269 
8.2.1 LSTM網絡結構269 
8.2 .2 LSTM記憶單元270 
8.2.3 LSTM記憶方式274 
8.3門控循環單元274 
8.3.1 GRU記憶單元275 
8.3.2 GRU實現276 
8.3.3 GRU與LSTM比較277 
8.4示例1：神奇的機器翻譯278 
8.4 .1基於統計的機器翻譯279 
8.4.2基於神經網絡的機器翻譯282 
8.4.3編碼-解碼模型283 
8.4.4平衡語料數據集287 
8.4.5機器翻譯的未來292 
8.5示例2：智能對話機器人293 
8.5.1 Seq2Seq模型294 
8.5.2 Seq2Seq模型的缺點295 
8.5.3超越Seq2Seq框架296 
8.6示例3：智能語音識別音箱299 
8.6.1語音識別框架300 
8.6.2準備語音數據302 
8.6.3語音特徵提取306 
8.6.4聲學模型311
8.6.5語言模型323 
8.6.6語音識別的展望323 
8.7本章小結324 
引用/參考325