深度學習筆記

本書以一名深度學習學習者的視角展開深度學習相關的理論、技術和實踐寫作，因而命名為深度學習筆記。
本書作為一本以“筆記”命名的深度學習圖書，主要定位是面向廣大希望入門深度學習的初學者。
本書以深度神經網絡(DNN)、卷積神經網絡(CNN)和循環神經網絡(RNN)為核心，
詳細介紹了深度學習的理論基礎、通用方法和三大網絡的原理與實踐。
全書代碼以Keras框架作為範例，對於初學者而言簡單易懂。 

對於深度學習而言，本書內容豐富，知識覆蓋面廣，
兼有代碼實戰,適合想要入門深度學習的廣大學習者閱讀。

魯偉

貝葉斯統計方向碩士畢業，深度學習算法工程師，微信公眾號“機器學習實驗室”主編，
對人工智能、機器學習、深度學習、醫學圖像處理和計算機視覺等有深入研究。

第1講神經網絡與深度學習1 
1.1機器學習與深度學習的關係2 
1.2感知機與神經網絡3 

第2講神經網絡的過擬合與正則化7 
2.1機器學習的核心要義8 
2.2範數與正則化9 
2.3神經網絡的正則化和Dropout11 

第3講深度學習的優化算法14 
3.1機器學習的數學規約15 
3.2損失函數和深度學習優化算法15 
3.3梯度下降法16 
3.4從Momentum到Adam18 

第4講捲積神經網絡21 
4.1CNN發展簡史與相關人物22 
4.2捲積的含義23 
4.3池化和全連接26 

深度學習?筆記目錄第5講CNN圖像學習過程與可視化28 
5.1CNN的直觀理解29 
5.2CNN圖像學習的可視化31 

第6講CNN圖像分類：從LeNet5到EfficientNet37 
6.1計算機視覺的三大任務38 
6.2CNN圖像分類發展史39 

第7講CNN目標檢測：從RCNN到YOLO47 
7.1目標檢測概述48 
7.2CNN目標檢測算法49 

第8講CNN圖像分割：從FCN到U-Net56 
8.1語義分割和實例分割概述57 
8.2語義分割58 

第9講遷移學習理論與實踐65 
9.1遷移學習：深度學習未來五年的驅動力？66 
9.2遷移學習的使用場景66 
9.3深度捲積網絡的可遷移性67 
9.4遷移學習的使用方法68 
9.5基於ResNet的遷移學習實驗68 

第10講循環神經網絡76 
10.1從語音識別到自然語言處理77 
10.2RNN：網絡架構與技術79 
10.3四種RNN結構81 

第11講長短期記憶網絡84 
11.1深度神經網絡的困擾：梯度爆炸與梯度消失85 
11.2LSTM：讓RNN具備更好的記憶機制87 

第12講自然語言處理與詞向量91 
12.1自然語言處理簡介92 
12.2詞彙表徵93 
12.3詞向量與語言模型94 

第13講word2vec詞向量98 
13.1word2vec99 
13.2word2vec的訓練過程：以CBOW為例100 

第14講seq2seq與註意力模型104 
14.1seq2seq的簡單介紹105 
14.2註意力模型105 
14.3基於seq2seq和Attention機制的機器翻譯實踐108 

第15講語音識別118 
15.1概述119 
15.2信號處理與特徵提取120 
15.3傳統聲學模型122 
15.4基於深度學習的聲學模型123 
15.5端到端的語音識別系統簡介125 

第16講從Embedding到XLNet：NLP預訓練模型簡介127 
16.1從Embedding到ELMo128 
16.2特徵提取器：Transformer129 
16.3低調王者：GPT131 
16.4封神之作：BERT131 
16.5持續創新：XLNet132 

第17講深度生成模型之自編碼器134 
17.1自編碼器135 
17.2自編碼器的降噪作用136 
17.3變分自編碼器138 
17.4VAE的Keras實現143 

第18講深度生成模型之生成式對抗網絡148 
18.1GAN149 
18.2訓練一個DCGAN151 

第19講神經風格遷移、深度強化學習與膠囊網絡159 
19.1神經風格遷移160 
19.2深度強化學習162 
19.3膠囊網絡166 

第20講深度學習框架171 
20.1概述172 
20.2TensorFlow173 
20.3Keras175 
20.4PyTorch176 

第21講深度學習數據集179 
21.1CV經典數據集180 
21.2NLP經典數據集187 
參考文獻189