深度學習 — 理論、方法與 PyTorch 實踐

翟中華 清華大學碩士畢業，北京洪策元創智能科技有限公司CEO，AI火箭營首席講師。在機器學習、深度學習、計算機視覺、自然語言處理等人工智能領域有紮實的理論基礎和豐富的應用實踐經驗。主講的課程“深度學習入門系列講解”“PyTorch深度學習實戰”等累計學員約50萬人次，講課風格抽絲剝繭、嘗入淺出、以簡馭繁，能夠把複雜的原理簡單化，把簡單的原理內涵化，深受廣大學員的認可。

孟翔宇 華中科技大學軟件工程碩士，現就職於阿里巴巴集團（杭州），先後從事面向B類外貿電商的商家生命週期建模、計算廣告相關性匹配和推薦廣告召回等領域的研究和實踐工作。擁有工業海量數據場景下的建模理論和實戰經驗，對多種機器學習、深度學習和強化學習模型有著濃厚的興趣和較深的理解。

目錄
基礎篇
第1章什麽是深度學習
1.1通過應用示例直觀理解深度學習
1.23個視角解釋深度學習
1.2.1分層組合性
1.2.2端到端學習
1.2.3分佈式表示
1.3深度學習面臨的挑戰
1.3.1深度學習的工作機制
1.3.2非凸的問題 
1.3.3可解釋性的問題

第2章圖像識別及KNN算法
2.1圖像分類
2.2誤差分解和KNN算法
2.2.1誤差分解
2.2.2KNN算法運行過程

第3章線性分類器
3.1線性分類器用於圖像分類的3個觀點
3.1.1線性分類的代數觀點
3.1.2線性分類的視覺觀點
3.1.3線性分類的幾何觀點
3.2合頁損失函數原理推導及圖像分類舉例
3.2.1合頁損失函數的概念
3.2.2多分類合頁損失函數的推導
3.3Softmax損失函數與多分類SVM損失函數的比較
3.3.1Softmax分類與損失函數
3.3.2Softmax損失函數與合頁損失函數的比較

第4章優化與梯度
4.1梯度下降法工作原理及3種普通梯度下降法
4.1.1梯度下降的概念
4.1.2梯度下降法求解目標函數
4.1.3學習率的重要性
4.1.43種梯度下降法
4.2動量SGD和Nesterov加速梯度法
4.2.1SGD存在的問題
4.2.2動量法
4.2.3Nesterov加速梯度法
4.3自適應學習速率優化方法
4.3.1指數加權平均值處理數字序列
4.3.2自適應學習速率AdaGrad方法
4.3.3自適應學習速率RMSProp方法
4.3.4自適應學習速率Adadelta方法
4.4最強優化方法Adam
4.4.1為什麽Adam性能如此卓越
4.4.2偏差矯正
4.4.3如何矯正偏差

第5章捲積神經網絡
5.1捲積核
5.1.1捲積核簡介
5.1.2捲積核的作用
5.2捲積神經網絡中步長、填充和通道的概念
5.2.1步長
5.2.2填充
5.2.3通道
5.3快速推導捲積層特徵圖尺寸計算公式
5.3.1計算過程直觀展示
5.3.2計算過程總結
5.4極簡方法實現捲積層的誤差反傳
5.4.1誤差反傳舉例說明
5.4.2完全捲積過程簡介
5.4.3把捲積過程寫成神經網絡形式
5.4.4應用計算圖的反向模式微分
5.5極池化層的本質思想及其過程
5.5.1池化層的分類
5.5.2池化後圖像尺寸

第6章捲積神經網絡訓練技巧
6.1ReLU激活函數的優勢
6.1.1為什麽需要激活函數
6.1.2主流激活函數介紹
6.2內部協變量偏移
6.3批歸一化
6.3.1為什麽需要批歸一化
6.3.2批歸一化的工作原理
6.3.3批歸一化的優勢
6.4Dropout正則化及其集成方法思想
6.4.1特徵共適應性
6.4.2Dropout正則化思想
6.4.3Dropout集成思想
6.4.4預測時需要恢復Dropout的隨機性

第7章捲積神經網絡架構
7.1掀起深度學習風暴的AlexNet網絡架構
7.1.1捲積神經網絡的開端LeNet
7.1.2AlexNet架構
7.2神經網絡感受野及其計算
7.2.1生物學中的感受野
7.2.2CNN中的感受野
7.3VGGNet網絡結構相比較AlexNet的優勢
7.3.1VGGNet簡介
7.3.2VGGNet與AlexNet網絡結構對比
7.4GoogLeNet 1×1捲積核的深刻意義及其作用
7.4.1深度神經網絡的缺陷
7.4.2多通道捲積中特徵圖映射太多的問題
7.4.31×1捲積核捲積過程
7.5GoogLeNet初始模塊設計指導思想
7.5.1赫布學習規則
7.5.2人工神經網絡中的赫布學習規則
7.6透徹理解GoogLeNet全景架構
7.7ResNet關鍵結構恆等映射背後的思想及原理
7.8全面理解ResNet全景架構

第8章循環神經網絡
8.1為什麽要用遞歸神經網絡
8.1.1為什麽需要遞歸神經網絡
8.1.2RNN結構以及應用
8.2RNN計算圖
8.3RNN前向與反向傳播
8.3.1前饋深度
8.3.2循環深度
8.3.3通過時間反向傳播
8.3.4兩個和的反向傳播
8.3.5梯度消失和梯度爆炸
8.4長短期記憶(LSTM)及其變種的原理
8.4.1LSTM網絡架構
8.4.2LSTM變體一
8.4.3LSTM變體二
8.4.4LSTM變體三

第9章基於深度學習的語言模型
9.1詞的各種向量表示
9.2通過詞向量度量詞的相似性
9.3潛在語義分析LSA
9.3.1潛在語義分析的過程
9.3.2潛在語義分析的SVD分解
9.4Word2Vec詞嵌入原理
9.4.1Word2Vec的指導思想
9.4.2skipgram算法的框架
9.4.3skipgram算法的輸入訓練集
9.4.4skipgram算法的目標函數
9.4.5skipgram網絡中的兩個權重矩陣
9.5GloVe詞向量模型
9.5.1由單詞共同出現的次數到共同出現的概率
9.5.2GloVe模型目標函數的推導
9.6從onehot向量到seq2seq序列模型
9.7編碼器解碼器模型
9.8為什麽要用註意力機制
9.8.1大腦中的註意力
9.8.2為什麽要使用註意力機制
9.9註意力機制的數學原理

第10章深度學習NLP應用進階
10.1註意力機制的應用指針網絡
10.2遞歸神經網絡是否是必要的
10.2.1遞歸神經網絡存在的問題
10.2.2前饋網絡的優勢
10.2.3如何替代遞歸神經網絡
10.3Transformer的數學原理
10.3.1什麽是Transformer
10.3.2Transformer結構的形象展示
10.3.3什麽是自我註意力
10.3.4多頭自我註意力
10.4Transformer的3個矩陣K、V、Q
10.5Transformer的位置編碼原理
10.5.1位置編碼的向量計算
10.5.2位置編碼的表示
10.6Transformer的全景架構
10.7深度語境化詞語表示ELMo
10.7.1為什麽需要語境情景化的表示
10.7.2ELMo的算法構成
10.7.3ELMo整體框架
10.7.4ELMo的應用
10.7.5ELMo算法的效果
10.8NLP里程碑模型BERT三大集成創新
10.8.1雙向上下文遮蔽語言模型
10.8.2使用Transformer
10.8.3遷移學習
10.8.4應用於特定任務

第11章深度生成模型
11.1監督學習與無監督學習的比較
11.1.1監督學習
11.1.2無監督學習
11.2為什麽要用生成模型
11.2.1超越分類
11.2.2生成模型應用實例
11.3自編碼
11.4從概率視角理解VAE建模過程
11.5KL散度
11.6VAE損失函數推導
11.7用深度神經網絡求解VAE目標函數

第12章生成對抗網絡
12.1GAN目標函數
12.2通過博弈論理解GAN原理
12.3由JS散度推導GAN判別器和生成器最優值
12.4深度捲積生成對抗網絡(DCGAN)
12.4.1DCGAN使用的方法
12.4.2DCGAN中的生成器
12.4.3DCGAN對抗訓練的細節
12.5條件生成對抗網絡
12.5.1CGAN的網絡結構
12.5.2CGAN的數學原理
12.5.3生成器和判別器的目標損失函數

第13章生成對抗網絡的創新及應用
13.1圖像到圖像的翻譯
13.1.1CNN可否預測圖像
13.1.2CGAN的具體應用： 以不同形態的圖像為條件
13.1.3CGAN結構上的兩大創新
13.1.4圖像到圖像翻譯的應用場景
13.2循環生成對抗網絡
13.3CycleGAN對抗性損失和循環一致性原理
13.4從條件熵的視角剖析CycleGAN
13.5CycleGAN實驗結果 
13.6超分辨率生成對抗網絡(SRGAN)
13.7SRGAN的網絡架構
13.8疊加生成對抗網絡
13.9StackGAN中的條件增強
13.10漸進式增長生成對抗網絡
13.11StyleGAN中的自適應實例規範化
13.12StyleGAN中刪除傳統輸入與隨機變化
13.13為什麽GAN很難訓練
13.14GAN中梯度消失與梯度不穩定
13.15Wasserstein距離
13.16為什麽Wasserstein距離比KL、JS散度更有利於訓練GAN

實戰篇
第14章PyTorch入門
14.1PyTorch介紹及張量
14.1.1PyTorch及其特定優勢
14.1.2PyTorch安裝
14.1.3張量
14.2PyTorch動態圖、自動梯度、梯度反傳
14.3使用PyTorch的nn包構建捲積神經網絡

第15章手寫數字識別
15.1手寫數字識別的解決方案
15.1.1手寫數字識別的研究意義與背景
15.1.2手寫數字識別的項目挑戰
15.1.3手寫數字識別的項目原理與解決方案
15.2搭建多層全連接神經網絡實現MNIST手寫數字識別
15.2.1由淺入深搭建3層全連接網絡
15.2.2MNIST訓練集和測試集載入
15.2.3模型訓練與評估
15.3基於捲積神經網絡的MNIST手寫數字識別
15.3.1捲積神經網絡基本解讀
15.3.2搭建一個捲積神經網絡

第16章基於PyTorch的捲積神經網絡可視化理解
16.1問題背景
16.2捲積神經網絡
16.2.1比較多層感知機和捲積神經網絡
16.2.2神經元的感知野
16.3電腦如何查看輸入的圖像
16.4構建過濾器
16.5完整的捲積神經網絡結構
16.6可視化一個簡單的捲積神經網絡
16.7使用預訓練的AlexNet進行各層捲積可視化
16.7.1輸入圖片可視化
16.7.2可視化過濾器——多通道
16.7.3可視化過濾器——單通道
16.8圖像遮擋實驗
16.9總結

第17章基於Keras實現Kaggle貓狗大戰
17.1貓狗大戰背景介紹
17.2Keras介紹及安裝配置
17.2.1什麽是Keras
17.2.2安裝TensorFlow
17.2.3安裝Keras
17.3基於捲積神經網絡的貓狗大戰
17.3.1構建第1個網絡
17.3.2增加丟棄
17.3.3增加數據增強
17.4基於遷移學習的貓狗大戰
17.4.1VGG16簡介
17.4.2使用VGG16預測圖像包含什麽內容
17.4.3訓練貓狗大戰分類器
17.4.4轉移學習/微調模型

第18章基於PyTorch實現一個DCGAN案例
18.1介紹
18.2生成對抗網絡
18.2.1什麽是GAN
18.2.2什麽是DCGAN
18.2.3輸入
18.2.4數據
18.2.5實現
18.2.6結果
18.2.7未來

第19章從零出發實現基於RNN的3個應用
19.1RNN網絡結構及原理
19.2使用字符級RNN對姓名進行分類
19.2.1準備數據註意
19.2.2將姓名轉換為張量
19.2.3創建網絡
19.2.4訓練
19.3使用字符級RNN生成名稱
19.3.1準備數據
19.3.2構建網絡
19.3.3訓練
19.3.4繪制損失
19.3.5網絡採樣
19.4使用序列到序列的網絡和註意機制完成翻譯
19.4.1加載數據文件
19.4.2seq2seq模型
19.4.3訓練
19.4.4繪圖結果
19.4.5評估
19.4.6訓練與評估
19.4.7可視化註意機制

參考文獻