深度學習（下）

目錄
前言
9 深度置信網絡和深度玻爾茲曼機 1
9.1 深度置信網絡和深度玻爾茲曼機的起源 1
9.1.1 玻爾茲曼機 1
9.1.2 受限玻爾茲曼機 2
9.2 模型參數學習 7
9.2.1 吉布斯採樣 7
9.2.2 對比散列算法 7
9.3 深度置信網絡 9
9.3.1 深度置信網絡模型 9
9.3.2 深度置信網絡訓練 10
9.4 深度玻爾茲曼機 11
9.4.1 深度玻爾茲曼機模型 11
9.4.2 深度玻爾茲曼機參數學習 13
9.5 深度置信網絡和深度玻爾茲曼機的應用 15
9.5.1 深度置信網絡的應用 15
9.5.2 深度玻爾茲曼機的應用 17
9.6 閱讀材料 28
參考文獻 29
10 自編碼器 31
10.1 自編碼器介紹 31
10.1.1 自編碼器的結構 31
10.1.2 自編碼器的訓練 33
10.2 深度自編碼器 34
10.3 自編碼器的變形 36
10.3.1 稀疏自編碼器 36
10.3.2 降噪自編碼器 37
10.3.3 收縮自編碼器 38
10.3.4 掩碼自編碼器 39
10.3.5 其他自編碼器 42
10.4 變分自編碼器 42
10.4.1 變分推斷 42
10.4.2 詳解變分自編碼器 45
10.5 變分自編碼器的變形 50
10.5.1 半監督變分自編碼器 50
10.5.2 反向自回歸流變分自編碼器 54
10.5.3 信息最大化變分自編碼器 56
10.5.4 最大均值差異變分自編碼器 58
10.5.5 向量量化變分自編碼器 59
10.5.6 降噪變分自編碼器 62
10.5.7 梯形變分自編碼器 64
10.6 變分自編碼器的應用 68
10.6.1 機器翻譯 68
10.6.2 文本分類 72
10.7 閱讀材料 76
參考文獻 76
11 生成對抗網絡 79
11.1 原始生成對抗網絡 79
11.1.1 生成對抗網絡的基本結構 79
11.1.2 深入理解生成對抗網絡 82
11.1.3 原始生成對抗網絡中的問題 95
11.2 生成對抗網絡的發展 96
11.2.1 深度捲積生成對抗網絡 96
11.2.2 基於Wasserstein距離的生成對抗網絡 97
11.2.3 加罰項的基於Wasserstein距離的生成對抗網絡 102
11.2.4 帶有一致化項的生成對抗網絡 104
11.2.5 損失敏感的生成對抗網絡 106
11.2.6 信息最大化生成對抗網絡 110
11.3 生成對抗網絡的訓練 112
11.3.1 訓練生成對抗網絡的問題與發展 113
11.3.2 訓練生成對抗網絡的一些技巧 115
11.3.3 漸進增大方式訓練生成對抗網絡 116
11.3.4 生成對抗網絡的譜歸一化 118
11.3.5 通過原始-對偶次梯度方法訓練生成對抗網絡 121
11.3.6 用優化鏡像下降的方法訓練生成對抗網絡 123
11.3.7 一階懲罰生成對抗網絡 125
11.4 深度生成模型的聯合模型 126
11.4.1 對抗變分貝葉斯方法 127
11.4.2 建立深度生成模型之間的原則性聯系 133
11.4.3 對抗自編碼器 140
11.4.4 Wasserstein自編碼器 144
11.5 最優傳輸理論與生成對抗網絡 147
11.5.1 從最優傳輸理論到生成模型 147
11.5.2 利用最優傳輸理論改善生成對抗網絡 150
11.6 生成對抗網絡的評估 152
11.6.1 幾何評分：一種比較樣本的方法 153
11.6.2 調節生成器對生成對抗網絡性能的影響 156
11.7 生成對抗網絡的其他模型 157
11.8 生成對抗網絡的應用 160
11.8.1 圖像的生成與操作 160
11.8.2 文本 172
11.9 早期的對抗模型 175
11.10 生成對抗網絡的總結 177
11.11 閱讀材料 179
參考文獻 180
12 像素級生成模型 184
12.1 PixelCNN 184
12.1.1 PixelCNN介紹 184
12.1.2 mask捲積 185
12.1.3 盲點問題 186
12.2 PixelRNN 188
12.2.1 行LSTM PixelRNN 188
12.2.2 對角線BiLSTM PixelRNN 189
12.3 門PixelCNN 192
12.4 條件PixelCNN 193
12.5 PixelVAE 194
12.6 PixelGAN 195
12.7 閱讀材料 197
參考文獻 197
13 深度聚類 198
13.1 聚類概述 198
13.1.1 傳統聚類與深度聚類之間的關系 198
13.1.2 深度聚類模型結構 199
13.1.3 深度聚類損失函數 199
13.1.4 簇的更新策略 201
13.2 深度嵌入聚類算法 202
13.2.1 自編碼器與聚類結合 202
13.2.2 變分自編碼器與聚類的結合 207
13.2.3 梯子網絡與聚類的結合 210
13.2.4 捲積神經網絡與聚類的結合 213
13.3 深度譜聚類 217
13.4 深度子空間聚類 220
13.5 閱讀材料 224
參考文獻 225
14 深度強化學習 230
14.1 基於值函數的深度強化學習 230
14.1.1 深度Q網絡 231
14.1.2 雙重深度Q網絡 238
14.1.3 優先化經驗回放的深度Q網絡 241
14.1.4 基於競爭網絡架構的深度Q網絡 243
14.2 基於策略搜索的深度強化學習 246
14.2.1 深度確定性策略梯度算法 246
14.2.2 異步的優勢行動者-評論家算法 250
14.3 基於模型的深度強化學習 252
14.3.1 AlphaGo發展史 253
14.3.2 AlphaGo原理介紹 255
14.4 深度強化學習的應用 264
14.5 深度強化學習的未來 266
14.6 閱讀材料 269
參考文獻 269
15 深度學習的可解釋性 272
15.1 可解釋性概述 272
15.1.1 什麽是可解釋性 273
15.1.2 可解釋的必要性 273
15.1.3 可解釋性研究進展 274
15.2 可視化 277
15.2.1 可視化方法分類 277
15.2.2 特徵可視化 278
15.2.3 關系可視化 289
15.2.4 過程可視化 297
15.3 深度學習內部工作機制探查 300
15.3.1 局部可解釋模型 300
15.3.2 關系反向傳播 304
15.3.3 決策樹量化解釋 311
15.3.4 信息論的角度解釋模型 317
15.4 深度學習工作機制理論分析 321
15.4.1 基於統計的分析 321
15.4.2 基於信息論的分析 327
15.4.3 基於認知科學的分析 342
15.5 閱讀材料 347
參考文獻 348
16 對抗樣本攻防和深度學習的魯棒性 355
16.1 深度神經網絡的脆弱性 355
16.2 對抗樣本攻擊 357
16.2.1 攻擊策略 357
16.2.2 對抗樣本的產生 373
16.2.3 對抗樣本的遷移 380
16.3 對抗攻擊的檢測與防禦 383
16.3.1 對抗樣本的檢測 383
16.3.2 對抗攻擊的防禦 385
16.4 深度神經網絡的魯棒性 391
16.4.1 分類器的魯棒性 391
16.4.2 Parseval網絡 399
16.4.3 評估神經網絡的魯棒性 400
16.4.4 為深度神經網絡提供可保證的魯棒性 403
16.5 深度學習測試 405
16.5.1 白盒測試 405
16.5.2 黑盒測試 414
16.6 深度學習驗證 422
16.6.1 可滿足性模理論 423
16.6.2 線性實數算法和單純形 424
16.6.3 從Simplex到Reluplex 425
16.6.4 有效實施Reluplex 428
16.6.5 案例研究：ACASXu系統 429
16.7 閱讀材料 431
參考文獻 432