基於 TensorFlow 的圖像生成

Soon Yau Cheong
是一名人工智能顧問，也是Sooner.ai公司的創始人，曾與NVIDIA和高通等行業巨頭合作，
在人工智能的各個領域提供諮詢服務，如深度學習、計算機視覺、自然語言處理和大數據分析。

冒燕
男，1978年5月生，武漢理工大學講師，博士學歷，主要從事光纖傳感及醫學OCT系統成像等技術等研究。
發表論文30餘篇，其中SCI/EI檢索論文15篇。
獲得授權國家發明專利4項，省部級科技獎勵5項，參與編寫出版著作2本。

目錄
第1篇TensorFlow生成圖像的基本原理
第1章開始使用TensorFlow生成圖像 2
1.1 技術要求 2
1.2 理解概率 2
1.2.1 概率分佈 3
1.2.2 預測置信度 4
1.2.3 像素的聯合概率 4
1.3 用概率模型生成人臉 7
1.3.1 創建面孔 7
1.3.2 條件概率 9
1.3.3 概率生成模型 10
1.3.4 參數化建模 12
1.4 從零開始構建PixelCNN模型 13
1.4.1 自回歸模型 14
1.4.2 PixelRNN 14
1.4.3 使用TensorFlow 2構建PixelCNN模型 14
1.5 本章小結 21
第2章變分自編碼器 22
2.1 技術要求 22
2.2 用自編碼器學習潛在變量 22
2.2.1 編碼器 23
2.2.2 解碼器 26
2.2.3 構建自編碼器 28
2.2.4 從潛在變量生成圖像 29
2.3 變分自編碼器 31
2.3.1 高斯分佈 31
2.3.2 採樣潛在變量 33
2.3.3 損失函數 36
2.4 用變分自編碼器生成人臉 38
2.4.1 網絡體系結構 38
2.4.2 面部重建 39
2.4.3 生成新面孔 40
2.4.4 採樣技巧 40
2.5 控制面部屬性 42
2.5.1 潛在空間運算 42
2.5.2 尋找屬性向量 42
2.5.3 面部編輯 43
2.6 本章小結 45
第3章生成對抗網絡 46
3.1 技術要求 46
3.2 瞭解GAN的基本原理 47
3.2.1 GAN的架構 47
3.2.2 價值函數 48
3.2.3 GAN訓練步驟 51
3.3 構建深度捲積GAN（DCGAN） 53
3.3.1 結構指南 53
3.3.2 建立Fashion-MNIST的DCGAN 55
3.3.3 訓練我們的DCGAN 58
3.4 訓練GAN的挑戰 60
3.4.1 無信息損失和度量 60
3.4.2 不穩定性 61
3.4.3 梯度消失 61
3.4.4 模式崩塌 62
3.5 建立Wasserstein GAN（WGAN） 63
3.5.1 理解Wasserstein損失 64
3.5.2 實現1-Lipschitz約束 65
3.5.3 重組訓練步驟 66
3.5.4 實施梯度懲罰（WGAN-GP） 68
3.5.5 調整CelebA的WGAN-GP 71
3.6 本章小結 73
第2篇深度生成模型的應用
第4章圖像到圖像的翻譯 76
4.1 技術要求 76
4.2 條件GAN 77
4.2.1 實現條件DCGAN 78
4.2.2 條件GAN的變體 82
4.3 使用pix2pix進行圖像翻譯 84
4.3.1 丟棄隨機噪聲 85
4.3.2 U-Net作為生成器 85
4.3.3 損失函數 88
4.3.4 實現PatchGAN判別器 88
4.3.5 訓練pix2pix 90
4.4 CycleGAN的非成對圖像翻譯 91
4.4.1 未配對的數據集 91
4.4.2 循環一致性損失 92
4.4.3 構建CycleGAN模型 93
4.4.4 分析CycleGAN 95
4.5 用BicycleGAN實現圖像翻譯多樣化 96
4.5.1 理解體系結構 97
4.5.2 實現BicycleGAN 99
4.6 本章小結 104
第5章風格遷移 105
5.1 技術要求 105
5.2 神經風格遷移 106
5.2.1 利用VGG提取特徵 107
5.2.2 內容重構 109
5.2.3 用Gram矩陣重建風格 111
5.2.4 執行神經風格遷移 113
5.3 改進風格遷移 114
5.3.1 使用前饋網絡進行快速風格遷移 116
5.3.2 不同的風格特徵 117
5.3.3 使用歸一化層控制風格 117
5.4 實時任意風格轉換 118
5.4.1 實現自適應實例歸一化 119
5.4.2 風格遷移網絡架構 120
5.4.3 任意風格遷移訓練 123
5.5 基於風格的GAN簡介 126
5.6 本章小結 131
第6章人工智能畫家 132
6.1 技術要求 132
6.2 iGAN介紹 132
6.2.1 瞭解流形 134
6.2.2 圖像編輯 135
6.3 基於GauGAN的分割圖到圖像的翻譯 139
6.3.1 pix2pixHD介紹 139
6.3.2 空間自適應歸一化（SPADE） 140
6.3.3 實際應用GauGAN 146
6.4 本章小結 153
第3篇高級深度生成技術
第7章高保真人臉生成 156
7.1 技術要求 156
7.2 ProGAN概述 156
7.2.1 像素歸一化 158
7.2.2 使用小批量統計增加圖像變化 159
7.2.3 均衡學習率 160
7.3 ProGAN的建立 162
7.3.1 生成器塊的建立 162
7.3.2 判別器塊的建立 164
7.3.3 逐步發展網絡 165
7.3.4 損失函數 169
7.3.5 存在的問題 169
7.4 實際應用StyleGAN 171
7.4.1 風格化生成器 172
7.4.2 實現映射網絡 173
7.4.3 添加噪聲 174
7.4.4 AdaIN的實現 174
7.4.5 建造生成器塊 175
7.4.6 StyleGAN的訓練 176
7.5 本章小結 177
第8章圖像生成的自註意力機制 178
8.1 技術要求 178
8.2 譜歸一化 179
8.2.1 瞭解譜範數 179
8.2.2 譜的歸一化實現 180
8.3 自註意力模塊 181
8.3.1 計算機視覺的自註意力 181
8.3.2 自註意力模塊的實現 183
8.4 建立SAGAN 185
8.4.1 構建SAGAN生成器 186
8.4.2 條件批量歸一化 187
8.4.3 構建判別器 189
8.4.4 訓練SAGAN 190
8.5 實現BigGAN 191
8.5.1 縮放GAN 191
8.5.2 跳過潛在向量 192
8.5.3 共享類嵌入 193
8.5.4 正交歸一化 195
8.6 本章小結 196
第9章視頻合成 197
9.1 技術要求 197
9.2 視頻合成概述 198
9.2.1 理解人臉視頻合成 198
9.2.2 DeepFake概述 199
9.3 實現人臉圖像處理 201
9.3.1 從視頻中提取圖像 201
9.3.2 檢測和定位人臉 202
9.3.3 面部特徵的檢測 203
9.3.4 面部對齊 204
9.3.5 面部扭曲 206
9.4 建立DeepFake模型 208
9.4.1 構建編碼器 208
9.4.2 構建解碼器 209
9.4.3 訓練自編碼器 210
9.5 人臉互換 212
9.6 用GAN改進DeepFake 214
9.7 本章小結 216
第10章總結與展望 217
10.1 GAN的回顧 217
10.1.1 優化和激活功能 218
10.1.2 對抗損失 218
10.1.3 輔助損失 219
10.1.4 歸一化 219
10.1.5 正則化 220
10.2 將你的技能付諸實踐 221
10.2.1 不要相信你讀到的一切 221
10.2.2 你的GPU夠強嗎 221
10.2.3 使用現有的模型構建你的模型 221
10.2.4 理解模型的局限性 222
10.3 圖像處理 222
10.3.1 圖像修整 222
10.3.2 圖像壓縮 224
10.3.3 圖像超分辨率 225
10.4 文本轉圖像 225
10.5 視頻重定向 227
10.5.1 人臉再現 228
10.5.2 姿勢轉換 229
10.5.3 運動轉移 230
10.6 神經渲染 231
10.7 本章小結 233