遷移學習導論, 2/e

王晉東微軟亞洲研究院研究員，博士畢業於中國科學院計算技術研究所，主要從事遷移學習、機器學習和深度學習方面的研究。研究成果發表在IEEE TKDE、IEEE TNNLS、NeurIPS、CVPR、IJCAI、IMWUT等頂級期刊和會議；獲得國家獎學金、中國科學院優秀博士論文獎、IJCAI聯邦學習研討會最佳應用論文獎等。擔任國際會議IJCAI 2019的宣傳主席，擔任TPAMI、TKDE、ICML、NeurIPS、ICLR等的審稿人或程序委員會委員。熱心知識分享，領導維護著GitHub上廣受歡迎的遷移學習開源庫，獲得超過1萬星標；在知乎的博客文章瀏覽次數逾1000萬次，幫助眾多學術界和工業界人士快速入門遷移學習。陳益強中國科學院計算技術研究所所務委員、研究員、CCF Fellow，主要研究人機交互與普適計算，聯邦學習與遷移學習等。任北京市移動計算與新型終端重點實驗室主任、中科院計算所泛在計算系統研究中心主任；曾入選國家“萬人計劃”科技創新領軍人才、科技部中青年科技創新領軍人才、北京市科技新星等；國務院特殊津貼專家，東京大學、南洋理工大學兼職教授，IEEE計算智能等6個刊物的編委，IEEE可穿戴與智能交互技術委員會創始委員等。獲IJCAI-FL等人工智能和普適計算領域最佳論文獎6 項；相關成果獲國家科技進步二等獎及中國計算機學會技術發明一等獎等。

第I 部分遷移學習基礎
1 緒論3
1.1 遷移學習3
1.2 相關研究領域7
1.3 遷移學習的必要性8
1.3.1 大數據與少標註之間的矛盾9
1.3.2 大數據與弱計算能力的矛盾9
1.3.3 有限數據與模型泛化能力的矛盾.10
1.3.4 普適化模型與個性化需求的矛盾.11
1.3.5 特定應用的需求11
1.4 遷移學習的研究領域12
1.4.1 按特徵空間分類13
1.4.2 按目標域有無標籤分類13
1.4.3 按學習方法分類13
1.4.4 按離線與在線形式分類14
1.5 學術界和工業界中的遷移學習15
1.6 遷移學習的應用18
1.6.1 計算機視覺19
1.6.2 自然語言處理21
1.6.3 語音識別與合成23
1.6.4 普適計算與人機交互25
1.6.5 醫療健康28
1.6.6 其他應用領域30
參考文獻

2 從機器學習到遷移學習48
2.1 機器學習基礎48
2.1.1 機器學習概念48
2.1.2 結構風險最小化49
2.1.3 數據的概率分佈50
2.2 遷移學習定義52
2.3 遷移學習基本問題55
2.3.1 何時遷移55
2.3.2 何處遷移56
2.3.3 如何遷移58
2.4 失敗的遷移：負遷移58
2.5 一個完整的遷移學習過程60
參考文獻61

3 遷移學習方法總覽63
3.1 分佈差異的度量63
3.2 分佈差異的統一表徵66
3.2.1 分佈自適應因子的計算67
3.3 遷移學習方法統一表徵68
3.3.1 樣本權重遷移法70
3.3.2 特徵變換遷移法70
3.3.3 模型預訓練遷移法71
3.4 上手實踐72
3.4.1 數據準備.73
3.4.2 基準模型構建：KNN 75
參考文獻76

4 樣本權重遷移法78
4.1 問題定義78
4.2 基於樣本選擇的方法80
4.2.1 基於非強化學習的樣本選擇法81
4.2.2 基於強化學習的樣本選擇法82
4.3 基於權重自適應的方法83
4.4 上手實踐85
4.5 小結88
參考文獻88

5 統計特徵變換遷移法93
5.1 問題定義93
5.2 最大均值差異法94
5.2.1 基本概念94
5.2.2 基於最大均值差異的遷移學習96
5.2.3 求解與計算99
5.2.4 應用與擴展101
5.3 度量學習法102
5.3.1 度量學習102
5.3.2 基於度量學習的遷移學習104
5.4 上手實踐105
5.5 小結108
參考文獻108

6 幾何特徵變換遷移法111
6.1 子空間變換法111
6.1.1 子空間對齊法112
6.1.2 協方差對齊法113
6.2 流形空間變換法114
6.2.1 流形學習114
6.2.2 基於流形學習的遷移學習方法115
6.3 最優傳輸法118
6.3.1 最優傳輸118
6.3.2 基於最優傳輸法的遷移學習方法119
6.4 上手實踐121
6.5 小結122
參考文獻123

7 遷移學習理論、評測與模型選擇125
7.1 遷移學習理論125
7.1.1 基於H-divergence 的理論分析126
7.1.2 基於HΔH-distance 的理論分析.128
7.1.3 基於差異距離的理論分析129
7.1.4 結合標籤函數差異的理論分析130
7.2 遷移學習評測131
7.3 遷移學習模型選擇132
7.3.1 基於密度估計的模型選擇133
7.3.2 遷移交叉驗證133
7.4 小結134
參考文獻135

第II 部分現代遷移學習
8 預訓練– 微調139
8.1 深度神經網絡的可遷移性140
8.2 預訓練??微調143
8.2.1 預訓練– 微調的有效性144
8.3 遷移學習中的正則145
8.4 預訓練模型用於特徵提取148
8.5 學習如何微調149
8.6 上手實踐151
8.7 小結155
參考文獻155

9 深度遷移學習158
9.1 總體思路159
9.2 深度遷移學習的網絡結構160
9.2.1 單流結構161
9.2.2 雙流結構161
9.3 數據分佈自適應方法163
9.4 結構自適應的深度遷移學習方法165
9.4.1 基於批歸一化的遷移學習165
9.4.2 基於多表示學習的遷移網絡結構.166
9.4.3 基於解耦的深度遷移方法168
9.5 知識蒸餾169
9.6 上手實踐170
9.6.1 網絡結構171
9.6.2 遷移損失174
9.6.3 訓練和測試179
9.7 小結183
參考文獻184

10 對抗遷移學習187
10.1 生成對抗網絡與遷移學習187
10.2 數據分佈自適應的對抗遷移方法189
10.3 基於最大分類器差異的對抗遷移方法192
10.4 基於數據生成的對抗遷移方法194
10.5 上手實踐195
10.5.1 領域判別器195
10.5.2 分佈差異計算.196
10.5.3 梯度反轉層197
10.6 小結198
參考文獻198

11 遷移學習的泛化200
11.1 領域泛化200
11.2 基於數據操作的領域泛化方法203
11.2.1 數據增強和生成方法203
11.2.2 基於Mixup 的數據生成方法.205
11.3 領域不變特徵學習206
11.3.1 核方法：領域不變成分分析.206
11.3.2 深度領域泛化方法.208
11.3.3 特徵解耦210
11.4 用於領域泛化的不同學習策略212
11.4.1 基於集成學習的方法212
11.4.2 基於元學習的方法213
11.4.3 用於領域泛化的其他學習範式215
11.5 領域泛化理論215
11.5.1 平均風險預估誤差上界215
11.5.2 泛化風險上界217
11.6 上手實踐17
11.6.1 數據加載218
11.6.2 訓練和測試220
11.6.3 示例方法：ERM 和CORAL.222
11.7 小結225
參考文獻225

12 安全和魯棒的遷移學習232
12.1 安全遷移學習232
12.1.1 遷移學習模型可以被攻擊嗎233
12.1.2 抵制攻擊的方法233
12.1.3 ReMoS：一種新的安全遷移學習方法235
12.2 聯邦學習和遷移學習238
12.2.1 聯邦學習238
12.2.2 面向非獨立同分佈數據的個性化聯邦學習241
12.2.3 模型自適應的個性化遷移學習242
12.2.4 基於相似度的個性化聯邦學習243
12.3 無需源數據的遷移學習244
12.3.1 信息最大化方法246
12.3.2 特徵匹配方法247
12.4 基於因果關係的遷移學習248
12.4.1 什麼是因果關係248
12.4.2 因果關係與遷移學習250
12.5 小結254
參考文獻254

13 複雜環境中的遷移學習260
13.1 類別非均衡的遷移學習260
13.2 多源遷移學習263
13.3 開放集遷移學習265
13.4 時間序列遷移學習267
13.4.1 AdaRNN：用於時間序列預測的遷移學習269
13.4.2 DIVERSIFY：用於時間序列分類的遷移學習271
13.5 在線遷移學習273
13.6 小結276
參考文獻276

14 低資源學習281
14.1 遷移學習模型壓縮281
14.2 半監督學習284
14.2.1 一致性正則化方法285
14.2.2 偽標籤和閾值法287
14.3 元學習290
14.3.1 基於模型的元學習方法.292
14.3.2 基於度量的元學習方法.293
14.3.3 基於優化的元學習方法.295
14.4 自監督學習297
14.4.1 構造輔助任務.298
14.4.2 對比自監督學習.299
14.5 小結300
參考文獻301

第III 部分遷移學習的應用與實踐
15 計算機視覺中的遷移學習實踐309
15.1 目標檢測309
15.1.1 任務與數據309
15.1.2 加載數據310
15.1.3 模型313
15.1.4 訓練和測試313
15.2 神經風格遷移315
15.2.1 數據加載315
15.2.2 模型316
15.2.3 訓練317
參考文獻319

16 自然語言處理中的遷移學習實踐320
16.1 情緒分類任務及數據集320
16.2 模型322
16.3 訓練和測試323
16.4 預訓練??微調324
參考文獻325

17 語音識別中的遷移學習實踐326
17.1 跨領域語音識別326
17.1.1 語音識別中的遷移損失327
17.1.2 CMatch 算法實現.328
17.1.3 實驗及結果332
17.2 跨語言語音識別333
17.2.1 適配器模塊334
17.2.2 基於適配器進行跨語言語音識別335
17.2.3 算法：MetaAdapter 和SimAdapter .336
17.2.4 結果與討論337
參考文獻339

18 行為識別中的遷移學習實踐340
18.1 任務及數據集340
18.2 特徵提取341
18.3 源域選擇342
18.4 使用TCA 方法進行非深度遷移學習344
18.5 深度遷移學習用於跨位置行為識別345
參考文獻350

19 醫療健康中的聯邦遷移學習實踐351
19.1 任務和數據集351
19.1.1 模型結構355
19.2 聯邦學習基礎算法FedAvg 356
19.2.1 客戶端更新357
19.2.2 服務器端更新.357
19.2.3 結果358
19.3 個性化聯邦學習算法AdaFed 359
19.3.1 相似度矩陣計算.359
19.3.2 服務器端通信.361
19.3.3 結果362
參考文獻362

20 回顧與展望364
參考文獻367
附錄368
常用度量準則368
常見的幾種距離.368
餘弦相似度.369
互信息.369
相關係數.369
KL 散度與JS 距離370
最大均值差異MMD .370
Principal Angle .371
A-distance 371
Hilbert-Schmidt Independence Criterion 371
Wasserstein Distance 372
常用數據集372
手寫體識別圖像數據集373
對象識別數據集.374
圖像分類數據集.374
通用文本分類數據集.375
行為識別公開數據集.375
相關期刊會議376
遷移學習資源匯總377
參考文獻378