可信聯邦學習

目錄
第 1 章 簡介 1
1.1 數據的價值與數據空間 2
1.1.1 數據的隱私安全 2
1.1.2 數據的資產屬性 3
1.1.3 數據空間 3
1.2 聯邦學習 4
1.3 可信聯邦學習 5
1.3.1 可信聯邦學習的定義 6
1.3.2 可信聯邦學習的知識體系 8
1.4 聯邦學習的發展 9
1.4.1 聯邦學習開源平臺 9
1.4.2 聯邦學習標準化進展 10
1.5 本章小結 11
第 2 章 聯邦學習基礎算法 12
2.1 橫向聯邦學習 13
2.2 縱向聯邦學習 14
2.3 聯邦遷移學習 16
2.4 聯邦強化學習 17
2.5 聯邦圖學習 18
2.6 自動化聯邦學習 21
2.7 聯邦元學習 21
2.8 本章小結 24
第 3 章 聯邦大模型 25
3.1 橫向聯邦大模型 26
3.2 縱向聯邦大模型 28
3.2.1 訓練過程 29
3.2.2 針對 VFL-LLM 的攻防
方法 31
3.3 聯邦大小模型 32
3.3.1 聯邦遷移大模型 34
3.3.2 聯邦協同大模型 35
3.3.3 跨模態聯邦大小模型學習
框架 CreamFL 36
3.3.4 大小模型互增強框架
CrossML 39
3.3.5 聯邦知識遷移框架
FedKTL 40
3.3.6 大模型知識融合遷移框架
FuseGen 41
3.4 可信聯邦大模型 42
3.5 其他分類方式 44
3.6 本章小結 46
第 4 章 聯邦學習安全性 49
4.1 安全威脅模型 50
4.2 聯邦學習的安全分級 51
4.2.1 問題描述 52
4.2.2 隱私數據安全保護等級 52
4.2.3 模型安全保護等級 54
4.3 針對聯邦學習的攻擊 55
4.3.1 半誠實攻擊 55
4.3.2 惡意攻擊 58
4.4 聯邦學習的防禦 60
4.4.1 基於統計信息的防禦策略 61
4.4.2 基於聚類的防禦策略 62
4.4.3 基於服務端樣本的防禦策略 63
4.4.4 基於歷史梯度的防禦策略 64
4.4.5 混合防禦策略 64
4.4.6 基於服務端評估的防禦策略 65
4.4.7 基於客戶端評估的防禦
策略 66
4.5 攻防技術總結 66
4.6 本章小結 68
第 5 章 聯邦學習效率 70
5.1 聯邦學習效率概述 71
5.2 通信層面優化的效率提高 71
5.2.1 不可靠通信環境的定義 72
5.2.2 針對通信資源有限的效率
提高 72
5.2.3 針對節點丟失的效率提高 77
5.2.4 針對通信幹擾的效率提高 77
5.2.5 挑戰與展望 78
5.3 算法層面優化的訓練效率提高 79
5.3.1 橫向聯邦學習訓練效率
優化 80
5.3.2 縱向聯邦學習訓練效率
優化 82
5.4 硬件加速層面優化的訓練
效率提高 88
5.4.1 使用 GPU 加速計算 88
5.4.2 使用 FPGA 加速計算 89
5.4.3 混合精度訓練 90
5.5 本章小結 91
第 6 章 無免費午餐定理 94
6.1 無免費午餐定理的意義 95
6.2 證明無免費午餐定理 95
6.2.1 場景定義 96
6.2.2 符號定義 98
6.2.3 隱私泄露 98
6.2.4 效用損失 99
6.2.5 效率損失 100
6.2.6 無免費午餐定理 101
6.2.7 無免費午餐定理應用 102
6.3 概率近似正確聯邦學習 103
6.3.1 基本概念 104
6.3.2 聯邦學習場景下的概率近
似正確學習 105
6.3.3 結果分析 108
6.4 本章小結 112
第 7 章 聯邦學習的多目標
優化 115
7.1 聯邦學習的多目標問題 116
7.1.1 基本概念 116
7.1.2 聯邦學習場景下的多目標
優化問題定義 119
7.1.3 聯邦學習多目標優化算法
介紹 121
7.2 博弈均衡 122
7.2.1 基本概念 122
7.2.2 聯邦學習場景下的攻防
博弈 125
7.2.3 結果分析 126
7.3 本章小結 127
第 8 章 個性化聯邦學習 129
8.1 異構性和個性化聯邦學習 130
8.1.1 聯邦學習的異構性定義和
分類 130
8.1.2 個性化聯邦學習的動機 130
8.2 基於數據異構性的個性化
聯邦學習 131
8.2.1 基本概念 131
8.2.2 算法介紹 132
8.3 基於設備異構性的個性化
聯邦學習 136
8.3.1 基本概念 136
8.3.2 算法介紹 136
8.4 基於模型異構性的個性化
聯邦學習 140
8.4.1 基本概念 140
8.4.2 算法介紹 141
8.5 本章小結 147
第 9 章 聯邦學習公平性 149
9.1 基本概念 150
9.2 聯邦學習場景下的公平性
問題定義 151
9.3 算法介紹 152
9.3.1 模型性能的偏見性 152
9.3.2 公平的貢獻評估體系 155
9.3.3 設備的公平選擇 159
9.4 本章小結 163
第 10 章 聯邦學習貢獻度
與激勵機制 166
10.1 基本概念 167
10.2 聯邦學習場景下的貢獻度
評估 167
10.2.1 樸素的聯邦夏普利值
實現 168
10.2.2 基於采樣的優化策略 169
10.2.3 基於截斷的優化策略 170
10.2.4 基於群組測試的優化
策略 171
10.3 聯邦學習場景下的激勵機制
設計 173
10.3.1 收益分享 173
10.3.2 基於區塊鏈實現的聯邦
學習激勵機制 174
10.3.3 一種註重公平的收益
分享框架 FLI 179
10.4 本章小結 183
第 11 章 模型知識產權
保護 185
11.1 基本概念 186
11.1.1 基於白盒的水印嵌入 187
11.1.2 基於黑盒的水印嵌入 188
11.2 聯邦學習場景下的水印嵌入 189
11.3 算法介紹 190
11.3.1 基於黑盒在客戶端側
實現的水印嵌入 191
11.3.2 基於白盒在客戶端側
實現的水印嵌入 192
11.3.3 基於黑盒在服務端側
實現的水印嵌入 194
11.3.4 基於白盒在服務端側
實現的水印嵌入 196
11.4 本章小結 197
第 12 章 聯邦學習應用 200
12.1 聯邦學習在醫療領域中的
應用 201
12.1.1 新藥研發 201
12.1.2 臨床輔助診斷與治療 202
12.1.3 基於可穿戴設備的健康
管理 203
12.1.4 全基因組分析 204
12.1.5 電子健康記錄管理 204
12.1.6 最新進展 205
12.2 聯邦學習在金融領域中的
應用 205
12.2.1 聯邦學習在反洗錢模型
中的應用 205
12.2.2 聯邦學習在保險定價中
的應用 207
12.2.3 最新進展 209
12.3 聯邦學習在個性化推薦中的
應用 209
12.3.1 縱向聯邦矩陣分解 209
12.3.2 橫向聯邦矩陣分解 211
12.3.3 縱向聯邦因子分解機 211
12.3.4 聯邦圖神經網絡推薦 212
12.3.5 最新進展 213
12.4 聯邦學習在計算機視覺領域
中的應用 214
12.4.1 聯邦學習在智能監控和
安防中的應用 214
12.4.2 聯邦學習在自動駕駛
中的應用 215
12.5 聯邦學習在語音識別領域
中的應用 215
12.6 本章小結 216
第 13 章 總結與展望 219
13.1 研究現狀與未來趨勢 220
13.1.1 系統和模型設計 221
13.1.2 安全隱私 222
13.1.3 聯邦學習與大模型
技術的融合 222
13.2 商業化現狀與未來趨勢 223
13.2.1 聯邦學習在醫療領域的
商業化應用 223
13.2.2 聯邦學習在金融領域的
商業化應用 224
13.2.3 聯邦學習在智慧城市
領域的商業化應用 224
13.2.4 聯邦學習在移動互聯網
領域的商業化應用 225
13.2.5 聯邦學習商業化應用
趨勢 225
13.3 總結 226
參考文獻 227