人工智能安全導論

張靜，博士，東南大學網絡空間安全學院教授，博士生導師。主要研究方向為安全可信人工智能、大數據分析與挖掘、機器學習、智能系統等。主持國家自然科學基金項目3項，國家重點研發項目子課題1項以及江蘇省自然科學基金等其它省部級和企業委托橫向項目十余項。近年來在AAAI、KDD、SIGIR、CIKM、ICDM等人工智能頂級國際會議和TPAMI、JMLR、TKDE、TNNLS、TCBY等人工智能權威國際期刊上發表學術論文100余篇，出版專著1部（一作），授權國家發明專利4項，登記軟件著作權3項。獲2020年國際數據挖掘大會ICDM-2020學生旅行獎（導師）。常年擔任AAAI、IJCAI、ICML、NeurIPS、KDD等人工智能頂級國際學術會議（高級）程序委員會委員和領域權威國際期刊審稿人。2017年獲得Information Fusion期刊的傑出審稿人獎。擔任《數據結構》、《編譯方法》、《軟件體系結構》《人工智能安全》、《信息安全技術》等課程的主講教師。

第 1章　人工智能基礎與網絡空間安全　1

1.1　人工智能簡介　2

1.1.1　人工智能的定義　2

1.1.2　人工智能的研究內容　2

1.1.3　人工智能的流派　4

1.1.4　人工智能的分類　5

1.2　人工智能的發展歷程　5

1.2.1　人工智能的發展簡史　5

1.2.2　近10年的標誌性成果　7

1.2.3　我國人工智能的發展現狀　9

1.2.4　獲取最新知識的途徑　10

1.3　人工智能的基本方法體系　11

1.3.1　傳統方法　11

1.3.2　機器學習　12

1.3.3　深度學習　12

1.4　信息安全基礎知識　13

1.4.1　信息安全概述　13

1.4.2　信息安全的要素　16

1.4.3　常見威脅與防禦　16

1.5　人工智能與網絡空間安全　23

1.5.1　人工智能技術本身的安全　23

1.5.2　人工智能應用於網絡空間安全　24

1.5.3　人工智能對社會安全的影響　25

1.6　本章小結　26

思考題　26

第　2章 人工智能安全框架　27

2.1　人工智能安全的基礎概念　28

2.1.1　人工智能安全的基本屬性　28

2.1.2　人工智能基礎架構安全　28

2.1.3　人工智能內生安全　29

2.1.4　人工智能應用安全風險　30

2.2　人工智能安全維度　30

2.2.1　數據安全維度的安全問題　30

2.2.2　算法維度的安全與可信問題　33

2.2.3　模型安全維度的安全問題　37

2.3　人工智能可解釋性和公平性　39

2.3.1　人工智能可解釋性　40

2.3.2　人工智能公平性　41

2.4　人工智能安全的典型案例　44

2.4.1　對抗樣本案例　44

2.4.2　深度偽造案例　45

2.4.3　數據汙染與數據投毒案例　46

2.4.4　算法公平性案例　46

2.5　人工智能安全治理與倫理　47

2.5.1　人工智能安全治理的原則與措施　47

2.5.2　人工智能安全風險分析與標準化　47

2.5.3　人工智能倫理概述　47

2.5.4　典型人工智能倫理問題　49

2.5.5　人工智能應用中的倫理問題　52

2.6　本章小結　55

思考題　56

第3章　人工智能安全相關數據處理　57

3.1　類別不平衡數據處理　58

3.1.1　數據類別不平衡現象　58

3.1.2　不平衡數據學習的分類方法　58

3.1.3　多分類不平衡數據分類方法　67

3.1.4　不平衡學習算法評價指標　72

3.2　噪聲數據處理　74

3.2.1　噪聲的分類與影響　74

3.2.2　含噪學習理論　74

3.2.3　噪聲處理方法　75

3.3　數據眾包與真值推斷　79

3.3.1　眾包與人工智能　80

3.3.2　數據眾包　80

3.3.3　眾包標簽的真值推斷　81

3.4　小樣本學習與數據增強　87

3.4.1　小樣本學習　87

3.4.2　數據層面的常見方法　89

3.4.3　模型層面的常見方法　90

3.4.4　算法層面的常見方法　92

3.5　本章小結　92

思考題　93

第4章　對抗樣本攻擊與防禦　94

4.1　對抗樣本攻擊概述　95

4.1.1　對抗樣本及其存在性　95

4.1.2　對抗樣本攻擊的分類　96

4.1.3　對抗樣本攻擊的方法　97

4.1.4　對抗樣本擾動的衡量指標　98

4.2　白盒攻擊　99

4.2.1　FGSM方法　99

4.2.2　BIM與ILCM方法　100

4.2.3　CW方法　102

4.2.4　PGD方法　105

4.3　黑盒攻擊　105

4.3.1　黑盒攻擊概述　105

4.3.2　PBAAML方法　106

4.3.3　ZOO方法　107

4.3.4　邊界攻擊方法　111

4.4　對抗樣本攻擊防禦　114

4.4.1　對抗樣本攻擊防禦概述　114

4.4.2　對抗性檢測　114

4.4.3　輸入重構　115

4.4.4　知識蒸餾　118

4.4.5　隨機化　121

4.4.6　對抗性訓練　123

4.5　其他領域的對抗樣本攻擊　124

4.5.1　文本對抗樣本攻擊　124

4.5.2　圖對抗樣本攻擊　127

4.6　本章小結　132

思考題　132

第5章　投毒攻擊與防禦　133

5.1　投毒攻擊概述　134

5.1.1　投毒攻擊的提出及發展　134

5.1.2　投毒攻擊的危害　135

5.2　投毒攻擊基本原理　136

5.2.1　形式化定義與理解　136

5.2.2　投毒攻擊的分類　139

5.3　投毒攻擊方法　140

5.3.1　數據投毒　140

5.3.2　模型投毒　150

5.4　投毒攻擊防禦方法　155

5.4.1　魯棒學習　155

5.4.2　數據清洗　161

5.4.3　模型檢測　165

5.5　本章小結　167

思考題　167

第6章　模型後門攻擊與防禦　168

6.1　模型後門攻擊概述　169

6.1.1　後門攻擊的場景　170

6.1.2　後門攻擊的相關概念　170

6.1.3　後門攻擊與其他攻擊的關系　171

6.2　模型後門攻擊方法　172

6.2.1　基於數據投毒的後門攻擊　173

6.2.2　基於模型的後門攻擊　182

6.2.3　基於動態觸發器的後門攻擊　188

6.2.4　其他後門攻擊方法　191

6.3　模型後門攻擊防禦方法　193

6.3.1　基於投毒抑制的後門攻擊防禦方法　193

6.3.2　基於模型的後門攻擊防禦方法　195

6.3.3　基於觸發器的後門攻擊防禦方法　197

6.4　其他場景下的後門攻擊　198

6.4.1　自然語言處理　198

6.4.2　GNN　199

6.4.3　遷移學習　199

6.4.4　聯邦學習　200

6.5　本章小結　201

思考題　201

第7章　深度偽造生成與檢測　202

7.1　深度偽造概述　203

7.1.1　深度偽造的分類　203

7.1.2　深度偽造的發展歷程　203

7.1.3　深度偽造的社會影響　203

7.1.4　深度偽造與生成式人工智能　204

7.2　人臉深度偽造生成技術　205

7.2.1　人臉重現　205

7.2.2　人臉編輯　208

7.2.3　人臉替換　211

7.2.4　人臉合成　215

7.3　語音深度偽造生成技術　219

7.3.1　TTS　219

7.3.2　VC　221

7.4　深度偽造檢測技術　222

7.4.1　代表性數據集　223

7.4.2　人臉深度偽造檢測技術　223

7.4.3　語音深度偽造檢測技術　228

7.5　開放性挑戰與未來的研究方向　231

7.5.1　開放性挑戰　231

7.5.2　未來的研究方向　232

7.6　本章小結　232

思考題　232

第8章　隱私保護　233

8.1　隱私保護概述　234

8.2　差分隱私　234

8.2.1　匿名化及其攻擊　234

8.2.2　ε-差分隱私　237

8.2.3　差分隱私機制　241

8.3　安全多方計算　248

8.3.1　安全多方計算的基本概念　248

8.3.2　安全多方計算的關鍵技術　249

8.3.3　基於秘密共享的安全多方計算　250

8.3.4　基於混淆電路的安全多方計算　253

8.3.5　面向應用的安全多方計算　254

8.4　聯邦學習　255

8.4.1　聯邦學習的基本概念　256

8.4.2　聯邦學習的隱私威脅　258

8.4.3　聯邦學習的隱私保護技術　261

8.4.4　聯邦學習的隱私保護方案　265

8.5　知識蒸餾　269

8.5.1　知識蒸餾與隱私保護　269

8.5.2　知識蒸餾方法　270

8.6　本章小結　274

思考題　275

第9章　隱私竊取攻擊與防禦　276

9.1　隱私竊取攻擊概述　277

9.2　數據竊取攻擊　280

9.2.1　數據集重建攻擊　280

9.2.2　成員推斷攻擊　286

9.2.3　屬性推斷攻擊　290

9.3　模型竊取攻擊　297

9.3.1　模型參數竊取攻擊　297

9.3.2　模型結構竊取攻擊　301

9.3.3　模型功能竊取攻擊　304

9.4　隱私竊取防禦　307

9.4.1　數據竊取攻擊防禦　307

9.4.2　模型竊取攻擊防禦　309

9.5　本章小結　312

思考題　313

第　10章 人工智能大模型安全　314

10.1　大模型安全概述　315

10.2　大模型幻覺　318

10.2.1　大模型幻覺的分類　318

10.2.2　大模型幻覺的誘因　319

10.2.3　大模型幻覺的檢測與量化評估　321

10.2.4　大模型幻覺的緩解　323

10.3　提示詞註入攻擊　325

10.3.1　直接與間接提示詞註入攻擊　326

10.3.2　目標劫持與提示詞泄露　326

10.3.3　越獄提示詞　327

10.3.4　提示詞註入攻擊的防禦措施　328

10.4　大模型投毒　329

10.4.1　數據投毒　330

10.4.2　模型投毒　332

10.4.3　大模型投毒的防禦措施　333

10.5　本章小結　335

思考題　336