人工智能技術基礎

目錄

 

第1章人工智能簡介1

1.1人工智能的定義及發展歷史1

1.1.1人工智能的定義1

1.1.2人工智能的發展歷史1

1.2人工智能方法3

1.3人工智能的應用5

1.4人工智能的未來6

1.4.1近期發展目標6

1.4.2人工智能的未來7

1.5小結7

思考與練習7

第2章神經網絡基礎8

2.1生物神經元與生物神經網絡8

2.1.1生物神經元8

2.1.2生物神經網絡9

2.2人工神經元與人工神經網絡9

2.2.1人工神經元9

2.2.2激活函數10

2.2.3人工神經網絡13

2.3前向神經網絡13

2.4反向傳播算法14

2.4.1鏈式法則15

2.4.2梯度下降法15

2.4.3反向傳播算法15

2.4.4反向傳播算法的改進算法18

2.5處理數據和訓練模型的技巧20

2.5.1數據預處理——數據標準化20

2.5.2權重初始化21

2.5.3防止過擬合的常用方法23

2.6小結24

思考與練習24

第3章捲積神經網絡25

3.1捲積神經網絡的特性25

3.1.1局部連接26

3.1.2權值共享26

3.1.3不變性27

3.2捲積神經網絡結構和訓練27

3.2.1捲積層27

3.2.2池化層32

3.2.3全連接層33

3.2.4捲積神經網絡的訓練35

3.3捲積神經網絡經典模型36

3.3.1LeNet5網絡37

3.3.2AlexNet網絡38

3.3.3VGGNet網絡41

3.3.4其他幾種經典網絡的基本結構42

3.4小結48

思考與練習48

第4章循環神經網絡49

4.1循環神經網絡的基本結構49

4.2循環神經網絡的訓練方法52

4.2.1標準循環神經網絡的前向輸出流程52

4.2.2循環神經網絡的訓練方法——隨時間反向傳播53

4.2.3循環神經網絡訓練過程中的梯度消失和梯度爆炸問題及解決方法54

4.3循環神經網絡拓展模型56

4.3.1簡單循環網絡56

4.3.2雙向循環網絡56

4.3.3長短期記憶網絡57

4.3.4門控循環單元網絡61

4.4循環神經網絡的應用結構62

4.4.1同步的序列到序列結構（N到N）62

4.4.2序列分類結構（N到1）62

4.4.3向量到序列結構（1到N）62

4.4.4異步的序列到序列的模式（N到M）64

4.5小結65

思考與練習65

第5章註意力機制67

5.1軟註意力機制的原理及計算過程68

5.2通道註意力和空間註意力70

5.2.1通道註意力70

5.2.2空間註意力73

5.2.3混合註意力73

5.3自註意力機制76

5.3.1自註意力機制的輸入方式及特性76

5.3.2自註意力機制與RNN的區別79

5.3.3自註意力機制在視覺領域的應用80

5.4互註意力機制84

5.5小結85

思考與練習85

第6章Transformer86

6.1Transformer的結構和工作原理86

6.1.1Transformer的輸入89

6.1.2多頭自註意力機制90

6.1.3編碼器結構92

6.1.4解碼器結構93

6.1.5Transformer的訓練95

6.1.6Transformer的特點分析96

6.2Transformer在NLP中的應用96

6.2.1BERT的基本原理和訓練方法97

6.2.2GPT的基本原理和訓練方法101

6.3Transformer在視覺領域中的應用104

6.3.1視覺Transformer104

6.3.2其他視覺Transformer106

6.3.3受ViT啟發解決視覺問題的多層感知機112

6.4小結115

思考與練習115

第7章知識圖譜116

7.1知識圖譜的起源116

7.1.1知識工程和專家系統116

7.1.2語義網絡、語義網、鏈接數據和知識圖譜117

7.1.3知識圖譜的定義118

7.2知識圖譜的架構119

7.2.1邏輯架構119

7.2.2技術架構120

7.3知識抽取121

7.3.1非結構化數據的知識抽取122

7.3.2結構化數據的知識抽取130

7.3.3半結構化數據的知識抽取130

7.4知識融合134

7.4.1知識融合的基本技術流程136

7.4.2典型知識融合工具137

7.4.3實體鏈接140

7.4.4知識合並144

7.5知識加工145

7.5.1實體構建145

7.5.2知識推理146

7.5.3質量評估148

7.5.4知識更新148

7.6小結148

思考與練習148

第8章圖神經網絡149

8.1圖論基礎與圖譜理論149

8.1.1圖論基礎149

8.1.2圖譜理論151

8.2圖神經網絡基本原理153

8.2.1圖神經網絡的基本操作153

8.2.2多層GNN155

8.2.3GNN應用場景156

8.3圖神經網絡分類157

8.4捲積圖神經網絡158

8.4.1基於圖譜理論的ConvGNN159

8.4.2基於空間的ConvGNN160

8.5圖註意力網絡161

8.6圖生成網絡163

8.7圖時空網絡164

8.8小結166

思考與練習166

第9章生成式人工智能模型167

9.1變分自編碼器168

9.1.1原理概念168

9.1.2訓練方法169

9.1.3應用方法170

9.2生成對抗網絡171

9.2.1GAN的基本原理171

9.2.2GAN網絡的幾種結構172

9.2.3GAN訓練中生成與訓練集之間的相似評價方法174

9.3流模型177

9.3.1流模型的工作原理177

9.3.2流模型的常見分類方法178

9.3.3常見的流模型轉換函數設計179

9.4擴散模型180

9.4.1去噪擴散概率模型DDPM181

9.4.2基於分數匹配的隨機微分方程擴散模型183

9.4.3擴散模型的採樣生成184

9.5穩定擴散模型186

9.5.1LDM隱式擴散187

9.5.2文本與圖像的關聯方法——CLIP模型188

9.5.3其他條件下的生成模型189

9.5.4穩定擴散模型的應用190

9.6小結194

思考與練習194

第10章機器學習195

10.1弱監督學習195

10.1.1主動學習196

10.1.2半監督學習197

10.2自監督學習198

10.2.1生成式自監督學習199

10.2.2判別式自監督學習200

10.3遷移學習202

10.4深度強化學習204

10.4.1強化學習系統概述205

10.4.2基於值函數的深度強化學習207

10.4.3基於策略的深度強化學習208

10.4.4基於演員—評論家的深度強化學習209

10.4.5多智能體深度強化學習210

10.5元學習和小（零）樣本學習212

10.5.1基於模型的元學習方法213

10.5.2模型無關的元學習方法216

10.6持續學習218

10.6.1持續學習的應用場景和主要挑戰219

10.6.2持續學習的主要方法222

10.7大語言模型中的機器學習方法226

10.7.1提示學習和指示學習227

10.7.2上下文學習和思維鏈提示228

10.7.3基於人類反饋的強化學習233

10.8小結236

思考與練習236

參考文獻237