現代深度學習教程

焦李成，歐洲科學院院士，IEEE Fellow。現任西安電子科技大學華山傑出教授、人工智能研究院院長，國家級領軍人才首批入選者、“一帶一路”人工智能創新聯盟理事長，中國人工智能學會第六-七屆副理事長，亞洲計算智能學會主席，IEEE/IET/CAAI/CAA/CIE/CCF/CSIG/AAIA/ACIS/AIIA Fellow，入選多個高被引學者榜單。曾獲國家自然科學獎二等獎、吳文俊人工智能傑出貢獻獎及省部級一等獎以上科技獎勵十余項。

第 一章 人工智能的前世今生 8

1.1人工智能發展歷程　8

1.2　機器學習及經典算法　10

1.2.1　數據集、樣本及標簽　11

1.2.2　監督學習　14

1.2.3　無監督學習　17

1.2.4　強化學習　20

1.2.5　半監督學習　28

1.2.6　自監督學習　30

1.2.7　遷移學習　38

1.3　深度學習　42

本章小結　44

第二章　神經網絡基礎　46

2.1　神經網絡基本原理　46

2.1.1　生物神經元模型　46

2.1.2　人工神經元　48

2.1.3　感知機　52

2.2　卷積神經網絡基本原理　54

2.2.1　卷積神經網絡構造　54

2.2.2　卷積層　55

2.2.3　非線性激活函數　67

2.2.4　池化　75

2.2.5　全連接層　82

2.2.6　歸一化層　83

2.3　神經網絡優化方法　86

2.3.1　前向傳播與網絡初始化　86

2.3.2　損失函數與代價函數　93

2.3.3　反向傳播　96

2.3.4　隨機梯度下降算法　104

2.3.5　動量梯度下降算法　107

2.3.6　牛頓法　111

2.4　簡單卷積神經網絡實踐　114

本章小結　121

第三章　卷積神經網絡進階　122

3.1　經典CNN架構　122

3.1.1　LeNet-5　123

3.1.2　AlexNet與Dropout　125

3.1.3　VGG　131

3.2　新穎CNN架構　133

3.2.1　Network in network（NIN）　134

3.2.2　ResNet　136

3.2.3　Inception　140

3.2.4　DenseNet　143

3.2.5　MobileNet　146

3.2.6　EfficientNet　148

3.2.7　ConvNext　150

3.3　新型卷積　152

3.3.1　空洞卷積　153

3.3.2　可行變卷積　155

3.3.3　深度可分離卷積　158

3.3.4　MBConv　161

3.3.5　反卷積　163

3.3.6　可逆卷積　164

3.4　分類案例與實踐　166

3.4.1　分類常用數據集　168

3.4.2　分類任務的評價指標　173

3.4.3　基於ResNet34的分類　180

3.5　語義分割案例與實踐　184

3.5.1　語義分割常用數據集　187

3.5.2　語義分割任務的評價指標　191

3.5.3　FCN網絡　195

3.5.4　U-net網絡　202

3.5.5　DeepLabV3　205

3.6　目標檢測案例與實踐　208

3.6.1　目標檢測常用數據集　211

3.6.2　常用指標　213

3.6.3　Faster R-CNN　217

3.6.4　Yolo　223

本章小結　226

第四章　循環神經網絡　228

4.1循環神經網絡的結構和原理　228

4.2　長短時記憶網絡（LSTM）　236

4.3　門控循環單元（GRU）　240

4.4　時序數據處理案例與實踐　243

4.4.1　機器翻譯　244

4.4.2　序列標註　261

4.4.3　GloVe和BERT詞向量編碼器　269

本章小結　272

第五章　圖神經網絡　274

5.1圖神經網絡結構和原理　274

5.1.1　圖結構　274

5.1.2　圖神經網絡的基本結構　278

5.2　經典圖神經網絡基礎模型　281

5.2.1　圖卷積網絡　281

5.2.2　GraphSAGE　285

5.3　圖數據處理案例與實踐　289

本章小結　302

第六章　TRANSFORMER網絡　303

6.1　經典註意力機制　303

6.2　TRANSFORMER基本結構　314

6.3　視覺TRANSFORMER模型　318

6.3.1　Vision Transformer模型　319

6.3.2　Swin Transformer模型　326

6.3.3　DETR 模型　331

6.3.4　SegFormer模型　335

本章小結　338

第七章　生成式學習網絡　339

7.1自編碼器模型　339

7.1.1　傳統自編碼器　340

7.1.2　去噪自編碼器　342

7.1.3　卷積自編碼器　344

7.1.4　變分自編碼器　347

7.2生成對抗模型　352

7.2.1　生成對抗網絡　353

7.2.2　DCGAN網絡　360

7.2.3　CycleGAN模型　362

7.3　擴散模型　367

7.3.1　擴散過程　367

7.3.2　DDPM模型　369

7.3.3　DiT模型　371

本章小結　374

第八章　GPT系列大模型　376

8.1　大規模預訓練模型　376

8.1.1　發展歷程　378

8.1.2　大模型的優勢　380

8.1.3　應用場景　381

8.2　大型預訓練語言模型　383

8.3　GPT系列模型　385

8.3.1　GPT系列介紹　386

8.3.2　數據集及參數量　387

8.3.3　預訓練　388

8.3.4　優勢及局限性　390

8.4　BERT　391

8.4.1　BERT的結構　391

8.4.2　BERT的數據集及參數量　393

8.4.3　BERT的預訓練　393

8.4.4　BERT的微調　394

8.4.5　優勢及局限性　395

8.5　CHATGPT模型　396

8.6　OPENAI-O1系列　396

本章小結　400

第九章　基礎大模型核心技術——基於人類反饋的強化學習　402

9.1　近端策略優化　402

9.1.1　策略梯度　403

9.1.2　信賴域策略優化算法　405

9.1.3　PPO算法　409

9.2　基於人類反饋的強化學習　412

9.3　強化TRANSFORMER　415

本章小結　417

第十章　基礎大模型核心技術——提示學習　418

10.1　提示學習的基本流程　418

10.2　提示學習主要構造　420

10.2.1　預訓練模型的選擇　420

10.2.2　提示工程　420

10.2.3　答案工程　424

10.3　提示學習示例　426

10.3.1　ZeroShot提示學習　427

10.3.2　Few-Shot提示學習　427

10.3.3　COT提示學習　428

10.3.4　自一致性提示學習　430

10.4　提示微調　433

10.5　自我微調　437

本章小結　439

第十一章　基礎模型進階與應用　441

11.1　NLP基礎模型　441

11.1.1　AudioLM大模型　441

11.1.2　PaLM系列大語言模型　443

11.1.3　LLaMA系列大語言模型　446

11.1.4　GLM大語言模型　450

11.1.5　騰訊混元大模型　453

11.1.6　DeepSeek大語言模型　454

11.2　視覺基礎模型　460

11.2.1　ViT-22B視覺大模型　460

11.2.2　SAM分割大模型　464

11.2.3　Painter及SegGPT視覺大模型　469

11.2.4　SEEM分割大模型　472

11.2.5　LVM視覺大模型　477

11.3　多模態基礎模型　479

11.3.1　CLIP多模態大模型　479

11.3.2　GLIP 多模態大模型　481

11.3.3　VisualGPT模型　483

11.3.4　Gemini系列大模型　487

11.3.5　ImageBind 大模型　491

11.3.6　文心大模型　494

11.3.7　“通義千問”大模型　499

11.3.8　訊飛星火認知大模型　503

11.3.9　Sora視頻生成大模型　506

11.4　生物醫學基礎模型　510

11.4.1　AlphaFold模型　511

11.4.2　Geneformer模型　513

11.4.3　Med-PaLM2 模型　514

11.4.4　RadFM模型　516

11.4.5　慧影：醫學影像智慧解譯基礎模型　517

11.5　材料科學基礎模型　521

11.5.1　GNoME模型　521

11.5.2　DARWIN模型　523

11.6　遙感解譯基礎模型　524

11.6.1　悟瞳：遙感大模型理論研究與應用框架　525

11.6.2　RVSA遙感大模型　528

11.6.3　SkyEyeGPT遙感大模型　531

11.6.4　AIE-SEG遙感大模型　534

11.6.5　盤古氣象大模型　537

11.7　具身智能機器人　540

11.7.1　RT系列機器人模型　540

11.7.2　VoxPoser機器人模型　544

本章小結　546