實用深度學習基礎

本書根據深度學習技術發展速度快、理論性與實踐性強、應用廣泛等特點，結合教學、科研及應用需求，堅持“原理、技術、應用”三位一體原則，註重基礎性、系統性、前沿性和實用性的統一，對深度學習的**方法與研究趨勢進行全面深入的研究和探索。全書分成四部分：第一部分是人工智能基礎，重點闡述人工智能的概念、發展歷史和發展趨勢等；第二部分是深度學習基礎，包括機器學習基礎理論、深度學習基礎、深度學習網絡的優化方法和技巧；第三部分是經典神經網絡技術，包括捲積神經網絡、循環神經網絡、神經網絡的區分性訓練、序列到序列建模；第四部分是高級深度學習技術，包括自編碼器、遷移學習、生成對抗網絡、終身學習、深度強化學習、元學習、自監督學習等。 本書在深入淺出的講解中將**理論成果與實際問題解決過程相結合，培養學生的創新思維和解決復雜工程問題能力，適用於人工智能、網絡安全、通信工程、信息工程等專業高年級本科生、研究生教學，可作為人工智能相關領域的科研人員、工程師的重要參考書。

目錄

第1章人工智能技術概覽

1．1人工智能的概念

1．1．1智能的基本概念

1．1．2人類智能的度量

1．1．3人工智能的概念

1．2人工智能的發展歷程

1．2．1人工智能誕生前的50年

1．2．2人工智能發展的第一階段

1．2．3人工智能發展的第二階段

1．2．4人工智能發展的第三階段

1．3人工智能的學術流派

1．3．1戴維·阿蘭格裡爾的學術流派劃分

1．3．2佩德羅·多明戈斯的學術流派劃分

1．3．3人工智能學術流派的重新劃分

1．4人工智能的未來發展

1．4．1無監督學習、元學習正在突破通用智能

1．4．2實時強化學習技術趨於成熟

1．4．3可解釋性知識推理技術成為研究重點

1．4．4開放式持續學習技術受到廣泛關註

1．4．5不同流派人工智能技術融合認知開闢新的技術路徑

1．4．6應用場景朝小數據量、惡劣環境、非完整數據方向發展

1．5本章小結

參考文獻

第2章機器學習理論基礎

2．1機器學習基本概念

2．1．1學習與機器學習

2．1．2機器學習的分類

2．1．3感知機及其學習算法

2．2可能近似正確學習理論

2．2．1機器學習的不可行性

2．2．2概率近似正確學習理論

2．3VC維理論

2．3．1假設的有效數量

2．3．2突破點

2．3．3上限函數

2．3．4VC維

2．4三個最基本機器學習模型

2．4．1線性分類

2．4．2線性回歸

2．4．3邏輯回歸

2．4．4三種基本機器學習算法對比分析

2．5本章小結

參考文獻

第3章深度學習基礎

3．1深度學習的基本定義和特點

3．1．1神經元與生物神經網絡

3．1．2人工神經元及其分類能力

3．1．3單隱含層神經網絡的能力

3．1．4深度學習

3．2深度學習網絡設計的三個核心問題

3．2．1定義網絡結構

3．2．2目標函數選擇

3．2．3優化算法選擇

3．3後向傳播算法

3．3．1輸出端的損失梯度

3．3．2隱含層的損失梯度

3．3．3神經網絡參數的損失梯度

3．3．4算法整理流圖

3．4本章小結

參考文獻

第4章深度學習網絡優化技巧

4．1深度學習網絡優化學習

4．1．1定義網絡結構

4．1．2目標函數選擇

4．1．3優化算法選擇

4．1．4深度學習算法檢查

4．2新激活函數選擇

4．2．1梯度消失問題

4．2．2ReLU函數

4．2．3ReLU函數的變形

4．2．4其他激活函數

4．3優化算法

4．3．1基本優化算法

4．3．2梯度方向調整優化算法

4．3．3自適應學習率

4．3．4步長和方向聯合優化算法

4．4測試集性能優化技巧

4．4．1提前終止策略

4．4．2正則化

4．4．3丟棄法

4．5本章小結

參考文獻

第5章捲積神經網絡

5．1捲積神經網絡概述

5．1．1捲積神經網絡的歷史

5．1．2捲積神經網絡的結構

5．2捲積神經網絡與全連接網絡的關系

5．2．1連接稀疏性

5．2．2參數共享機制

5．3典型的捲積神經網絡

5．3．1LeNet5網絡

5．3．2AlexNet網絡

5．3．3ZFNet網絡

5．3．4VGGNet網絡

5．3．5GoogLeNet網絡

5．3．6殘差網絡

5．3．7擠壓激勵網絡

5．3．8區域捲積神經網絡及其拓展版本

5．4本章小結

參考文獻

本章知識點補充

第6章循環神經網絡

6．1循環神經網絡的引入

6．2循環神經網絡的結構

6．3循環神經網絡的訓練

6．3．1循環神經網絡的前向傳播

6．3．2循環神經網絡的依時間反向傳播

6．3．3循環神經網絡的梯度消失與梯度爆炸問題

6．4長短時記憶單元與門循環單元

6．4．1長短時記憶單元

6．4．2門循環單元

6．5循環神經網絡的擴展

6．5．1深層循環神經網絡

6．5．2雙向循環神經網絡

6．6循環神經網絡的應用

6．6．1多到一模式

6．6．2一到多模式

6．6．3同步多到多模式

6．6．4異步多到多模式

6．7本章小結

參考文獻

第7章神經網絡的區分性訓練

7．1最小交叉熵與最大似然估計

7．2區分性訓練準則

7．3序列模型的區分性訓練

7．3．1最大互信息準則

7．3．2增強型MMI

7．3．3最小音素錯誤/狀態級最小貝葉斯風險

7．3．4序列區分性訓練準則的一般形式

7．4序列區分性訓練準則應用實例

7．4．1基於詞圖的序列區分性訓練

7．4．2詞圖無關的序列區分性訓練

7．5本章小結

參考文獻

第8章序列到序列模型

8．1序列到序列模型基本原理

8．1．1序列到序列模型的引入

8．1．2序列到序列模型構成

8．2連續時序分類準則

8．2．1連續時序分類準則定義

8．2．2連續時序分類準則的解碼

8．3註意力模型

8．3．1註意力模型定義與原理

8．3．2自註意力機制

8．4Transformer模型

8．4．1Transformer模型組成

8．4．2Transformer模型的核心技術

8．5BERT模型與GPT模型

8．5．1BERT模型 

8．5．2GPT模型

8．5．3與其他模型異同點分析

8．6後BERT模型時代的新模型算法

8．6．1XLNet模型及原理

8．6．2ERNIE模型及原理

8．6．3ALBERT模型及原理

8．7序列到序列模型的應用

8．8本章小結

參考文獻

第9章自編碼器

9．1自編碼器的定義與基本原理

9．1．1自編碼器的通用框架

9．1．2棧式自編碼器

9．2正則自編碼器

9．2．1稀疏自編碼器

9．2．2降噪自編碼器

9．2．3收縮自編碼器

9．3變分自編碼器

9．3．1目標函數

9．3．2優化過程

9．3．3條件變分自編碼器

9．4VAE的改進算法

9．4．1betaVAE 

9．4．2infoVAE 

9．5對抗自編碼器

9．5．1AAE與VAE

9．5．2introVAE 

9．6本章小結

參考文獻

第10章遷移學習

10．1遷移學習的基本原理

10．1．1遷移學習的定義

10．1．2遷移學習的分類

10．1．3遷移學習的意義

10．2基於特徵的遷移學習

10．2．1分佈差異矩陣

10．2．2特徵增強

10．2．3特徵映射

10．2．4特徵選擇

10．2．5特徵對齊

10．2．6基於深度學習的特徵遷移

10．3基於模型的遷移學習

10．3．1深度網絡的可遷移性

10．3．2基於KL散度的遷移學習

10．3．3基於知識蒸餾的遷移學習

10．4基於樣例的遷移學習

10．5遷移學習前沿

10．5．1混合智能遷移學習

10．5．2傳遞式遷移學習

10．5．3終身遷移學習

10．5．4對抗遷移學習

10．5．5遷移強化學習

10．5．6遷移學習的可解釋性

10．6本章小結

參考文獻

第11章終身學習

11．1終身學習原理

11．1．1終身學習的定義

11．1．2DARPA的L2M項目

11．1．3終身學習的關鍵問題

11．2深度學習與終身學習

11．2．1生物學依據

11．2．2現有方法的分類

11．3彈性權值鞏固

11．3．1EWC中的貝葉斯理論

11．3．2EWC的目標函數

11．3．3參數重要性的估計

11．4自組織增量學習神經網絡

11．4．1自組織映射

11．4．2自組織增量學習神經網絡

11．4．3算法優、缺點

11．5梯度情景記憶

11．5．1知識的前向遷移與後向遷移

11．5．2情景記憶損失函數

11．5．3模型求解

11．6本章小結

參考文獻

第12章生成對抗網絡

12．1生成對抗網絡引入

12．1．1無監督學習與生成模型

12．1．2生成對抗網絡簡介

12．2生成對抗網絡的基本原理

12．3生成對抗網絡訓練過程的數學推導

12．3．1最大似然估計

12．3．2生成對抗網絡的訓練準則函數

12．3．3生成對抗網絡的訓練過程

12．4生成對抗網絡的工程實現及主要問題

12．4．1生成對抗網絡的工程實現

12．4．2生成對抗網絡的工程實現中的問題

12．5GAN的變體

12．5．1WGAN

12．5．2條件GAN

12．5．3CycleGAN

12．5．4InfoGAN

12．5．5BiGAN

12．6本章小結

參考文獻

第13章深度強化學習

13．1強化學習基本概念與原理

13．2強化學習的數學模型、求解框架及分類

13．2．1馬爾可夫決策過程

13．2．2值函數與策略函數

13．2．3策略迭代與值迭代求解框架

13．2．4強化學習的分類

13．3基於值函數的深度強化學習

13．3．1深度Q網絡算法

13．3．2DQN算法的變種

13．4基於策略函數的深度強化學習

13．5基於參與者評價者的深度強化學習

13．5．1A2C與A3C算法

13．5．2PPO算法

13．6本章小結

參考文獻

第14章元學習

14．1元學習的定義及原理

14．1．1元學習的定義

14．1．2元學習系統的組成

14．1．3元學習的主要現狀

14．2模型無關的元學習方法

14．2．1相關概念

14．2．2MAML算法原理

14．2．3MAML算法流程

14．2．4MAML算法具體實現

14．3一階模型無關元學習方法Reptile

14．3．1Reptile算法的基本原理

14．3．2Reptile算法理論分析

14．4自適應梯度更新規則元學習方法

14．4．1簡單LSTM方法 

14．4．2復雜LSTM方法 

14．5度量元學習方法

14．5．1匹配網絡 

14．5．2原型網絡

14．5．3關系網絡 

14．6本章小結

參考文獻

第15章自監督學習

15．1自監督學習的基本原理

15．1．1自監督學習的定義

15．1．2自監督學習的分類

15．2對比式自監督學習

15．2．1模型坍塌問題

15．2．2有負例的對比學習

15．2．3無負例的對比學習

15．3基於對比預測的自監督語音表示學習

15．3．1對比預測編碼

15．3．2wav2vec系列

15．3．3HuBERT系列

15．4自監督學習中的關鍵科學問題

15．4．1任務相關表示學習

15．4．2模型輕量化

15．5本章小結

參考文獻