艾博士：深入淺出人工智能（第2版）

目錄

第0篇什麽是人工智能1

0.1人工智能的誕生1

0.2人工智能的5個發展時代4

0.2.1初期時代4

0.2.2知識時代6

0.2.3特徵時代8

0.2.4數據時代11

0.2.5大模型時代14

0.3什麽是人工智能21

0.4圖靈測試與中文屋子問題24

0.4.1圖靈測試24

0.4.2中文屋子問題26

0.5第三代人工智能28

0.6總結31

第1篇神經網絡是如何實現的34

1.1從數字識別談起35

1.2神經元與神經網絡40

1.3神經網絡是如何訓練的44

1.4捲積神經網絡53

1.5梯度消失問題64

1.6過擬合問題74

1.7詞向量79

1.7.1詞的向量表示79

1.7.2神經網絡語言模型81

1.7.3word2vec模型87

1.7.4詞向量應用舉例90

1.8循環神經網絡93

1.9長短期記憶網絡101

1.10深度學習框架109

1.11總結109〖1〗〖2〗艾博士： 深入淺出人工智能（第2版）〖1〗目錄第2篇電腦是如何學會下棋的111

2.1能窮舉嗎？112

2.2極小極大模型115

2.3αβ剪枝算法117

2.4蒙特卡洛樹搜索120

2.5AlphaGo是如何下棋的129

2.6圍棋中的深度強化學習方法137

2.6.1基於策略梯度的強化學習139

2.6.2基於價值評估的強化學習140

2.6.3基於演員評價方法的強化學習142

2.7AlphaGo Zero是如何自學成才的145

2.8總結152

第3篇電腦是如何找到最優路徑的154

3.1路徑搜索問題155

3.2寬度優先搜索算法157

3.3迪傑斯特拉算法160

3.4啟發式搜索162

3.4.1A算法162

3.4.2A算法169

3.4.3定義h函數的一般原則170

3.4.4h函數的評價173

3.4.5A算法存在的不足175

3.4.6單調的h函數177

3.4.7改進的A算法180

3.5深度優先搜索算法186

3.6迭代加深式搜索算法190

3.6.1迭代加深式寬度優先搜索算法191

3.6.2迭代加深式A算法193

3.7動態規劃與Viterbi算法194

3.8拼音輸入法問題196

3.9總結202

第4篇如何用隨機算法求解組合優化問題205

4.1組合優化問題206

4.2局部搜索算法208

4.3局部搜索算法存在的問題216

4.4退火過程及分析221

4.4.1退火現象221

4.4.2退火過程分析222

4.5模擬退火算法229

4.6模擬退火算法的參數選擇234

4.6.1起始溫度t0的選取235

4.6.2溫度的下降方法237

4.6.3每一溫度下的停止準則239

4.6.4算法的終止原則240

4.7模擬退火算法應用舉例243

4.8遺傳算法248

4.9遺傳算法應用舉例258

4.10遺傳算法的實現問題263

4.10.1編碼問題263

4.10.2二進制編碼的交叉操作規則267

4.10.3整數編碼的交叉操作規則269

4.10.4變異規則273

4.10.5適應函數275

4.10.6遺傳算法的停止準則279

4.11用遺傳算法求解旅行商問題281

4.12性能評價問題282

4.13模擬退火算法與遺傳算法的對比284

4.14總結286

第5篇統計機器學習方法是如何實現分類與聚類的288

5.1統計學習方法289

5.2樸素貝葉斯方法294

5.3決策樹302

5.3.1決策樹算法——ID3算法304

5.3.2決策樹算法——C4.5算法318

5.3.3過擬合問題與剪枝325

5.3.4隨機森林算法332

5.4k近鄰方法335

5.5支持向量機338

5.5.1什麽是支持向量機338

5.5.2線性可分支持向量機344

5.5.3線性支持向量機357

5.5.4非線性支持向量機361

5.5.5核函數與核方法364

5.5.6支持向量機用於多分類問題369

5.6k均值聚類算法376

5.7層次聚類算法384

5.8DBSCAN聚類算法386

5.9驗證與測試問題389

5.10特徵抽取問題392

5.11總結397

第6篇專家系統是如何實現的400

6.1什麽是專家系統401

6.2推理方法404

6.3一個簡單的專家系統408

6.4非確定性推理414

6.4.1事實的表示415

6.4.2規則的表示415

6.4.3邏輯運算416

6.4.4規則運算418

6.4.5規則合成420

6.4.6置信度方法的理論根據425

6.5黑板模型428

6.6知識的結構化表示430

6.6.1語義網絡430

6.6.2框架434

6.7專家系統工具438

6.8專家系統的應用441

6.9專家系統的局限性442

6.10總結443第7篇細說大模型的基石Transformer445

7.1矩陣和向量的基礎知識446

7.1.1矩陣446

7.1.2向量448

7.2序列到序列問題451

7.3註意力機制455

7.3.1什麽是註意力機制455

7.3.2自註意力機制458

7.3.3多頭註意力機制459

7.4殘差連接465

7.5層歸一化467

7.6Transformer模型469

7.6.1Transformer模型的編碼器470

7.6.2Transformer模型的解碼器472

7.6.3Transformer模型的訓練479

7.6.4位置編碼479

7.6.5層歸一化的位置489

7.6.6詞元化(tokenization)方法490

7.7GPT模型493

7.7.1預訓練模型493

7.7.2GPT1模型495

7.7.3GPT1模型的應用500

7.7.4GPT1性能分析502

7.7.5GPT2模型504

7.7.6GPT3模型507

7.7.7ChatGPT模型512

7.8BERT模型516

7.8.1BERT模型架構517

7.8.2BERT模型的輸入519

7.8.3BERT模型的預訓練方法520

7.8.4BERT模型的微調方法523

7.9總結528

附錄ABP算法529

A.1求導數的鏈式法則529

A.2符號約定530

A.3對於輸出層的神經元531

A.4對於隱含層的神經元533

A.5BP算法——隨機梯度下降版535

附錄B序列最小最優化（SMO）算法537

B.1SMO算法的基本思想537

B.2SMO算法的詳細計算過程543

附錄CA算法的性質及證明549