神經網絡與機器學習（第三版）

第0章 導言 1
0.1 什麽是神經網絡 1
0.2 人類大腦 4
0.3 神經元模型 6
0.4 視為有向圖的神經網絡 9
0.5 反饋 11
0.6 網絡結構 12
0.7 知識表示 15
0.8 學習過程 21
0.9 學習任務 23
0.10 結語 28
註釋和參考文獻 28
第1章 Rosenblatt感知器 29
1.1 引言 29
1.2 感知器 29
1.3 感知器收斂定理 30
1.4 高斯環境下感知器與貝葉斯分類器的關系 34
1.5 電腦實驗：模式分類 38
1.6 批量感知器算法 40
1.7 小結和討論 41
註釋和參考文獻 42
習題 42
第2章 回歸建模 43
2.1 引言 43
2.2 線性回歸模型：初步考慮 43
2.3 參數向量的最大後驗估計 45
2.4 正則化最小二乘估計與MAP估計的關系 48
2.5 電腦實驗：模式分類 49
2.6 最小描述長度原理 50
2.7 有限樣本量考慮 52
2.8 工具變量法 54
2.9 小結和討論 56
註釋和參考文獻 56
習題 56
電腦實驗 57
第3章 最小均方算法 58
3.1 引言 58
3.2 LMS算法的濾波結構 58
3.3 無約束優化：回顧 60
3.4 維納濾波器 64
3.5 最小均方算法 65
3.6 描述LMS算法和維納濾波器偏差的馬爾可夫模型 67
3.7 朗之萬方程：布朗運動的特點 67
3.8 庫什納直接平均法 68
3.9 小學習率參數的統計LMS學習理論 69
3.10 電腦實驗I：線性預測 71
3.11 電腦實驗II：模式分類 72
3.12 LMS算法的優缺點 73
3.13 學習率退火計劃 74
3.14 小結和討論 75
註釋和參考文獻 76
習題 76
第4章 多層感知器 79
4.1 引言 79
4.2 一些預備知識 80
4.3 批量學習與在線學習 81
4.4 反向傳播算法 83
4.5 異或問題 91
4.6 提升反向傳播算法性能的啟發式算法 92
4.7 電腦實驗：模式分類 96
4.8 反向傳播和微分 96
4.9 黑塞矩陣及其在在線學習中的作用 99
4.10 學習率的最優退火和自適應控制 101
4.11 泛化 105
4.12 函數逼近 106
4.13 交叉驗證 109
4.14 復雜度正則化和網絡修剪 112
4.15 反向傳播學習的優缺點 116
4.16 作為優化問題的監督學習 119
4.17 捲積網絡 129
4.18 非線性濾波 130
4.19 小規模和大規模學習問題 134
4.20 小結和討論 139
註釋和參考文獻 140
習題 141
第5章 核方法和徑向基函數網絡 147
5.1 引言 147
5.2 模式可分性的Cover定理 147
5.3 插值問題 151
5.4 徑向基函數網絡 152
5.5 K均值聚類 154
5.6 權重向量的遞歸最小二乘估計 156
5.7 RBF網絡的混合學習過程 159
5.8 電腦實驗：模式分類 159
5.9 高斯隱藏單元的解釋 162
5.10 核回歸及其與RBF網絡的關系 163
5.11 小結和討論 166
註釋和參考文獻 167
習題 169
第6章 支持向量機 172
6.1 引言 172
6.2 線性可分模式的最優超平面 172
6.3 不可分模式的最優超平面 177
6.4 作為核機器的支持向量機 180
6.5 支持向量機的設計 182
6.6 異或問題 183
6.7 電腦實驗：模式分類 184
6.8 回歸：魯棒性考慮 187
6.9 線性回歸問題的最優解 187
6.10 表示定理和相關問題 190
6.11 小結和討論 194
註釋和參考文獻 195
習題 197
第7章 正則化理論 201
7.1 引言 201
7.2 良態Hadamard條件 202
7.3 Tikhonov正則化理論 202
7.4 正則化網絡 209
7.5 廣義徑向基函數網絡 210
7.6 再論正則化最小二乘估計 213
7.7 關於正則化的其他說明 215
7.8 正則化參數估計 216
7.9 半監督學習 220
7.10 流形正則化：初步考慮 220
7.11 微分流形 221
7.12 廣義正則化理論 224
7.13 譜圖理論 225
7.14 廣義表示定理 227
7.15 拉普拉斯正則化最小二乘算法 228
7.16 半監督學習模式分類實驗 229
7.17 小結和討論 231
註釋和參考文獻 232
習題 234
第8章 主成分分析 237
8.1 引言 237
8.2 自組織原則 237
8.3 自組織的特徵分析 240
8.4 主成分分析：擾動理論 241
8.5 基於Hebb的最大特徵濾波器 247
8.6 基於Hebb的主成分分析 253
8.7 案例研究：圖像編碼 257
8.8 核主成分分析 259
8.9 自然圖像編碼中的基本問題 263
8.10 核Hebb算法 264
8.11 小結和討論 267
註釋和參考文獻 269
習題 271
第9章 自組織映射 275
9.1 引言 275
9.2 兩個基本的特徵映射模型 276
9.3 自組織映射 277
9.4 特徵映射的性質 282
9.5 電腦實驗I：使用SOM求解網格動力學 288
9.6 上下文映射 289
9.7 分層向量量化 291
9.8 核自組織映射 294
9.9 電腦實驗II：使用核SOM求解網格動力學 299
9.10 核SOM與KL散度的關系 300
9.11 小結和討論 301
註釋和參考文獻 303
習題 304
第10章 信息論學習模型 308
10.1 引言 308
10.2 熵 309
10.3 最大熵原則 311
10.4 互信息 313
10.5 KL散度 315
10.6 Copula函數 316
10.7 作為待優化目標函數的互信息 319
10.8 最大互信息原則 320
10.9 最大互信息與冗餘減少 323
10.10 空間相乾特徵 325
10.11 空間非相乾特徵 327
10.12 獨立成分分析 328
10.13 自然圖像的稀疏編碼與ICA編碼比較 333
10.14 獨立成分分析的自然梯度學習 335
10.15 獨立成分分析的最大似然估計 341
10.16 盲源分離的最大熵學習 343
10.17 獨立成分分析的負熵的最大化 346
10.18 相乾獨立分量分析 351
10.19 率失真理論和信息瓶頸 357
10.20 數據的最優流形表示 360
10.21 電腦實驗：模式分類 364
10.22 小結和討論 364
註釋和參考文獻 367
習題 372
第11章 源於統計力學的隨機方法 376
11.1 引言 376
11.2 統計力學 376
11.3 馬爾可夫鏈 378
11.4 Metropolis算法 384
11.5 模擬退火 385
11.6 吉布斯採樣 387
11.7 玻爾茲曼機 388
11.8 邏輯斯蒂置信網絡 392
11.9 深度置信網絡 393
11.10 確定性退火 396
11.11 確定性退火和EM算法的類比 399
11.12 小結和討論 400
註釋和參考文獻 401
習題 402
第12章 動態規劃 406
12.1 引言 406
12.2 馬爾可夫決策過程 407
12.3 貝爾曼最優準則 409
12.4 策略迭代 411
12.5 值迭代 412
12.6 逼近動態規劃：直接法 416
12.7 時序差分學習 416
12.8 Q學習 420
12.9 逼近動態規劃：非直接法 422
12.10 最小二乘策略評估 424
12.11 逼近策略迭代 428
12.12 小結和討論 430
註釋和參考文獻 432
習題 433
第13章 神經動力學 436
13.1 引言 436
13.2 動態系統 437
13.3 平衡狀態的穩定性 440
13.4 吸引子 444
13.5 神經動力學模型 445
13.6 作為遞歸網絡範式的吸引子操作 447
13.7 Hopfield模型 447
13.8 Cohen-Grossberg定理 456
13.9 盒中腦狀態模型 457
13.10 奇異吸引子與混沌 462
13.11 混沌過程的動態重建 465
13.12 小結和討論 469
註釋和參考文獻 470
習題 472
第14章 動態系統狀態估計的貝葉斯濾波 474
14.1 引言 474
14.2 狀態空間模型 474
14.3 卡爾曼濾波器 477
14.4 發散現象和平方根濾波 482
14.5 擴展卡爾曼濾波器 486
14.6 貝葉斯濾波器 489
14.7 容積卡爾曼濾波器：基於卡爾曼濾波器 492
14.8 粒子濾波器 496
14.9 電腦實驗：擴展卡爾曼濾波器和粒子濾波器的比較 502
14.10 卡爾曼濾波在大腦功能建模中的應用 504
14.11 小結和討論 505
註釋和參考文獻 507
習題 508
第15章 動態驅動遞歸網絡 512
15.1 引言 512
15.2 遞歸網絡結構 512
15.3 通用逼近定理 517
15.4 可控性和可觀測性 518
15.5 遞歸網絡的計算能力 521
15.6 學習算法 523
15.7 時間反向傳播 524
15.8 實時遞歸學習 527
15.9 遞歸網絡的梯度消失 531
15.10 利用非線性序列狀態估計的遞歸網絡監督訓練框架 534
15.11 電腦實驗：Mackay-Glass吸引子的動態重建 539
15.12 適應性考慮 540
15.13 案例研究：應用於神經控制的模型參考 542
15.14 小結和討論 543
註釋和參考文獻 546
習題 547
參考文獻 551