人工智能的數學基礎

目錄

第1章特徵向量與矩陣分析1

1.1標量1

1.2特徵向量與特徵空間2

1.2.1特徵空間的正交性3

1.2.2特徵向量的大小與方向3

1.3向量轉置4

1.4向量加法4

1.5向量乘法5

1.5.1向量數乘5

1.5.2向量內積6

1.5.3向量外積8

1.5.4分量乘法8

1.6向量的線性相關性9

1.7矩陣分析與人工智能9

1.8矩陣轉置11

1.9矩陣加法12

1.10矩陣乘法13

1.10.1矩陣數乘13

1.10.2矩陣內積14

1.10.3矩陣內積的外積展開15

1.10.4元素乘法15

1.11矩陣的特徵值與特徵向量16

1.12矩陣的秩17

1.12.1初等變換18

1.12.2初等矩陣19

1.13矩陣的逆19

1.14矩陣的分塊操作22

1.15矩陣的跡24

1.16矩陣分解26

1.16.1LU分解26

1.16.2特徵分解27

1.16.3奇異值分解29

〖3〗人工智能的數學基礎目錄〖3〗1.17二次型與正定矩陣30

1.18張量32

小結32

習題33

參考文獻34

第2章相似性度量35

2.1相似性度量的重要性35

2.2相似性度量的多樣性36

2.3閔氏距離37

2.3.1曼哈頓距離38

2.3.2歐氏距離39

2.3.3切比雪夫距離39

2.3.4曼切轉換39

2.4馬氏距離40

2.4.1維度相關問題41

2.4.2獨立化處理41

2.4.3與歐氏距離的關系42

2.5餘弦距離43

2.5.1夾角餘弦43

2.5.2距離度量44

2.6漢明距離44

2.6.1嚴格定義44

2.6.2鬆弛定義45

2.7傑卡德距離45

2.7.1嚴格定義45

2.7.2鬆弛定義45

2.8皮爾森距離46

2.8.1相關系數46

2.8.2距離度量47

2.8.3局限性47

2.9斯皮爾曼距離48

2.9.1相關系數48

2.9.2距離度量49

2.10肯德爾距離50

2.10.1相關系數50

2.10.2距離度量51

小結52

習題52

參考文獻53

第3章函數與泛函分析55

3.1集合55

3.1.1定義與表示56

3.1.2元素特性56

3.1.3集合運算57

3.1.4凸集分離定理58

3.2區間60

3.2.1定義與表示60

3.2.2元素特性61

3.2.3區間算術61

3.3函數映射62

3.3.1自變量與因變量63

3.3.2多元函數63

3.3.3復合函數64

3.3.4連續性、單調性、奇偶性65

3.3.5函數凸性與極值66

3.3.6激活函數68

3.4導數69

3.4.1函數可導與泰勒展開69

3.4.2求導法則72

3.4.3偏導數與雅可比矩陣73

3.4.4方向導數與梯度76

3.4.5Hessian矩陣與函數凸性77

3.4.6凸函數成立條件78

3.4.7散度79

3.5微積分79

3.5.1微分79

3.5.2密切圓與曲率81

3.5.3不定積分81

3.5.4定積分82

3.6泛函數分析83

3.6.1基函數與函數內積84

3.6.2特徵值與特徵函數84

3.6.3線性空間與線性映射85

3.6.4對偶空間與對偶基85

3.6.5希爾伯特空間86

小結87

習題88

參考文獻89

第4章條件概率與貝葉斯90

4.1事件與概率90

4.1.1隨機試驗90

4.1.2樣本空間90

4.1.3隨機事件91

4.1.4概率91

4.1.5條件概率92

4.1.6事件獨立性92

4.1.7全概率93

4.2隨機變量及其概率分佈93

4.2.1隨機變量93

4.2.2概率分佈94

4.2.3獨立同分佈94

4.3樣本統計量95

4.3.1均值95

4.3.2樣本方差96

4.3.3期望96

4.3.4概率方差97

4.3.5協方差97

4.3.6協方差矩陣98

4.4常見的概率分佈98

4.4.1二項分佈98

4.4.2泊松分佈99

4.4.3指數分佈與伽馬分佈99

4.4.4貝塔分佈100

4.4.5高斯分佈及其變形100

4.4.6其他分佈103

4.5貝葉斯決策103

4.5.1離散型貝葉斯公式103

4.5.2連續型貝葉斯公式104

4.5.3最小錯誤率貝葉斯決策105

4.5.4最小風險貝葉斯決策107

4.5.5樸素貝葉斯分類108

4.6參數估計109

4.6.1估計量與估計值109

4.6.2點估計與區間估計109

4.6.3置信區間與水平110

4.6.4估計量的評價110

4.6.5矩估計111

4.6.6最小二乘估計112

4.6.7最大似然估計112

4.6.8最大後驗概率估計114

4.6.9貝葉斯估計與共軛分佈114

4.7假設檢驗116

4.7.1原假設與備擇假設116

4.7.2棄真與取偽116

4.7.3顯著性水平與pvalue117

4.7.4雙側檢驗與單側檢驗118

4.7.5代表性檢驗統計量與方法118

小結118

習題119

參考文獻120

第5章信息論與熵121

5.1人工智能與信息論121

5.2特徵編碼122

5.2.1直接編碼122

5.2.2Onehot編碼123

5.2.3Dummy編碼123

5.3壓縮編碼124

5.3.1聚類124

5.3.2特徵降維124

5.3.3特徵選擇125

5.3.4稀疏編碼126

5.3.5壓縮感知127

5.4決策編碼127

5.4.1假設空間128

5.4.2版本空間128

5.4.3決策平面128

5.4.4糾錯輸出碼128

5.5決策解碼129

5.5.1聚類129

5.5.2線性分類130

5.5.3糾錯輸出碼130

5.5.4特徵降維130

5.6自編碼130

5.6.1恆等變換130

5.6.2欠完備自編碼131

5.6.3稀疏自編碼131

5.6.4收縮自編碼器131

5.7不確定性與熵132

5.7.1定義與性質132

5.7.2聯合熵133

5.7.3條件熵134

5.7.4交叉熵與損失函數135

5.7.5相對熵與KL散度136

5.8互信息136

5.8.1定義與性質137

5.8.2點互信息138

5.8.3與熵的關系138

小結139

習題140

參考文獻141

第6章線性分析與捲積142

6.1線性分析142

6.1.1線性運算142

6.1.2線性空間142

6.1.3線性空間基143

6.1.4線性映射與變換143

6.1.5線性映射的矩陣表達144

6.1.6坐標變換144

6.2線性判別145

6.2.1判別函數145

6.2.2判別分析146

6.2.3非線性問題147

6.3捲積148

6.3.1定義148

6.3.2兩個例子150

6.3.3性質151

6.3.4邊界填充152

6.3.5步長153

6.3.6與線性變換的關系154

6.3.7幾種特殊應用154

6.4池化154

6.4.1定義155

6.4.2作用與意義155

6.4.3與捲積的關系155

6.5反捲積156

6.5.1作用與意義156

6.5.2與線性變換的關系156

6.5.3捲積表示157

小結158

習題158

參考文獻159

第7章正則化與範數160

7.1過擬合問題與正則化160

7.1.1泛化能力161

7.1.2過擬合與欠擬合161

7.1.3假設空間與歸納偏好161

7.1.4無免費午餐定理162

7.2硬正則化164

7.2.1數據歸一化、標準化164

7.2.2提前終止訓練166

7.2.3權值共享166

7.2.4池化167

7.2.5隨機失效167

7.2.6集成學習168

7.2.7支持向量機169

7.3軟正則化170

7.3.1損失函數170

7.3.2期望風險171

7.3.3經驗風險172

7.3.4置信風險173

7.3.5VC維與置信風險173

7.3.6目標函數與支持向量機174

7.4範數正則化175

7.4.1定義與性質175

7.4.2向量範數175

7.4.3矩陣範數176

7.4.4關聯關系178

小結178

習題179

參考文獻179

第8章最優化理論與方法180

8.1最優化的意義與重要性180

8.2直接法181

8.2.1極值、最值與駐點181

8.2.2一元函數182

8.2.3二元函數182

8.2.4多元函數183

8.3無約束迭代法183

8.3.1一般迭代法183

8.3.2下降迭代法183

8.4梯度法184

8.4.1一階泰勒展開184

8.4.2柯西施瓦茨不等式184

8.4.3學習率與梯度降184

8.4.4最速下降法185

8.4.5批量下降法與隨機下降法185

8.5牛頓法186

8.5.1二階泰勒展開與Hessian矩陣186

8.5.2一維線性搜索186

8.6擬牛頓法187

8.6.1Hessian逆的秩1修正188

8.6.2Hessian逆的秩2修正189

8.6.3秩1修正的逆190

8.6.4Hessian矩陣的近似及其變形191

8.7共軛梯度法193

8.7.1共軛向量與共軛方向193

8.7.2共軛方向法194

8.7.3共軛方向與梯度的正交關系196

8.7.4基於梯度的共軛方向生成198

8.8次梯度法201

8.8.1次梯度定義201

8.8.2次梯度取值201

8.8.3次梯度優化條件202

8.9坐標下降法202

8.9.1基本原理202

8.9.2解的可靠性203

8.9.3與共軛方向法的關系204

8.10約束優化205

8.10.1拉格朗日乘數法206

8.10.2KKT條件207

8.10.3拉格朗日對偶207

8.10.4強對偶成立的條件209

8.10.5一個實例212

小結214

習題215

參考文獻216

附錄216

第9章核函數映射219

9.1線性不可分問題219

9.2Cover定理221

9.2.1普通位置向量集221

9.2.2維度與線性可分的關系221

9.3核函數224

9.3.1Mercer定理225

9.3.2可組合擴展性226

9.3.3有效核的構造228

9.4多項式核228

9.4.1核矩陣的半正定性228

9.4.2齊次有序單項式向量空間229

9.4.3有序單項式向量空間231

9.4.4齊次無序單項式向量空間232

9.4.5無序單項式向量空間233

9.4.6線性核234

9.4.7高階非線性核234

9.5徑向基核235

9.5.1徑向基函數235

9.5.2高斯核236

9.5.3冪指數核238

9.5.4拉普拉斯核238

9.5.5核矩陣的半正定性239

9.6Sigmoid核239

9.6.1條件半正定240

9.6.2與徑向基核的關系240

9.7艱難的抉擇241

9.8一個實例241

小結242

習題243

參考文獻243

第10章性能評價與度量244

10.1性能評價的意義與重要性244

10.2模型選擇與交叉驗證244

10.3錯誤率與精度246

10.4混淆矩陣247

10.5查準查全問題248

10.5.1查準率與查全率249

10.5.2PR曲線249

10.5.3F分數250

10.6真假陽性問題251

10.6.1真/假陽/陰性率251

10.6.2ROC曲線與AUC252

10.7多混淆矩陣問題256

10.7.1宏平均256

10.7.2微平均257

10.8代價敏感問題258

10.8.1代價敏感矩陣258

10.8.2代價曲線與預測錯誤總體代價259

10.9假設檢驗261

10.9.1單一模型261

10.9.2多模型262

小結262

習題263

參考文獻264