矩陣理論及其在機器學習中的應用

葉世偉博士1985年工學博士畢業於中國科學院計算計算研究所，現為中國科學院大學電子學院副教授，主要從事機器學習、神經網絡模型等研究，已經在國際國內發表論文30余篇。2004年和王文傑博士在人民郵電出版社出版教材《人工智能原理》。

目錄

第1章 線性代數初步 1

1.1 集合和映射 1

1.1.1 集合的基本理論 1

1.1.2 映射的基本理論 4

1.1.3 凸集和凸函數 6

1.2 矩陣及其運算 9

1.2.1 矩陣表示和運算 9

1.2.2 復矩陣與實矩陣的轉化 13

1.3 行列式 14

1.3.1 排列的逆序數 14

1.3.2 方陣的行列式 15

1.3.3 代數余子式 15

1.3.4 行列式的性質及行列式的計算 15

1.3.5 行列式的幾何意義 17

1.4 矩陣的秩 19

1.4.1 矩陣的初等變換 19

1.4.2 矩陣的等價標準形 21

1.4.3 矩陣秩的計算及估計 23

1.5 矩陣的逆 25

1.5.1 伴隨矩陣與矩陣的逆 25

1.5.2 舒爾補 27

1.6 矩陣的滿秩分解 29

1.6.1 埃爾米特標準形 29

1.6.2 基於埃爾米特標準形的核空間求解 31

1.6.3 埃爾米特標準形的基本性質 32

1.7 矩陣特征值和特征向量初步 34

1.8 二次型 36

1.8.1 對稱矩陣的定性 36

1.8.2 對稱共軛初等變換與矩陣復相合 38

1.8.3 矩陣與二次型 38

1.9 矩陣的簡單應用 39

1.9.1 特征值與特征向量在頁面排序算法中的應用 39

1.9.2 遞歸最小二乘方法 40

本章小結 41

練習 41

第2章 線性空間和線性映射 43

2.1 線性空間 43

2.1.1 基本定義 43

2.1.2 線性空間的維數 46

2.2 線性空間中向量的表示 48

2.2.1 線性空間的基和向量坐標 48

2.2.2 基變換公式 52

2.2.3 向量在不同基下的坐標變換公式 53

2.3 線性子空間 54

2.3.1 線性子空間的定義及其性質 54

2.3.2 子空間的交與和 55

2.3.3 子空間的直和 57

2.3.4 共軛對稱復子空間的實基 58

2.3.5 商空間 59

2.4 線性映射及其矩陣表示 61

2.4.1 線性映射的定義與基本性質 61

2.4.2 線性映射的矩陣表示 65

2.4.3 線性映射復合和矩陣乘積 68

2.5 線性函數和對偶空間 70

2.5.1 線性函數 70

2.5.2 對偶空間 71

2.5.3 雙重對偶空間 73

2.6 雙曲空間中的神經網絡模型 75

2.6.1 雙曲空間的基本運算 76

2.6.2 雙曲神經網絡的構建 77

2.6.3 應用領域與研究前沿 77

本章小結 78

練習 78

第3章 線性變換及若爾當標準形 81

3.1 線性變換及表示 81

3.1.1 線性變換的定義 81

3.1.2 線性變換的運算 82

3.1.3 線性變換的矩陣表示 83

3.2 特征值與特征向量的基礎 85

3.2.1 線性變換的特征值與特征向量 85

3.2.2 線性變換的特征子空間 88

3.2.3 線性變換的值域與核 90

3.3 不變子空間 91

3.3.1 不變子空間的定義與基本性質 92

3.3.2 利用不變子空間簡化線性變換的矩陣 93

3.4 λ-矩陣基本理論 94

3.4.1 基本概念 95

3.4.2 λ-矩陣在初等變換下的標準形 95

3.4.3 不變因子 96

3.4.4 A和B相似矩陣的特征矩陣λIn - A和λIn - B是等價的 97

3.4.5 初等因子 99

3.5 矩陣的相似變換的最簡表示  102

3.5.1 矩陣相似三角化  102

3.5.2 矩陣相似若爾當標準形  106

3.5.3 若爾當標準形的簡單性質  107

3.5.4 若爾當標準形的相似變換矩陣  109

3.5.5 實矩陣的實若爾當標準形  111

3.5.6 矩陣的有理標準形  112

3.6 矩陣最小多項式  115

3.6.1 最小多項式定義與性質  115

3.6.2 最小多項式的計算方法  117

3.7 矩陣特征值估計  119

3.7.1 特征值的界  119

3.7.2 特征值的分布區域  122

本章小結  125

練習  125

第4章 內積空間  129

4.1 實內積空間及其基本性質  129

4.1.1 向量內積的定義與性質  129

4.1.2 向量正交性  132

4.1.3 線性映射的共軛、對稱變換和對稱矩陣  134

4.1.4 子空間的正交性  138

4.1.5 正交變換及其正交矩陣表示  138

4.1.6 旋轉變換的四元數表示  140

4.2 酉空間  142

4.2.1 酉空間的基本性質  142

4.2.2 正規矩陣  143

4.3 對稱矩陣特征值的極性與極值性質  147

4.3.1 特征值的實數性與正定性  148

4.3.2 瑞利商  149

4.3.3 特征值的極值特性與柯朗-菲舍爾定理  149

4.4 基於空間正交分解的多重信號分類算法  153

4.4.1 信號模型  153

4.4.2 MUSIC 算法  154

本章小結  155

練習  155

第5章   矩陣分解  159

5.1 矩陣的 UR 分解  159

5.1.1 基於格拉姆-施密特正交化過程的 UR 分解理論  159

5.1.2 吉文斯變換  161

5.1.3 基於豪斯霍爾德變換的 UR 分解  167

5.1.4 矩陣酉相似於海森伯格矩陣  174

5.1.5 階躍函數積分的微分  177

5.2 矩陣的奇異值分解  179

5.2.1 奇異值分解的定義與基本性質  179

5.2.2 基於奇異值分解的矩陣子空間的表示  182

5.3 矩陣的譜分解  184

5.3.1 投影算子與投影矩陣  184

5.3.2 單純矩陣的譜分解  187

5.3.3 正規矩陣的譜分解  189

5.3.4 譜分解的應用  191

5.4 矩陣的三角分解  192

5.4.1 三角分解及其存在唯一性問題  192

5.4.2 三角分解的緊湊計算格式  194

5.5 基於矩陣譜分解的圖卷積神經網絡模型構建  198

5.5.1 圖的拉普拉斯矩陣  198

5.5.2 拉普拉斯矩陣的基本性質  198

5.5.3 圖上的傅裏葉變換與圖上的卷積運算  199

5.5.4 基於圖卷積的圖神經網絡模型  199

本章小結  202

練習  202

第6章   矩陣廣義逆  204

6.1 廣義逆矩陣的定義  204

6.1.1 廣義逆的定義方程  204

6.1.2 矩陣廣義逆的通解表達式  206

6.2 廣義逆的基本性質  213

6.2.1 矩陣 {1}-逆的基本性質  213

6.2.2 {1, 2}-逆的性質  214

6.2.3 穆爾-彭羅斯廣義逆矩陣 A+  215

6.2.4 M-P 逆的微分公式  216

6.3 廣義逆矩陣的計算  216

6.3.1 {1}-逆的求解  216

6.3.2 {1,3}-逆的求解  220

6.3.3 {1,4}-逆的求解  221

6.3.4 穆爾-彭羅斯廣義逆的計算  222

6.4 廣義逆矩陣在線性方程組中的應用  225

6.4.1 相容方程組的通解與 {1}-逆  226

6.4.2 相容方程組的極小範數解與 {1,4}-逆  226

6.4.3 不相容方程組的極值問題解  227

6.5 利用基於廣義逆矩陣的 CUR 分解實現快速交互式相似度檢索方法  230

6.5.1 矩陣 CUR 分解  231

6.5.2 基於廣義逆的矩陣廣義 CUR 分解  231

6.5.3 基於矩陣 CUR 分解的快速交互式相似度檢索方法  231

本章小結  232

練習  232

第7章 範數理論及其應用  235

7.1 向量範數及 lp  範數  235

7.1.1 範數與函數  236

7.1.2 對偶範數  237

7.1.3 向量範數等價性  239

7.2 矩陣範數  240

7.2.1 廣義矩陣範數與矩陣範數  240

7.2.2 從屬 (算子) 範數  243

7.3 範數的應用  245

7.3.1 矩陣非奇異性條件  245

7.3.2 逆矩陣的攝動  246

7.3.3 矩陣的譜半徑及其性質  247

7.4 距離學習方法  248

7.4.1 引言與問題定義  248

7.4.2 主流模型與學習方法  249

7.4.3 方法間的邏輯關系與演進  252

7.4.4 總結  253

本章小結  253

練習  253

第8章 矩陣分析與應用  255

8.1 矩陣序列  255

8.2 矩陣級數  258

8.3 矩陣函數性質與計算  261

8.3.1 矩陣函數的定義  261

8.3.2 待定系數法求矩陣函數值  262

8.3.3 數項級數求和法和基於友矩陣的矩陣函數計算  269

8.3.4 相似對角化求矩陣函數值  271

8.3.5 若爾當標準形法求矩陣函數值  272

8.3.6 常用矩陣函數的性質  273

8.3.7 廣義矩陣函數  275

8.4 矩陣的微分和積分  276

8.4.1 矩陣對標量的微分和積分  276

8.4.2 其他微分概念  279

8.5 復矩陣微分  289

8.5.1 解析函數的微分  289

8.5.2 非解析函數的微分與維爾丁格導數  290

8.5.3 多復變元函數的維爾丁格導數  292

8.5.4 多元向量值的函數的維爾丁格導數  293

8.5.5 復矩陣的函數的微分  293

8.6 矩陣分析應用舉例  294

8.6.1 矩陣分析在深度學習中的應用  294

8.6.2 矩陣分析求解一階線性常系數微分方程組的應用  294

8.6.3 矩陣函數求解矩陣方程  296

8.6.4 矩陣分析求解最小二乘問題  297

8.6.5 矩陣微分在矩陣填充中的應用  298

本章小結  300

練習  300

第9章 矩陣直積  304

9.1 矩陣直積  304

9.1.1 定義和基本性質  304

9.1.2 矩陣直積在矩陣方程中的應用  310

9.1.3 其他形式的矩陣乘積  311

9.2 矩陣的直積分解  313

本章小結  316

練習  316

參考文獻  317

常用符號表  318

附錄 A   基於矩陣零空間鏈分解的若爾當標準形理論與計算  321

A.1 矩陣零空間鏈分解與若爾當標準形理論  321

A.1.1 零空間鏈與補空間構造  321

A.1.2 根子空間與若爾當標準形  323

A.2 基於廣義 Cline 分解的核空間結構  325