AI 時代 Math 元年 : 用 Python 全精通矩陣及線性代數

!有資料就有矩陣，有矩陣就有向量，有向量就有幾何，有幾何就有空間

!從資料一路提升到張量的所有數學基礎

!將數學視為思想、工具、語言、體系、基石、藝術的角度進行學習

!分為向量、矩陣、向量空間、矩陣分解、微積分、空間幾何、資料

!所有機器學習、深度學習最重要的基礎數學概念

!不再亂猜，寫機器學習程式碼時，每行指令背後代表的數學基礎

!學矩陣就是學AI，從此看到AI程式碼完全無負擔

AI熱潮來臨，每個人都很怕直接被機器取代，不管文科理科背景的人，每個人都想搭上AI快車飛速到達未來。然而你的第一關就是數學。數學是宇宙的共同語言，也是人類意志極緻的展現。數學從數字開始進入高維之後，向量、矩陣、張量將整個人類文明帶入新的境界，也將我們的世界從點線面體推向無法視覺化的高維空間，而針對空間的運算，更是所有科學的重要基礎。空間幾何這門完全和生活知識抽離的學科，看似是和向量打交道而已，但卻是整個世界運行的基礎，近年AI興起，機器學習及深度學習成為熱門行業，當你想要學習TensorFlow時，面對的第一個觀念就是張量(Tensor)。這些名詞讓你感到陌生又不是完全不認識時，就是重拾矩陣的時候了。本書利用最小的成本，幫你把這個又陌生又熟悉的老朋友重新交往。作者從最簡單的加法開始說明，一直到機器學習中的梯度、偏導數、積分、矩陣、線性代數，從小學到研究所所學的數學，一一在適當的章節出現，當你讀到某個章節時，會發現「啊！原來如此，這就是奇異值分解在機器學習的原理啊！」，有一種豁然開朗的感覺，相信這種驚喜在全書中會不斷出現。ChatGPT出來之後，AI已經光速啟動，有志加入這個行業，也只能快速跟上，而這本書，正是你進入的最佳助手，與其繼續逃避直到被淘汰，不如就花一點時間，把這本本來就不難的書看完，補上你個人AI志業的最重要一塊拼圖。

全書分為以下幾個部分：向量：從資料、矩陣、向量、幾何、空間開始談起，包括向量運算，範數等基本定理。接下來談到矩陣，把矩陣所有的性質(四則運算、表格、秩等)說明清楚，更有重要的內外積等。第三部分談的是向量，包括座標系、各種變換、維度、行列視，投影、正交、基等性質。第四部分談的是矩陣分解，實作了包括LU、Cholesky、QR，特徵/奇異值分解。第五部分就是談到空間的微積分，如多元函式、偏導、梯度、方向微分、泰勒展開等。也說明了拉格朗日乘子等。第六部分說明了空間幾何，包括直線、超平面、圓錐曲線等。也說明了曲面和正定性等問題。最後一部分則整理了前面所有觀念，發展至資料統計、SVD分解、機器學習、線性迴歸及PCA原理。搭配本書系其它書籍，相信AI的數學，對你來說只會是開心而不是阻礙。

姜偉生，博士FRM。勤奮的小鎮做題家，熱愛知識可視化和開源分享。自2022年8月開始，在GitHub上開源「鳶尾花書」學習資源，截至2023年9月，已經分享4000多頁PDF、4000多幅矢量圖、約2000個代碼文件，全球讀者數以萬計。

第 1章 不止向量

1.1 有資料的地方，必有矩陣

1.2 有矩陣的地方，更有向量

1.3 有向量的地方，就有幾何

1.4 有幾何的地方，皆有空間

1.5 有資料的地方，定有統計

第 2章 向量運算

2.1 向量：多面手

2.2 行向量、列向量

2.3 向量長度：模，歐氏距離，L2範數

2.4 加減法：對應位置元素分別相加減

2.5 純量乘法：向量縮放

2.6 向量內積：結果為純量

2.7 向量夾角：反餘弦

2.8 餘弦相似度和餘弦距離

2.9 向量積：結果為向量

2.10 逐項積：對應元素分別相乘

2.11 張量積：張起網格面

第 3章 向量範數

3.1 Lp範數：L2範數的推廣

3.2 Lp範數和超橢圓的聯繫

3.3 L1範數：旋轉正方形

3.4 L2範數：正圓

3.5 L∞範數：正方形

3.6 再談距離度量

第4章 矩陣

4.1 矩陣：一個不平凡的表格

4.2 矩陣形狀：每種形狀都有特殊用途

4.3 基本運算：加減和純量乘法

4.4 廣播原則

4.5 矩陣乘法：線性代數的運算核心

4.6 兩個角度解剖矩陣乘法

4.7 轉置：繞主對角線鏡像

4.8 矩陣逆：「相當於 」除法運算

4.9 跡：主對角元素之和

4.10 逐項積：對應元素相乘

4.11 行列式：將矩陣映射到純量值

第5章 矩陣乘法

5.1 矩陣乘法：形態豐富多樣

5.2 向量和向量

5.3 再聊全1列向量

5.4 矩陣乘向量：線性方程式組

5.5 向量乘矩陣乘向量：二次型

5.6 方陣次方陣：矩陣分解

5.7 對角陣：批次縮放

5.8 置換矩陣：調換元素順序

5.9 矩陣乘向量：映射到一維

5.10 矩陣乘矩陣：映射到多維

5.11 長方陣：奇異值分解、格拉姆矩陣、張量積

5.12 愛因斯坦求和約定

5.13 矩陣乘法的幾個雷區

第6章 分塊矩陣

6.1 分塊矩陣：橫平垂直切豆腐

6.2 矩陣乘法第一角度：純量積展開

6.3 矩陣乘法第二角度：外積展開

6.4 矩陣乘法更多角度：分塊多樣化

6.5 分塊矩陣的逆

6.6 克羅內克積：矩陣張量積

第 7章 向量空間

7.1 向量空間：從直角座標系說起

7.2 給向量空間塗顏色：RGB色卡

7.3 張成空間：線性組合紅、綠、藍三原色

7.4 線性無關：紅色和綠色，調不出青色

7.5 非正交基底：青色、品紅、黃色

7.6 基底轉換：從紅、綠、藍，到青色、品紅、黃色

第8章 幾何變換

8.1 線性變換：線性空間到自身的線性映射

8.2 平移：仿射變換，原點變動

8.3 縮放：對角陣

8.4 旋轉：行列式值為1

8.5 鏡像：行列式值為負

8.6 投影：降維操作

8.7 再談行列式值：幾何角度

第 9章 正交投影

9.1 純量投影：結果為純量

9.2 向量投影：結果為向量

9.3 正交矩陣：一個規範正交基底

9.4 規範正交基底性質

9.5 再談鏡像：從投影角度

9.6 格拉姆-施密特正交化

9.7 投影角度看回歸

第 10 章 資料投影

10.1 從一個矩陣乘法運算說起

10.2 二次投影 + 層層疊加

10.3 二特徵資料投影：標準正交基底

10.4 二特徵資料投影：規範正交基底

10.5 四特徵資料投影：標準正交基底

10.6 四特徵資料投影：規範正交基底

10.7 資料正交化

第 11章 矩陣分解

11.1 矩陣分解：類似因式分解

11.2 LU分解：上下三角

11.3 Cholesky分解：適用於正定矩陣

11.4 QR分解：正交化

11.5 特徵值分解：刻畫矩陣映射的特徵

11.6 奇異值分解：適用於任何實數矩陣

第 12章 Cholesky分解

12.1 Cholesky分解

12.2 正定矩陣才可以進行Cholesky分解

12.3 幾何角度：開合

12.4 幾何變換：縮放 → 開合

12.5 推廣到三維空間

12.6 從格拉姆矩陣到相似度矩陣

第 13章 特徵值分解

13.1 幾何角度看特徵值分解

13.2 旋轉 → 縮放 → 旋轉

13.3 再談行列式值和線性變換

13.4 對角化、譜分解

13.5 聊聊特徵值

13.6 特徵值分解中的複數現象

第 14章 深入特徵值分解

14.1 方陣開方

14.2 矩陣指數：冪級數的推廣

14.3 費氏數列：求通項式

14.4 馬可夫過程的平穩狀態

14.5 瑞利商

14.6 再談橢圓：特徵值分解

第 15章 奇異值分解

15.1 幾何角度：旋轉 → 縮放 → 旋轉

15.2 不同類型SVD分解

15.3 左奇異向量矩陣U

15.4 右奇異向量矩陣V

15.5 兩個角度：投影和資料疊加

第 16章 深入奇異值分解

16.1 完全型：U為方陣

16.2 經濟型：S去掉零矩陣，變方陣

16.3 緊湊型：非滿秩

16.4 截斷型：近似

16.5 資料還原：層層疊加

16.6 估計與誤差：截斷型SVD

16.7 正交投影：資料正交化

第 17章 多元函式微分

17.1 偏導：特定方向的變化率

17.2 梯度向量：上山方向

17.3 法向量：垂直於切平面

17.4 方向性微分：函式任意方向的變化率

17.5 泰勒展開：一元到多元

第 18章 拉格朗日乘子法

18.1 回顧最佳化問題

18.2 等式約束條件

18.3 線性等式約束

18.4 非線性等式約束

18.5 不等式約束

18.6 再談特徵值分解：最佳化角度

18.7 再談SVD：最佳化角度

18.8 矩陣範數：矩陣 → 純量，矩陣「大小 」

18.9 再談資料正交投影：最佳化角度

第 19章 直線到超平面

19.1 切向量：可以用來定義直線

19.2 法向量：定義直線、平面、超平面

19.3 超平面：一維直線和二維平面的推廣

19.4 平面與梯度向量

19.5 中垂線：用向量求解析式

19.6 用向量計算距離

第 20 章 再談圓錐曲線

20.1 無處不在的圓錐曲線

20.2 正圓：從單位圓到任意正圓

20.3 單位圓到旋轉橢圓：縮放 → 旋轉 → 平移

20.4 多元高斯分佈：矩陣分解、幾何變換、距離

20.5 從單位雙曲線到旋轉雙曲線

20.6 切線：建構函式，求梯度向量

20.7 法線：法向量垂直於切向量

第 21章 曲面和正定性

21.1 正定性

21.2 幾何角度看正定性

21.3 開口朝上抛物面：正定

21.4 山谷面：半正定

21.5 開口朝下抛物面：負定

21.6 山脊面：半負定

21.7 雙曲抛物面：不定

21.8 多極值曲面：局部正定性

第 22章 資料與統計

22.1 統計 + 線性代數：以鳶尾花資料為例

22.2 平均值：線性代數角度

22.3 質心：平均值排列成向量

22.4 中心化：平移

22.5 分類資料：加標籤

22.6 方差：平均值向量沒有解釋的部分

22.7 協方差和相關性係數

22.8 協方差矩陣和相關性係數矩陣

第 23章 資料空間

23.1 從資料矩陣X說起

23.2 向量空間：從SVD分解角度理解

23.3 緊湊型SVD分解：剔除零空間

23.4 幾何角度說空間

23.5 格拉姆矩陣：向量模、夾角餘弦值的集合體

23.6 標準差向量：以資料質心為起點

23.7 白話說空間：以鳶尾花資料為例

第 24章 資料分解

24.1 為什麼要分解矩陣？

24.2 QR分解：獲得正交系

24.3 Cholesky分解：找到列向量的座標

24.4 特徵值分解：獲得行空間和零空間

24.5 SVD分解：獲得四個空間

第 25章 資料應用

25.1 從線性代數到機器學習

25.2 從隨機變數的線性變換說起

25.3 單方向映射

25.4 線性回歸

25.5 多方向映射

25.6 主成分分析