動手學 PyTorch 建模與應用：從深度學習到大模型

目    錄

第 1 章  深度學習和PyTorch概述 1

1.1  走進深度學習的世界 1

1.1.1  深度學習的發展歷史 1

1.1.2  深度學習框架PyTorch 3

1.1.3  深度學習的應用領域 4

1.2  搭建開發環境 5

1.2.1  安裝Python 3.12 5

1.2.2  安裝代碼開發工具Jupyter Lab 9

1.2.3  安裝PyTorch 2.2 10

1.3  PyTorch的應用場景 14

1.4  上機練習題 14

第 2 章  PyTorch數學基礎 17

2.1  PyTorch中的函數 17

2.1.1  函數的基礎知識 17

2.1.2  PyTorch中的主要函數 20

2.2  微分基礎 22

2.2.1  微分及其公式 22

2.2.2  PyTorch自動微分 24

2.3  數理統計基礎 29

2.3.1  數理統計及其指標 29

2.3.2  PyTorch統計函數 34

2.4  矩陣基礎 45

2.4.1  矩陣及其運算 45

2.4.2  PyTorch矩陣運算 47

2.5  動手練習：擬合餘弦函數曲線 54

2.6  上機練習題 58

第 3 章  數據預處理及常用工具 62

3.1  NumPy 62

3.1.1  安裝和導入NumPy 62

3.1.2  NumPy的數據結構ndarray 63

3.1.3  NumPy的基本使用 63

3.2  Matplotlib 65

3.2.1  安裝和導入Matplotlib 65

3.2.2  Matplotlib的使用示例 66

3.3  數據清洗 70

3.3.1  數據清洗的作用 70

3.3.2  用Pandas進行數據清洗 71

3.4  特徵工程 76

3.4.1  特徵工程概述 76

3.4.2  使用Scikit-learn進行數據預處理 78

3.4.3  使用Pandas實現特徵工程 81

3.5  深度學習解決問題的一般步驟 82

3.6  動手練習：每日最高溫度預測 84

3.7  上機練習題 90

第 4 章  PyTorch基礎知識 95

4.1  張量及其創建 95

4.1.1  張量及其數據類型 95

4.1.2  使用數組直接創建張量 96

4.1.3  使用概率分佈創建張量 98

4.2  激活函數 99

4.2.1  激活函數及其必要性 99

4.2.2  Sigmoid激活函數 100

4.2.3  Tanh激活函數 101

4.2.4  ReLU激活函數 102

4.2.5  Leaky ReLU激活函數 103

4.2.6  其他類型的激活函數 104

4.3  損失函數 105

4.3.1  損失函數及其選取 106

4.3.2  L1範數損失函數 106

4.3.3  均方誤差損失函數 107

4.3.4  交叉熵損失函數 108

4.3.5  餘弦相似度損失 109

4.3.6  其他損失函數 109

4.4  優化器 110

4.4.1  梯度及梯度下降算法 111

4.4.2  隨機梯度下降算法 112

4.4.3  標準動量優化算法 112

4.4.4  AdaGrad算法 113

4.4.5  RMSProp算法 113

4.4.6  Adam算法 114

4.5  動手練習：PyTorch優化器比較 114

4.6  上機練習題 119

第 5 章  PyTorch深度神經網絡 124

5.1  神經網絡概述 124

5.1.1  神經元模型 124

5.1.2  多層感知機 126

5.1.3  前饋神經網絡 128

5.2  捲積神經網絡 129

5.2.1  捲積神經網絡的歷史 129

5.2.2  捲積神經網絡的結構 130

5.2.3  捲積神經網絡的類型 131

5.3  循環神經網絡 134

5.3.1  簡單的循環神經網絡 134

5.3.2  長短期記憶網絡 136

5.3.3  門控循環單元 138

5.4  動手練習：股票成交量趨勢預測 139

5.5  上機練習題 148

第 6 章  PyTorch數據建模 152

6.1  回歸分析及案例 152

6.1.1  回歸分析簡介 152

6.1.2  回歸分析建模 153

6.1.3  動手練習：住房價格回歸預測 155

6.2  聚類分析及案例 160

6.2.1  聚類分析簡介 160

6.2.2  聚類分析建模 160

6.2.3  動手練習：植物花卉特徵聚類 162

6.3  主成分分析及案例 165

6.3.1  主成分分析簡介 166

6.3.2  主成分分析建模 166

6.3.3  動手練習：地區競爭力指標降維 167

6.4  模型評估與調優 173

6.4.1  模型評估方法 173

6.4.2  模型調優方法 176

6.4.3  動手練習：PyTorch實現交叉驗證 178

6.5  上機練習題 187

第 7 章  PyTorch圖像建模 190

7.1  圖像建模概述 190

7.1.1  圖像分類技術 190

7.1.2  圖像識別技術 191

7.1.3  圖像分割技術 192

7.2  動手練習：創建圖像自動分類器 193

7.2.1  加載數據集 193

7.2.2  搭建網絡模型 194

7.2.3  訓練網絡模型 195

7.2.4  應用網絡模型 196

7.3  動手練習：搭建圖像自動識別模型 198

7.3.1  加載數據集 198

7.3.2  搭建與訓練網絡 200

7.3.3  預測圖像數據 202

7.3.4  圖像識別模型的判斷 202

7.4  動手練習：搭建圖像自動分割模型 204

7.4.1  加載數據集 205

7.4.2  搭建網絡模型 206

7.4.3  訓練網絡模型 209

7.4.4  應用網絡模型 210

7.5  上機練習題 212

第 8 章  PyTorch文本建模 220

8.1  自然語言處理的幾個模型 220

8.1.1  Word2Vec模型 220

8.1.2  Seq2Seq模型 221

8.1.3  Attention模型 222

8.2  動手練習：Word2Vec提取相似文本 223

8.2.1  加載數據集 223

8.2.2  搭建網絡模型 227

8.2.3  訓練網絡模型 228

8.2.4  應用網絡模型 230

8.3  動手練習：Seq2Seq實現機器翻譯 231

8.3.1  加載數據集 231

8.3.2  搭建網絡模型 237

8.3.3  訓練網絡模型 240

8.3.4  應用網絡模型 242

8.4  動手練習：Attention模型實現文本自動分類 244

8.4.1  加載數據集 244

8.4.2  搭建網絡模型 246

8.4.3  訓練網絡模型 247

8.4.4  應用網絡模型 251

8.5  上機練習題 251

第 9 章  PyTorch音頻建模 258

9.1  音頻處理技術及應用 258

9.1.1  音頻處理技術 258

9.1.2  音視頻摘要技術及其應用 259

9.1.3  音頻識別及應用 260

9.1.4  音頻監控及應用 261

9.1.5  場景感知及應用 261

9.2  梅爾頻率倒譜系數音頻特徵 262

9.2.1  梅爾頻率倒譜系數簡介及參數的提取過程 262

9.2.2  音頻預處理 263

9.2.3  快速傅里葉變換 264

9.2.4  能量譜處理 264

9.2.5  離散餘弦轉換 265

9.3  PyTorch音頻建模技術 266

9.3.1  加載音頻數據源 266

9.3.2  波形變換的類型 267

9.3.3  繪制波形頻譜圖 268

9.3.4  波形Mu-Law編碼 270

9.3.5  變換前後波形的比較 272

9.4  動手練習：音頻相似度分析 273

9.5  上機練習題 276

第 10 章  PyTorch模型可視化 278

10.1  Visdom 278

10.1.1  Visdom簡介 278

10.1.2  Visdom可視化操作 280

10.1.3  動手練習：識別手寫數字 296

10.2  TensorBoard 301

10.2.1  TensorBoard簡介 301

10.2.2  TensorBoard基礎操作 303

10.2.3  動手練習：可視化模型參數 312

10.3  Pytorchviz 314

10.3.1  Pytorchviz簡介 314

10.3.2  動手練習：Pytorchviz建模可視化 314

10.4  Netron 317

10.4.1  Netron簡介 317

10.4.2  動手練習：Netron建模可視化 317

10.5  上機練習題 321

第 11 章  從深度學習到大語言模型 323

11.1  大語言模型的原理 323

11.1.1  大語言模型簡介 323

11.1.2  Transformer架構 324

11.1.3  註意力機制 327

11.2  主要的大語言模型 331

11.2.1  ChatGPT及其API調用 331

11.2.2  文心一言及其插件開發 334

11.2.3  ChatGLM及其本地部署 338

11.3  模型預訓練與微調 350

11.3.1  大模型預訓練 350

11.3.2  大模型微調技術 353

11.4  上機練習題 361

參考文獻 363