動手學 AutoML 從NAS到大語言模型優化實戰

前 言

第一分 基礎篇：AutoML 基礎介紹

第 1 章 機器學習與 AutoML 基礎 / 2

1.1 機器學習概述 / 2

1.1.1 機器學習定義與範式 / 2

1.1.2 機器學習應用的自動化需求 / 4

1.2 AutoML 定義與化目標 / 7

1.3 AutoML 的技術演進 / 9

1.3.1 傳統機器學習時代 / 9

1.3.2 深度學習時代 / 10

1.3.3 大語言模型時代 / 11

1.4 AutoML 的系統流程 / 13

1.4.1 數據準備自動化 / 14

1.4.2 征工程自動化 / 17

1.5 經架構搜索（NAS）基礎 / 21

1.5.1 NAS 核心組件 / 22

1.5.2 NAS 思想的多領域延伸 / 24

參考文獻 / 25

第 2 章 AutoML 框架與平臺 / 26

2.1 傳統機器學習自動化框架 / 26

2.1.1 Auto-WEKA：貝葉斯化自動選參框架 / 26

2.1.2 AutoSklearn：基於集成學習的自動建模 / 27

2.1.3 TPOT：基於遺傳算法化流水線 / 28

2.2 深度學習自動化框架 / 29

2.2.1 微軟 NNI 框架 / 29

2.2.2 華為 Vega 框架 / 31

2.2.3 Hyperbox 框架 / 33

2.2.4 AutoGluon 框架 / 34

2.2.5 Auto-Keras 框架 / 35

2.3 AutoML 雲服務平臺 / 35

2.3.1 谷歌 Cloud AutoML / 36

2.3.2 微軟 Azure AutoML / 38

2.3.3 百度 EasyDL / 39

2.3.4 阿裏雲 PAI / 41

2.3.5 Autopilot / 43

2.3.6 Databricks AutoML / 44

2.4 AutoML 業服務公司 / 46

2.4.1 H2O.ai 公司 / 46

2.4.2 第四範式 / 49

2.4.3 九章雲 DataCanvas / 51

第二分 進篇：NAS 技術詳解

第 3 章 NAS 搜索空間 / 56

3.1 NAS 搜索空間基礎 / 56

3.1.1 模型架構的形式化表達 / 56

3.1.2 常用候選作集 / 57

3.2 基於整體結構的搜索空間 / 58

3.3 基於單元結構的搜索空間 / 59

3.3.1 設計範式簡介 / 59

3.3.2 單元內結構 / 59

3.3.3 覆雜度分析 / 60

3.3.4 模型不一性問題 / 61

3.4 基於層級結構的搜索空間 / 62

3.4.1 內層：基於單元層級的網絡結構設計 / 62

3.4.2 外層：基於網絡層級的網絡結構設計 / 63

3.5 基於網絡態射的搜索空間 / 64

3.5.1 網絡態射 / 64

3.5.2 恒等網絡態射 / 65

3.5.3 改進的網絡態射算法 / 68

3.6 基於基礎數學運算的搜索空間 / 70

3.6.1 AutoML-Zero 基本原理 / 70

3.6.2 搜索難度分析 / 71

3.6.3 搜索策略 / 72

參考文獻 / 73

第 4 章 NAS 搜索策略 / 75

4.1 基礎搜索策略 / 75

4.1.1 網格搜索 / 75

4.1.2 隨機搜索 / 76

4.2 進化搜索策略 / 77

4.2.1 進化算法基本原理 / 77

4.2.2 架構編碼策略 / 79

4.2.3 進化算子設計 / 82

4.2.4 進化算法 NAS 實踐 / 85

4.3 貝葉斯化策略 / 88

4.3.1 貝葉斯化的基本原理 / 89

4.3.2 代理模型 / 90

4.3.3 采集函數 / 93

4.3.4 貝葉斯化 NAS 實踐 / 95

4.4 強化學習策略 / 100

4.4.1 強化學習基本原理 / 100

4.4.2 貝爾曼方程 / 102

4.4.3 強化學習算法分類 / 103

4.4.4 策略梯度算法 / 104

4.4.5 策略梯度 NAS 實踐 / 106

4.5 可微分經架構搜索策略 / 112

4.5.1 可微分搜索算法原理 / 113

4.5.2 改進的可微分搜索算法 / 114

參考文獻 / 118

第 5 章 NAS 模型評估 / 119

5.1 完整訓練評估 / 120

5.2 代理模型評估 / 120

5.3 早停法模型評估 / 121

5.3.1 基於資源分配的高效評估框架 / 121

5.3.2 基於學習曲線預測的智能評估 / 122

5.4 權重共享評估 / 122

5.4.1 權重共享的基本原理與勢 / 123

5.4.2 實現策略與關鍵技術 / 123

5.5 訓練評估 / 124

5.6 約束條件下的模型評估 / 131

5.6.1 常見的約束條件 / 131

5.6.2 單目標化 / 132

5.6.3 多目標化 / 132

5.7 NAS 基準測試評估 / 134

5.7.1 基於圖像的 NAS-Bench-101 數據集 / 135

5.7.2 基於圖像的 NAS-Bench-201 數據集 / 138

5.7.3 基於文本的 NAS-Bench-NLP 數據集 / 140

5.7.4 基於語音的 NAS-Bench-ASR 數據集 / 141

參考文獻 / 145

第三分 應用篇：AutoML 高級應用

第 6 章 模型組件自動化 / 148

6.1 損失函數搜索 / 148

6.1.1 基於強化學習的損失函數搜索 / 150

6.1.2 基於進化算法的損失函數搜索 / 151

6.2 激活函數搜索 / 154

6.2.1 常見的激活函數 / 154

6.2.2 基於強化學習的激活函數搜索 / 157

參考文獻 / 160

第 7 章 數據策略自動化 / 161

7.1 數據增強搜索 / 161

7.1.1 基於強化學習的數據增強搜索算法 / 162

7.1.2 基於種群進化的數據增強搜索算法 / 165

7.2 代理數據集搜索 / 166

7.2.1 無監督采樣方法 / 167

7.2.2 有監督采樣方法 / 168

7.2.3 基於動態指標調整的自動代理數據集選擇方法 / 169

參考文獻 / 173

第 8 章 大語言模型（LLM）自動化 / 174

8.1 大語言模型技術基礎 / 174

8.1.1 從統計語言模型到大語言模型 / 174

8.1.2 Transformer 架構解析 / 176

8.2 架構創新自動化 / 179

8.2.1 基於模塊內結構的搜索 / 180

8.2.2 基於模塊連接方式的搜索 / 182

8.3 計算效率化自動化 / 186

8.3.1 大語言模型壓縮 / 186

8.3.2 大語言模型量化 / 191

8.4 模型融合自動化 / 196

8.4.1 模型融合的應用值 / 196

8.4.2 主流模型融合策略 / 197

8.4.3 基於進化算法的自動模型融合策略 / 199

參考文獻 / 202

第 9 章 LLM 驅動的 AutoML / 204

9.1 基於自然語言和 LLM 引導的經架構搜索 / 204

9.1.1 GENIUS：卷積經網絡搜索的性探索 / 205

9.1.2 GPT4GNAS：拓展到圖經網絡領域 / 206

9.1.3 EvoPrompting：代碼層面的架構搜索指導 / 207

9.2 LLM 增強的自動征工程 / 211

9.2.1 LLM 上下文感知的自動征工程 / 212

9.2.2 LLM 知識驅動的征調生成 / 213

9.3 LLM Agent 與 AutoML 系統的雙向融合 / 215

9.3.1 LLM Agent 關鍵 / 215

9.3.2 AutoM3L：多模態數據處理化框架 / 216

9.3.3 MLCopilot：經驗與知識覆用的智能系統 / 218

9.3.4 AutoML-Agent：多智能體協作的全流程化 / 219

9.3.5 MaAS：多智能體架構搜索 / 221

參考文獻 / 224

第四分 實戰篇：AutoML 項目實戰

第 10 章 從零開始構建 NAS 系統：隨機搜索入門項目 / 226

10.1 NAS 基礎算子實現原理 / 226

10.1.1 Hyperbox 框架簡介 / 226

10.1.2 可搜索模塊（Mutable） / 227

10.1.3 搜索器（Mutator） / 236

10.1.4 可搜索模型基類 (BaseNASNetwork) / 242

10.2 基於隨機搜索的 NAS 代碼實戰 / 247

10.2.1 MNIST 數據集的獲取與預處理 / 247

10.2.2 CNN 網結構設計與實現 / 249

10.2.3 隨機搜索算法實現 / 251

10.2.4 模型訓練與評估函數實現 / 252

10.2.5 網訓練與子網評估 / 254

10.2.6 提取子網 / 256

第 11 章 進 AutoML 技術實戰：可微分搜索、進化壓縮與LLM剪枝 / 258

11.1 基於可微分算法的架構搜索 / 258

11.1.1 CIFAR-10 數據集的獲取與預處理 / 258

11.1.2 DARTS 算法實現 / 260

11.1.3 基於 MobileNetV2 的搜索空間設計 / 263

11.1.4 模型訓練與架構搜索 / 268

11.1.5 模型評估與微調 / 272

11.2 基於進化算法的模型壓縮 / 273

11.2.1 ResNet 搜索空間設計 / 274

11.2.2 NSGA-II 算法概述 / 278

11.2.3 非支配排序 / 279

11.2.4 擁擠度距離 / 282

11.2.5 進化算子實現 / 284

11.2.6 訓練和搜索模型 / 290

11.3 基於遺傳算法的 LLM 後訓練剪枝算法實戰 / 294

11.3.1 模型剪枝技術概述 / 295

11.3.2 基於遺傳算法的 LLM 剪枝框架概覽 / 296

11.3.3 符號樹搜索空間 / 298

11.3.4 符號樹代碼實現 / 300

11.3.5 遺傳算法實現 / 308

11.3.6 剪枝指標有效性驗證 / 313