機器學習項目成功交付 Managing Machine Learning Projects: From Design to Deployment

目    錄

第1章  引言：交付機器學習項目很困難，讓我們做得更好 1

1.1  機器學習的定義 2

1.2  機器學習很重要 4

1.3  其他機器學習方法 8

1.4  理解本書內容 12

1.5  案例研究：The Bike Shop 15

1.6  小結 16

第2章  項目前期：從機會到需求 17

2.1  項目前期待辦事項 18

2.2  項目管理基礎設施 20

2.3  項目需求 21

2.3.1  投資模式 22

2.3.2  業務需求 23

2.4  數據 28

2.5  安全與隱私 31

2.6  企業責任、監管和道德考慮 33

2.7  開發架構及流程 37

2.7.1  開發環境 39

2.7.2  生產架構 40

2.8  小結 41

第3章  項目前期：從需求到提案 43

3.1  建立項目假設 43

3.2  創建項目估計 47

3.2.1  時間和精力估計 47

3.2.2  機器學習項目的團隊設計 49

3.2.3  項目風險 55

3.3  售前/項目前期管理 56

3.4  項目前期/售前清單 56

3.5  The Bike Shop預售 58

3.6  有關項目前期的後記 65

3.7  小結 66

第4章  開始工作 67

4.1  Sprint 0待辦事項 67

4.2  最終確定團隊設計和資源配置 68

4.3  工作方式 69

4.3.1  流程與結構 69

4.3.2  心跳和溝通方案 71

4.3.3  工具 72

4.3.4  標準和實踐 76

4.3.5  文檔 78

4.4  基礎設施計劃 80

4.4.1  系統訪問 80

4.4.2  技術基礎設施評估 81

4.5  數據故事 81

4.5.1  數據收集動機 84

4.5.2  數據收集機制 84

4.5.3  數據沿襲 85

4.5.4  事件 87

4.6  隱私、安全和道德計劃 87

4.7  項目路線圖 88

4.8  Sprint 0清單 89

4.9  The Bike Shop：項目設置 90

4.10  小結 96

第5章　深入研究問題 97

5.1  Sprint 1待辦事項 97

5.2  理解數據 98

5.2.1  數據調查 99

5.2.2  調查數值數據 101

5.2.3  調查分類數據 103

5.2.4  調查非結構化數據 104

5.2.5  報告和使用調查結果 106

5.3  業務問題細化、用戶體驗和應用程序設計 107

5.4  構建數據管道 110

5.4.1  數據融合問題 113

5.4.2  管道叢林 114

5.4.3  數據測試 116

5.5  模型存儲庫和模型版本控制 117

5.5.1  特徵、基礎模型和訓練機制 118

5.5.2  版本控制概述 119

5.6  小結 120

第6章  探索性數據分析、道德和基線評估 121

6.1  探索性數據分析 121

6.1.1  探索性數據分析的目標 122

6.1.2  匯總和描述數據 123

6.1.3  繪圖和可視化 125

6.1.4  非結構化數據 129

6.2  道德檢查點 133

6.3  基線模型和性能 134

6.4  出現問題時的解決方案 135

6.5  預建模檢查表 137

6.6  The Bike Shop：預建模 137

6.6.1  數據調查結束後 138

6.6.2  探索性數據分析實現 141

6.7  小結 144

第7章  使用機器學習技術製作實用模型 145

7.1  Sprint 2待辦事項 146

7.2  特徵工程和數據增強 147

7.2.1  特徵工程的基礎概念 148

7.2.2  創建新特徵 150

7.2.3  數據增強 152

7.3  模型設計 154

7.3.1  設計的外力 154

7.3.2  總體設計 155

7.3.3  選擇組件模型 156

7.3.4  歸納偏差 157

7.3.5  多個不相交模型 161

7.3.6  模型組合 161

7.4  使用機器學習技術製作模型 162

7.4.1  建模過程 163

7.4.2  實驗跟蹤和模型存儲庫 164

7.4.3  AutoML和模型搜索 166

7.5  警惕“臭”模型 168

7.6  小結 169

第8章  測試和選擇模型 171

8.1  測試和選擇模型的原因 171

8.2  測試流程 172

8.2.1  離線測試 173

8.2.2  離線測試環境 175

8.2.3  在線測試 177

8.2.4  現場試驗 177

8.2.5  A/B測試 178

8.2.6  多臂老虎機 179

8.2.7  非功能測試 181

8.3  選擇模型 182

8.3.1  定量選擇 184

8.3.2  通過可比測試進行選擇 184

8.3.3  通過多次測試進行選擇 185

8.3.4  定性選擇指標 187

8.4  建模後檢查表 188

8.5  The Bike Shop：Sprint 2 189

8.6  小結 196

第9章  Sprint 3：系統構建和生產 199

9.1  Sprint 3待辦事項 199

9.2  機器學習實現的類型 201

9.2.1  輔助系統 202

9.2.2  委托系統 205

9.2.3  自治系統 208

9.3  非功能審查 210

9.4  實現生產系統 211

9.4.1  生產數據基礎設施 211

9.4.2  模型服務器和推理服務 214

9.4.3  用戶接口設計 216

9.5  記錄、監控、管理、反饋和文檔 219

9.5.1  模型治理 221

9.5.2  文檔 222

9.6  發布前測試 223

9.7  道德審查 224

9.8  投入生產 225

9.9  曲終人不散 226

9.10  The Bike Shop Sprint 3 227

9.11  小結 230

第10章  發布項目 231

10.1  Sprint Ω待辦事項 231

10.2  投入生產並不意味著萬事大吉 232

10.2.1  直面問題和釐清責任 232

10.2.2  機器學習的技術債務 234

10.2.3  模型漂移 235

10.2.4  再訓練 236

10.2.5  緊急情況 237

10.2.6  問題調查 238

10.3  團隊項目後評審 238

10.4  改進實踐 240

10.5  新技術的採用 241

10.6  案例研究 242

10.7  再見，祝你好運 242

10.8  小結 243