數據挖掘競賽實戰：方法與案例

目  錄

第1章  數據挖掘競賽介紹 1

1.1  數據挖掘競賽的發展 1

1.2  數據挖掘競賽的意義 4

1.3　競賽平臺介紹 5

1.4  各種競賽的特點 8

1.5  競賽常用工具 9

第2章  結構化數據：理論篇 13

2.1  探索性數據分析 13

2.2  數據預處理 18

2.2.1  缺失值 18

2.2.2  異常值 20

2.2.3  內存優化 21

2.3  特徵構造 23

2.3.1  時間特徵 23

2.3.2  單變量特徵 25

2.3.3  組合特徵 27

2.3.4  降維/聚類特徵 28

2.3.5  目標值相關特徵 30

2.3.6  拼表特徵 33

2.3.7  時序特徵 39

2.4  特徵篩選 41

2.4.1  冗餘特徵過濾 41

2.4.2  無效/低效特徵過濾 42

2.4.3  過擬合特徵過濾 45

2.5  模型 49

2.5.1  結構化數據常用模型 49

2.5.2  模型超參數優化 55

2.5.3  線下驗證 58

2.6  集成學習 62

2.6.1  投票法 62

2.6.2  平均法 63

2.6.3  加權平均法 64

2.6.4  Stacking 66

2.6.5  Blending 67

第3章  結構化數據：實戰篇 70

3.1  賽題概覽 70

3.2  數據探索 71

3.2.1  標簽分佈 71

3.2.2  缺失值 72

3.2.3  異常值 73

3.2.4  相關性 73

3.3  優秀方案解讀 74

3.3.1  特徵工程 75

3.3.2  模型 77

3.3.3  集成學習 80

第4章  自然語言處理：理論篇 82

4.1  探索性數據分析 84

4.1.1  文本詞數統計 84

4.1.2  高頻詞統計 85

4.2  數據預處理 86

4.3  數據增強 88

4.3.1  同義詞替換 88

4.3.2  回譯 89

4.3.3  文本生成 89

4.3.4  元偽標簽 90

4.4  模型 91

4.4.1  NLP競賽的萬金油—BERT 91

4.4.2  常用模型backbone及其特點 93

4.4.3  設計BERT類模型的輸入 95

4.4.4  設計BERT類模型的neck 98

4.4.5　設計BERT類模型的輸出 100

4.5  模型集成 103

4.6  訓練技巧 103

4.6.1  動態驗證 104

4.6.2  分層學習率 106

4.6.3  對抗訓練 108

4.6.4  使用特殊詞處理復雜信息 111

4.6.5  任務內掩碼語言建模 113

4.6.6  多樣本dropout 114

4.6.7  模型權重初始化 116

4.6.8  動態填充 117

4.6.9  根據文本詞數順序推理 118

4.6.10  梯度檢查點 119

4.6.11  拓展模型輸入長度限制 120

第5章  自然語言處理：實戰篇 121

5.1  賽題背景 121

5.2  數據介紹 122

5.3  評價指標 123

5.4  冠軍方案 124

5.4.1　解碼網絡 125

5.4.2  特徵抽取網絡 127

5.4.3  掩碼預訓練 127

5.4.4  訓練技巧 128

5.4.5  模型集成 131

第6章  電腦視覺（圖像）：理論篇 134

6.1  通用流程 135

6.1.1  數據預處理 135

6.1.2  數據增強 136

6.1.3  預訓練 141

6.1.4  模型 142

6.1.5  損失函數 143

6.1.6  集成學習 143

6.1.7  通用技巧 143

6.2  分類任務 147

6.2.1  任務介紹及常用模型 147

6.2.2  損失函數 148

6.2.3  常用技巧 149

6.3  分割任務 150

6.3.1  任務介紹及常用模型 150

6.3.2  損失函數 151

6.3.3  常用技巧 152

6.4  檢測任務 154

6.4.1  任務介紹及常用模型 154

6.4.2  損失函數 155

6.4.3  常用技巧 161

第7章  電腦視覺（圖像）：實戰篇 165

7.1  競賽介紹 165

7.2  數據探索 166

7.2.1  數據基本情況 167

7.2.2  類型分佈 167

7.2.3  圖像分佈 168

7.2.4  標註分佈 170

7.3  優秀方案解讀 170

7.3.1  檢測部分 171

7.3.2  分割部分 175

7.4  更多方案 180

第8章  電腦視覺（視頻）：理論篇 182

8.1  視頻數據與圖像數據的區別 182

8.2  常用模型 185

8.3  預訓練數據集 188

8.4  任務介紹 189

第9章  電腦視覺（視頻）：實戰篇 192

9.1  賽題背景 192

9.2  數據介紹和評價指標 192

9.3  冠軍方案 193

第10章  強化學習：理論篇 200

10.1  智能體設計 201

10.1.1  觀測輸入設計 201

10.1.2  收益設計 204

10.1.3  動作設計 205

10.2  模型設計 206

10.3　算法設計 207

10.3.1  強化學習算法 207

10.3.2  超參數調節 208

10.3.3  訓練技巧 210

10.3.4  算法性能評估 211

第11章  強化學習：實戰篇 212

11.1  賽題任務 212

11.2  環境介紹 213

11.3  評價指標 213

11.4  冠軍方案 214