大數據安全治理與防範——流量反欺詐實戰

张凯，现任腾讯专家工程师。一直从事大数据安全方面的工作，积累了10多年的黑灰产对抗经验，主要参与过游戏安全对抗、业务防刷、金融风控和反诈骗对抗系统等项目。

周鹏飞，现任腾讯高级工程师。主要从事大数据安全方面的工作，积累了多年黑灰产对抗经验，参与过游戏安全对抗、金融风控、业务防刷、广告反作弊、电信反诈和风险情报等项目。

杨泽，现任腾讯研究员。主要从事金融风控、黑灰产对抗等业务安全工作。

郝立扬，现任腾讯研究员。主要从事反诈骗、反赌博等业务安全工作。

熊奇，现任腾讯专家工程师。一直从事业务安全方面的工作，先后参与过反诈骗、App安全、金融反诈、安全大数据合规与业务风控等项目，积累了15年的黑灰产对抗和安全系统架构的经验。

第 1部分 流量安全基礎

第 1章 緒論 2

1.1 互聯網流量的發展歷程 2

1.1.1 PC互聯網時代 3

1.1.2 移動互聯網時代 4

1.1.3 雲計算和大數據時代 5

1.2 大數據時代的流量欺詐問題 6

1.3 大數據時代的流量反欺詐挑戰 7

1.3.1 監管層面 7

1.3.2 行業層面 8

1.3.3 業務層面 8

1.4 流量反欺詐系統的架構 9

1.4.1 流量反欺詐方案的演變歷程 9

1.4.2 流量反欺詐系統的架構 11

1.5 小結 13

第 2部分 流量風險洞察x

第 2章 流量欺詐手段及其危害 16

2.1 流量前期欺詐 17

2.1.1 推廣結算欺詐 17

2.1.2 註冊欺詐 21

2.1.3 登錄欺詐 22

2.2 流量中期欺詐 24

2.2.1 “薅羊毛”欺詐 24

2.2.2 刷量欺詐 25

2.2.3 引流欺詐 27

2.3 流量後期欺詐 30

2.3.1 電信詐騙 30

2.3.2 資源變現欺詐 31

2.4 欺詐收益分析 33

2.5 小結 34

第3部分 流量數據治理

第3章 流量數據治理和特徵工程 36

3.1 基礎數據形態 36

3.1.1 流量前期數據 37

3.1.2 流量中期數據 37

3.1.3 流量後期數據 39

3.1.4 流量數據特性對比 40

3.2 數據治理 41

3.2.1 數據採集 41

3.2.2 數據清洗 42

3.2.3 數據存儲 43

3.2.4 數據計算 44

3.3 特徵工程 45

3.3.1 特徵構建 45

3.3.2 特徵評估與特徵選擇 46

3.3.3 特徵監控 48

3.4 小結 49

第4部分 流量反欺詐技術

第4章 設備指紋技術 52

4.1 設備指紋的價值 52

4.2 技術原理 54

4.2.1 基礎概念 54

4.2.2 發展歷程 55

4.2.3 生成方式 56

4.3 技術實現方案 58

4.3.1 評估指標 58

4.3.2 構建特徵 59

4.3.3 生成算法 60

4.4 小結 64

第5章 人機驗證 65

5.1 人機驗證基礎 65

5.1.1 驗證碼的誕生 65

5.1.2 驗證碼的應用場景 66

5.1.3 驗證碼的構建框架 67

5.2 基礎層面的攻防 68

5.3 設計層面的攻防 69

5.3.1 字符驗證碼 70

5.3.2 行為驗證碼 73

5.3.3 新型驗證碼 75

5.4 小結 77

第6章 規則引擎 78

6.1 風險名單 78

6.1.1 風險名單基礎 78

6.1.2 風險名單的攻防演進 79

6.1.3 風險名單上線和運營 80

6.2 通用規則 82

6.2.1 IP策略的攻防演進 83

6.2.2 設備策略的攻防演進 87

6.2.3 賬號策略的攻防演進 90

6.3 業務定製規則 94

6.3.1 規則智能預處理模塊 95

6.3.2 規則智能構建模塊 96

6.3.3 規則智能篩選模塊 96

6.3.4 其他模塊 97

6.4 小結 97

第7章 機器學習對抗方案 98

7.1 無樣本場景 99

7.1.1 傳統統計檢驗方案 101

7.1.2 無監督學習方案 102

7.2 單樣本場景 104

7.2.1 傳統半監督學習方案 105

7.2.2 行為序列學習方案 107

7.3 多樣本場景 112

7.3.1 二分類模型與回歸模型 113

7.3.2 可解釋性判別場景 114

7.3.3 集成模型 117

7.4 小結 122

第8章 復雜網絡對抗方案 123

8.1 流量前期方案 124

8.1.1 單維資源聚集的團夥檢測 125

8.1.2 多維資源聚集的團夥檢測 129

8.2 流量中期方案 133

8.2.1 結構相似性團夥檢測 134

8.2.2 欺詐資源家族檢測 138

8.3 流量後期方案 141

8.4 小結 145

第9章 多模態集成對抗方案 146

9.1 多模態數據來源 147

9.1.1 關系圖譜信息 147

9.1.2 文本信息 148

9.1.3 圖像信息 149

9.1.4 其他模態信息 149

9.2 多模態融合方案 150

9.2.1 數據層融合 151

9.2.2 特徵層融合 152

9.2.3 決策層融合 154

9.2.4 混合融合方案 156

9.3 小結 157

第 10章 新型對抗方案 158

10.1 聯邦學習 158

10.1.1 聯邦學習框架 159

10.1.2 異常流量的檢測效果 161

10.2 知識蒸餾 162

10.2.1 知識蒸餾框架 162

10.2.2 異常流量檢測的步驟 164

10.2.3 異常流量檢測的效果 164

10.3 小結 165

第5部分 運營體系與知識情報

第 11章 運營體系 168

11.1 穩定性運營 169

11.1.1 服務穩定性 171

11.1.2 數據穩定性 173

11.2 防誤報處理 175

11.2.1 疑似白名單 176

11.2.2 自動化運營 177

11.3 用戶反饋處理 177

11.3.1 用戶申訴處理 178

11.3.2 用戶舉報處理 179

11.4 告警處理體系 179

11.5 小結 181

第 12章 知識情報挖掘與應用 182

12.1 黑灰產團夥情報挖掘 183

12.1.1 “薅羊毛”情報 184

12.1.2 水軍刷評論情報 187

12.2 黑灰產行為模式情報挖掘 189

12.2.1 短視頻平臺養號 189

12.2.2 廣告點擊欺詐 191

12.3 黑灰產價格情報挖掘 193

12.4 小結 194