大數據徵信及智能評估：徵信大數據挖掘與智能分析技術

目    錄

第一部分 基礎技術研究

第1章 多源多模態徵信大數據融合方法    2

1.1 多模態融合概述 3

1.1.1 研究背景與意義  3

1.1.2 研究現狀 5

1.1.3 研究內容     10

1.2 多模態融合相關理論技術 12

1.2.1 眾包標註     12

1.2.2 眾包數據的消噪  13

1.2.3 圖像分類     19

1.2.4 多模態數據融合  25

1.2.5 協同學習     29

1.3 基於協同學習技術的決策級融合方法     33

1.3.1 任務描述     33

1.3.2 多源同構數據融合方法：CT-MID   34

1.3.3 CT-MID模塊說明 35

1.3.4 實驗分析     41

1.3.5 方法分析     45

1.4 基於多模態適配器的特徵級融合方法     50

1.4.1 任務描述     50

1.4.2 多源異構數據融合方法：MLP-Adapter 51

1.4.3 實驗結果     55

1.5 基於協同學習的多源數據融合原型系統    59

1.5.1 系統組成單元   59

1.5.2 功能展示     61

第2章 大數據徵信歸因分析及模型可解釋性研究   66

2.1 大數據徵信分析概述  67

2.1.1 研究背景與意義  67

2.1.2 研究現狀     68

2.1.3 問題與挑戰    72

2.1.4 研究內容     77

2.2 相關理論技術 78

2.2.1 特徵選擇方法   78

2.2.2 因果模型     81

2.2.3 模型的可解釋方法 83

2.3 歸因分析技術研究    87

2.3.1 歸因分析總體流程設計   87

2.3.2 實驗評估：歸因分析    93

2.4 模型可解釋性提升技術研究    101

2.4.1 可解釋性提升方法設計   101

2.4.2 實驗一：整體可解釋性提升 107

2.4.3 實驗二：個體可解釋性提升 116

2.5 原型系統的設計與實現  124

2.5.1 系統業務流程設計     124

2.5.2 系統功能架構設計     126

2.5.3 效果展示    128

2.5.4 系統測試    135

第二部分 信用評估技術研究

第3章 基於時序行為分析的信用評估技術 140

3.1 時序行為信用評估概述  141

3.1.1 研究背景與意義 141

3.1.2 研究現狀    142

3.1.3 研究內容    144

3.2 相關理論技術 144

3.2.1 基於神經網絡的模型    144

3.2.2 圖嵌入模型   149

3.3 數據準備與特徵工程  152

3.3.1 數據準備    152

3.3.2 數據觀察    154

3.3.3 數據清洗    156

3.3.4 特徵工程    157

3.4 基於時序行為的徵信評估模型設計 163

3.4.1 模型總體設計  163

3.4.2 基於Auto-Encoder LSTM模型的交易序列特徵編碼     164

3.4.3 基於Node2Vec模型的行為序列特徵編碼     168

3.4.4 基於特徵融合的用戶信用評估模型   173

3.5 模型驗證與原型系統  176

3.5.1 模型驗證    176

3.5.2 原型系統設計與實現    184

第4章 徵信大數據頻繁模式與關聯規則挖掘     192

4.1 徵信大數據挖掘概述  193

4.1.1 研究現狀    193

4.1.2 問題描述    197

4.1.3 研究內容    198

4.2 相關理論技術 198

4.2.1 數據融合的相關技術    198

4.2.2 動態關聯規則挖掘的相關技術    203

4.3 多源徵信大數據融合方法     207

4.3.1 數據融合    207

4.3.2 數據融合方法  209

4.3.3 多源異構數據的融合模型  212

4.3.4 實驗結果與分析 217

4.4 結構化徵信大數據動態關聯規則挖掘算法   219

4.4.1 動態關聯規則的形式化定義 219

4.4.2 與靜態關聯規則的比較   220

4.4.3 動態關聯規則的評價    221

4.4.4 動態關聯規則挖掘算法   221

4.4.5 實驗結果與分析 224

4.5 流式半結構化徵信大數據頻繁項集挖掘算法  227

4.5.1 數據流與半結構化數據   227

4.5.2 樹結構模型挖掘的相關定義 229

4.5.3 兩個改進    230

4.5.4 改進的挖掘算法 235

4.6 實驗結果與分析    238

4.6.1 實驗數據    238

4.6.2 實驗結果    238

第5章 信用風險違約識別與預警技術   242

5.1 信用風險違約概述   243

5.1.1 研究背景與意義 243

5.1.2 研究現狀    245

5.1.3 研究內容    250

5.2 相關理論技術 251

5.2.1 個人信用評估指標體系   251

5.2.2 個人信用評估模型技術   253

5.3 信用風險數據與數據預處理    263

5.3.1 數據來源    263

5.3.2 數據信息    265

5.3.3 缺失值分析   268

5.3.4 分類變量    270

5.3.5 連續變量的離散化     273

5.3.6 異常值處理   274

5.3.7 領域變量處理  276

5.4 個人信用風險違約識別與預警模型設計    276

5.4.1 模型設計分析  277

5.4.2 組合模型優化  279

5.4.3 D-S Stacking模型 282

5.5 模型驗證與原型系統  288

5.5.1 系統業務流程  288

5.5.2 系統架構設計  290

5.5.3 原型系統效果評估     296

第6章 信用環境的區域差異性影響因素  301

6.1 信用環境的區域差異概述     302

6.1.1 研究背景與意義 302

6.1.2 研究現狀    302

6.1.3 研究內容    304

6.2 相關理論技術 305

6.2.1 數據準備    305

6.2.2 空間自相關分析方法    306

6.2.3 XGBoost算法   309

6.2.4 隨機森林    311

6.2.5 TreeSHAP模型  312

6.3 基於兩種機器學習算法的我國城市商業信用環境指數模型     313

6.3.1 我國城市商業信用環境指數特徵共線性分析   313

6.3.2 基於XGBoost的我國城市商業信用環境指數模型 314

6.3.3 基於隨機森林的我國城市商業信用環境指數模型 316

6.3.4 兩種機器學習方法評估精度比較分析  317

6.4　基於TreeSHAP特徵因子解釋分析 319

6.4.1 基於XGBoost模型的特徵因子解釋分析     319

6.4.2 基於隨機森林模型的特徵因子解釋分析     321

6.4.3 小結  323

第三部分 信用評估系統研發

第７章 信用評估監測預警技術及系統   326

7.1 系統建設目標與任務  327

7.1.1 建設目標    327

7.1.2 建設任務    327

7.1.3 總體設計方案  328

7.2 系統設計   328

7.2.1 需求調研    328

7.2.2 數據庫設計   329

7.2.3 系統架構設計  330

7.2.4 功能設計    331

7.2.5 接口設計    356

7.2.6 系統部署    357

7.2.7 軟件安裝    357