大數據關鍵技術與應用

第1章　大數據概述 1
1.1　數據 1
1.1.1　數據的概念 2
1.1.2　數據的表現形式 2
1.1.3　數據的組織形式 3
1.1.4　數據的生命周期 4
1.1.5　數據的價值 4
1.2　大數據時代 5
1.2.1　大數據的概念 5
1.2.2　大數據的數據類型 6
1.2.3　大數據的特征 6
1.2.4　大數據帶來的改變 7
1.3　大數據的處理流程 9
1.3.1　數據采集 9
1.3.2　數據預處理 9
1.3.3　數據存儲 10
1.3.4　數據分析 10
1.3.5　數據可視化 11
1.3.6　決策與行動 11
1.4　大數據的發展歷程 12
1.4.1　數據存儲與數據庫技術的初期 12
1.4.2　互聯網的興起和數據爆炸 12
1.4.3　大數據概念的正式提出 13
1.4.4　大數據技術的快速發展和應用普及 13
1.4.5　大數據與人工智能、機器學習的結合 13
1.5　大數據時代面臨的挑戰和機遇 13
1.5.1　挑戰 13
1.5.2　機遇 14
1.6　本章小結 14
習題 14
第2章　大數據與新一代信息技術 16
2.1　大數據與人工智能 17
2.1.1　人工智能 17
2.1.2　大數據與人工智能的關系與應用場景 23
2.2　大數據與雲計算 25
2.2.1　雲計算 25
2.2.2　大數據與雲計算的關系和應用場景 30
2.3　大數據與物聯網 34
2.3.1　物聯網 34
2.3.2　大數據與物聯網的關系和應用場景 42
2.4　大數據與區塊鏈 43
2.4.1　區塊鏈 43
2.4.2　大數據與區塊鏈的區別、協同作用和應用場景 48
2.5　本章小結 52
習題 52
第３章　數據采集 54
3.1　大數據采集概述 55
3.1.1 大數據采集的概念 55
3.1.2 大數據采集的類型 55
3.1.3 大數據采集的數據來源 56
3.1.4 大數據采集的策略 57
3.1.5 大數據采集的工具 58
3.2　大數據采集方法 58
3.2.1 大數據采集的通用方法 59
3.2.2　離線采集與實時采集 65
3.3　大數據采集類型 66
3.3.1　分布式消息系統Kafka 67
3.3.2　日誌采集系統Flume 70
3.3.3　采集Apache服務器數據 72
3.3.4　采集Tomcat服務器數據 72
3.3.5　埋點數據采集 73
3.4　常見的數據采集問題及註意事項 74
3.4.1　數據采集常見問題 75
3.4.2　數據采集註意事項 75
3.5　數據采集實訓——使用八爪魚進行數據采集 77
3.5.1　采集京東商品列表 77
3.5.2　采集京東商品評價 87
3.6　本章小結 98
習題 98
第４章　數據存儲與管理 100
4.1　數據存儲概述 100
4.1.1 數據存儲的概念 101
4.1.2　傳統數據存儲與管理技術 101
4.1.3　大數據時代的數據存儲與管理技術 103
4.2　分布式存儲 104
4.2.1　分布式存儲的概念 105
4.2.2　Hadoop 106
4.3　NoSQL數據庫 117
4.3.1　NoSQL數據庫概述 117
4.3.2　NoSQL數據庫的分類 117
4.4　雲數據庫 120
4.4.1　雲數據庫概述 120
4.4.2　雲數據庫的特點 120
4.4.3　雲數據庫的應用 121
4.5　數據倉庫 122
4.5.1　數據倉庫概述 122
4.5.2　數據倉庫的應用 123
4.6　本章小結 123
習題 124
第５章　數據預處理 125
5.1　數據清洗 126
5.1.1　數據清洗的應用領域 126
5.1.2　數據清洗的實現方式 127
5.1.3　數據清洗的工作內容 128
5.1.4　數據清洗的註意事項 129
5.1.5　數據清洗的基本流程 130
5.1.6　數據清洗的評價指標 131
5.2　數據集成 132
5.2.1　數據集成概述 132
5.2.2　數據集成技術 132
5.2.3　ETL 133
5.3　數據轉換 134
5.3.1　數據轉換概述 135
5.3.2　平滑處理 136
5.3.3　規範化處理 136
5.4　數據脫敏 137
5.4.1　數據脫敏原則 138
5.4.2　數據脫敏方法 139
5.5　數據預處理實訓——使用Kettle進行數據清洗 139
5.5.1　Kettle中的基本概念 140
5.5.2　Kettle的基本功能 141
5.5.3　Kettle的安裝 142
5.5.4　使用Kettle進行數據抽取 148
5.5.5　使用Kettle進行數據清洗與轉換 153
5.6　本章小結 184
習題 185
第６章　數據分析與挖掘 188
6.1　數據分析概述 189
6.1.1　數據分析的定義 189
6.1.2　數據分析的流程 189
6.1.3　數據分析的方法 191
6.1.4　數據分析的應用案例 197
6.2　數據挖掘概述 197
6.2.1　數據挖掘的定義 198
6.2.2　數據挖掘的基本流程 198
6.2.3　數據挖掘的常用算法和工具 198
6.2.4　數據挖掘的應用 199
6.2.5　數據挖掘的未來發展 200
6.3　數據挖掘的常見算法 200
6.3.1　分類算法 200
6.3.2　聚類算法 203
6.3.3　關聯規則挖掘算法 203
6.3.4　回歸算法 204
6.4　數據分析與挖掘實訓——使用Python實現K-Means聚類 206
6.4.1　K-Means聚類算法 206
6.4.2　加載和探索數據集 206
6.4.3　數據預處理 208
6.4.4　使用K-Means聚類算法進行聚類 210
6.4.5　可視化聚類結果 210
6.4.6　評估聚類結果 212
6.4.7　總結 212
6.5　本章小結 213
習題 214
第７章　數據可視化 216
7.1　數據可視化概述 217
7.1.1　概念 217
7.1.2　數據可視化的作用 219
7.1.3　數據可視化的發展歷史及發展趨勢 221
7.2　數據可視化的方法 222
7.2.1　數據可視化方法選擇原則 222
7.2.2　常用的數據可視化方法 227
7.3　數據可視化的工具 237
7.3.1　拖曳式可視化工具 238
7.3.2　編程可視化庫 240
7.3.3　地理數據可視化工具 246
7.3.4　數據可視化工具的選擇 247
7.4　數據可視化實訓——使用Python實現數據可視化 249
7.4.1　下載並安裝Python 249
7.4.2　安裝數據可視化庫 251
7.4.3　數據可視化案例——Excel 252
7.4.4　數據可視化案例——Matplotlib庫 254
7.4.5　數據可視化案例——Seaborn 255
7.4.6　數據可視化案例——pyecharts 259
7.5　本章小結 261
習題 262
第８章　大數據與信息安全 264
8.1 大數據安全概述 264
8.1.1　傳統數據安全 265
8.1.2　大數據安全與傳統數據安全的不同 266
8.1.3　大數據安全典型案例 267
8.2　大數據帶來的安全問題 270
8.2.1　大數據安全問題 270
8.2.2　大數據發展面臨的問題 272
8.2.3　大數據安全需求 272
8.2.4　大數據安全的特征 274
8.3　大數據信息安全風險因素識別 277
8.3.1　大數據信息安全問題日益凸顯 277
8.3.2　移動互聯網/智能手機是個人信息泄露的重要渠道 279
8.3.3　物聯網應用的安全問題 281
8.3.4　公民的信息安全意識薄弱帶來的信息安全隱患 281
8.4　大數據安全的關鍵技術 284
8.4.1　身份認證技術 284
8.4.2　數據加密技術 285
8.4.3　訪問控制技術 286
8.4.4　數據脫敏技術 286
8.4.5　安全審計 287
8.4.6　數據溯源技術 288
8.4.7　數據分級分類 289
8.4.8　數據備份與恢復技術 290
8.5　大數據安全與政策法規建設 291
8.5.1　國內外大數據安全相關措施 291
8.5.2　樹立隱私價值觀 292
8.5.3　確定第三方數據的訪問權限 293
8.5.4　制定大數據信息安全法律法規 294
8.5.5　大數據時代個人信息的法律保護 295
8.6　本章小結 298
習題 298
第９章　大數據的典型應用 300
9.1　大數據在社交網絡領域的應用 300
9.1.1　社交網絡數據概述 301
9.1.2　社交網絡的關鍵技術 303
9.1.3　社交網絡大數據的應用 304
9.2　大數據在生物醫療領域的應用 308
9.2.1　流行病預測 308
9.2.2　智慧治療 310
9.2.3　生物信息學 311
9.3　大數據在金融領域的應用 312
9.3.1　金融大數據概述 312
9.3.2　金融大數據的關鍵技術 314
9.3.3　金融大數據的應用 317
9.4　大數據在交通領域的應用 318
9.4.1　交通大數據概述 318
9.4.2　交通大數據的關鍵因素 320
9.4.3　交通大數據的應用 321
9.5　本章小結 323
習題 323
參考文獻 325