大數據概論

本書理論聯系實際，配以大量實例，系統地介紹了大數據有關的基礎知識。全書共分10章，內容包括大數據概述，大數據、雲計算與物聯網，大數據架構與Hadoop，數據採集與預處理，大數據分析與大數據挖掘，數據存儲與HDFS，MapReduce，數據可視化，大數據安全，大數據應用案例。 本書主要作為本科和高職高專相關專業的教材，也可作為相關行業從業人員的讀物，還可以作為培訓教材。

高騰剛，副教授，武漢大學碩士，計算機技術專業畢業，主持參與項目7項，其中國j級1項，省級2項，校級4項，發表論文10餘篇，參編教材2部。

程星晶，副教授，貴州大學碩士，計算機應用技術專業畢業，主持參與項目4項，其中省級3項，校級1項，發表論文8餘篇，編寫教材3部，具有豐富的教材編寫經驗。

目錄
第1章大數據概述1
1.1大數據定義和特徵1
1.1.1大數據定義1
1.1.2大數據的特徵1
1.1.3大數據發展歷程2
1.2大數據的影響4
1.3大數據發展趨勢4
1.4大數據的關鍵技術8
1.5大數據的計算模式10
1.6大數據的應用領域11
1.7數據資源化和交易13
1.7.1數據資源化13
1.7.2大數據交易14
1.8大數據安全與隱私15
1.9本章小結16
習題17

第2章大數據、雲計算與物聯網18
2.1雲計算18
2.1.1雲計算概述18
2.1.2雲計算的分類19
2.1.3雲計算的基本特點20
2.1.4雲計算的關鍵技術21
2.1.5雲計算的應用24
2.2物聯網26
2.2.1物聯網概述27
2.2.2物聯網的發展過程27
2.2.3物聯網的特徵28
2.2.4物聯網的關鍵技術30
2.2.5物聯網系統結構31
2.2.6物聯網的應用33
2.3大數據、雲計算與物聯網三者之間的關系36
2.4本章小結39
目錄大數據概論習題39

第3章大數據架構與Hadoop40
3.1大數據架構40
3.1.1大數據架構概述40
3.1.2數據類型41
3.1.3大數據架構及數據解決方案42
3.2Hadoop概述46
3.2.1Hadoop簡介46
3.2.2Hadoop的發展歷程46
3.2.3Hadoop的特點47
3.2.4Hadoop應用現狀47
3.2.5Hadoop的版本49
3.3Hadoop的生態系統概述50
3.3.1Hadoop的生態系統50
3.3.2Hadoop的組成介紹51
3.4Hadoop的安裝55
3.4.1安裝前的準備55
3.4.2安裝VirtualBox56
3.4.3安裝Linux發行版Ubuntu57
3.4.4創建Hadoop用戶61
3.4.5設置SSH無密碼登錄61
3.4.6安裝Java環境62
3.4.7安裝單機Hadoop62
3.4.8安裝偽分佈式Hadoop63
3.5本章小結66
習題66

第4章數據採集與預處理67
4.1大數據採集67
4.1.1大數據採集概述67
4.1.2大數據採集方法70
4.2大數據採集工具72
4.2.1Flume73
4.2.2Kafka75
4.2.3Sqoop77
4.2.4Scribe80
4.3大數據預處理技術81
4.3.1預處理意義81
4.3.2預處理方法82
4.4本章小結91
習題92

第5章大數據分析與大數據挖掘93
5.1大數據分析的基本概念93
5.1.1數據分析概論93
5.1.2數據分析的類型94
5.2大數據分析方法95
5.2.1數據分析方法概述95
5.2.2數據分析過程97
5.2.3數據處理結果分析98
5.3數據挖掘概述105
5.3.1數據和知識105
5.3.2數據挖掘的概念106
5.3.3數據挖掘過程106
5.3.4數據挖掘技術107
5.4分類算法108
5.4.1樸素貝葉斯分類109
5.4.2SVM算法114
5.5聚類算法117
5.5.1kmeans算法118
5.5.2DBSCAN算法121
5.6Apriori頻繁項集挖掘算法125
5.6.1Apriori算法原理126
5.6.2Apriori算法的基本思想127
5.6.3Apriori算法流程128
5.6.4Apriori算法的優缺點128
5.6.5Apriori算法實例129
5.7常用挖掘工具130
5.7.1Mahout130
5.7.2Spark MLlib132
5.8本章小結135
習題135

第6章數據存儲與HDFS136
6.1大數據存儲136
6.1.1大數據存儲概述136
6.1.2分佈式存儲系統137
6.1.3雲存儲140
6.2數據倉庫141
6.2.1數據倉庫概述141
6.2.2數據倉庫架構及構建143
6.2.3數據集市147
6.3HDFS簡介148
6.3.1HDFS概述148
6.3.2HDFS的優點和缺點149
6.4HDFS基本技術150
6.4.1數據塊150
6.4.2名稱節點、數據節點和第二名稱節點151
6.5HDFS體系結構154
6.5.1HDFS體系結構概述154
6.5.2HDFS命名空間155
6.5.3通信協議和客戶端155
6.5.4HDFS 1.0體系結構的局限性155
6.5.5HDFS 2.0設計156
6.6HDFS存儲原理156
6.6.1數據的冗餘存儲156
6.6.2如何存取數據157
6.6.3如何恢復數據158
6.7HDFS的文件讀寫操作過程159
6.7.1HDFS讀取數據的過程159
6.7.2HDFS寫入數據的過程161
6.8HDFS編程實例163
6.8.1使用Shell命令與HDFS進行交互163
6.8.2在Web上顯示HDFS165
6.8.3使用Java API與HDFS進行交互166
6.9本章小結170
習題170

第7章MapReduce171
7.1MapReduce概述171
7.1.1MapReduce的基本概念171
7.1.2MapReduce的思想172
7.1.3MapReduce的抽象方法173
7.2Map和Reduce任務173
7.2.1函數式編程173
7.2.2mapper和reducer174
7.3MapReduce執行框架和工作流程176
7.3.1執行框架176
7.3.2MapReduce工作流程概述178
7.3.3Shuffle執行過程179
7.3.4分割器和組合器182
7.4MapReduce算法及應用183
7.4.1概述183
7.4.2本地聚合183
7.4.3對和條紋188
7.4.4相對頻率191
7.5MapReduce編程實例193
7.6本章小結197
習題197

第8章數據可視化199
8.1大數據可視化概述199
8.1.1何為數據可視化199
8.1.2大數據可視化方法203
8.2大數據可視化軟件工具213
8.2.1Excel213
8.2.2Tableau214
8.2.3魔鏡214
8.2.4ECharts215
8.2.5D3215
8.3數據可視化實例216
8.3.1用Tableau製作一個圖表實例216
8.3.2用魔鏡製作一個圖表實例222
8.3.3用ECharts製作一個圖表實例225
8.4本章小結226
習題227

第9章大數據安全228
9.1大數據安全概述228
9.1.1大數據安全的基本概念228
9.1.2雲安全與大數據安全231
9.1.3大數據安全技術分類231
9.1.4大數據安全管理體系架構232
9.2大數據隱私保護233
9.2.1大數據隱私保護的意義和重要作用233
9.2.2大數據隱私保護面臨的問題與挑戰234
9.2.3大數據隱私保護技術236
9.3大數據在安全管理中的應用239
9.3.1大數據在公共安全管理中的應用239
9.3.2大數據在煤礦安全管理中的應用241
9.3.3大數據在安全管理應急方面的應用242
9.4數據脫敏技術247
9.4.1數據交互安全與脫敏技術247
9.4.2靜態數據脫敏技術247
9.4.3動態數據脫敏技術248
9.4.4數據脫敏實例248
9.5本章小結249
習題249

第10章大數據應用案例250
10.1大數據在智慧醫療中的應用250
10.1.1大數據在醫療信息化行業的應用250
10.1.2大數據在臨床決策支持系統的功能應用252
10.1.3大數據在遠程醫療方面的應用253
10.2大數據在金融行業中的應用256
10.2.1民生銀行在大數據上的應用256
10.2.2大數據在阿裡巴巴上的應用258
10.2.3大數據時代信用卡的使用259
10.2.4Kabbage 用大數據開闢新路徑260
10.3大數據在智慧校園中的應用261
10.3.1大數據在微課方面的應用261
10.3.2大數據在慕課方面的應用262
10.3.3大數據在智慧教育雲下的應用264
10.3.4大數據在學習分析及乾預中的應用266
10.4大數據在智慧城市中的應用267
10.4.1大數據在智慧城市中應用與管理方面的應用267
10.4.2大數據在智慧城市中環境方面的應用268
10.4.3大數據挖掘技術在智能交通中的應用269
10.5本章小結271
習題272

參考文獻273