大數據技術及應用教程（第2版）

本書詳細介紹了大數據技術的基礎理論和主流前沿技術。全書共分9章，分別介紹目前面臨的大數據時代、大數據系統的基本結構、大數據採集與預處理、大數據處理基礎架構——雲計算、計算模式與處理系統、查詢展現與交互、大數據分析與數據挖掘、隱私與安全、前沿技術及應用、行業案例研究。 每一章除講解相關理論外，還講解了適用技術及案例。各章都附有案例以幫助讀者學習、理解和實際工程應用。為方便教師教學，本書附有全套教學PPT課件、教學大綱、教學計劃。 本書主要作為高等院校電腦類專業、電子信息類專業、經濟類專業、管理類專業相關本科生和研究生專業基礎課的教材，也可以作為乾部培訓、職業技術教育以及職業培訓機構的雲計算與大數據分析技術的專業訓練教材。

目錄

第一部分大數據基礎知識

第1章大數據時代3

1.1數據時代3

1.1.1大數據時代的到來3

1.1.2數據、信息與知識的演進3

1.1.3數據6

1.2大數據8

1.2.1什麽是大數據8

1.2.2大數據發展歷史與現狀9

1.2.3大數據產業10

1.3大數據技術基礎10

1.3.1傳統的大數據處理流程10

1.3.2大數據核心技術11

1.3.3大數據技術分類12

1.3.4大數據分析的方法理論14

1.4大數據的社會價值15

1.5大數據的商業應用16

1.5.1商業大數據的類型和價值挖掘方法16

1.5.2大數據的十大商業應用場景17

1.5.3成為“大數據企業”19

1.6大數據應用案例: 《非誠勿擾》男女嘉賓牽手數據分析19

習題與思考題23

第2章大數據系統的基本架構24

2.1大數據系統總體架構24

2.2大數據技術框架25

2.3大數據技術進展27

2.3.1典型的大數據技術棧28

2.3.2大數據技術生態28

2.4大數據應用案例: 在“北上廣”打拼是怎樣一種體驗30

習題與思考題34

〖3〗大數據技術及應用教程(第2版)目錄〖3〗第二部分大數據理論與技術

第3章大數據系統輸入39

3.1大數據採集過程及數據來源39

3.1.1大數據採集來源39

3.1.2大數據採集過程40

3.2大數據採集方法40

3.3大數據導入/預處理42

3.3.1大數據導入/預處理的過程42

3.3.2數據清洗的過程44

3.3.3數據清洗與數據採集技術46

3.3.4基於大數據的數據預處理47

3.4數據集成49

3.4.1數據集成的概念49

3.4.2數據集成面臨的問題49

3.5數據變換49

3.5.1異構數據分析50

3.5.2異構數據交換策略51

3.5.3異構數據交換技術52

3.6大數據應用案例: 電影《爸爸去哪兒》大賣有前兆嗎54

習題與思考題61

第4章大數據系統處理63

4.1雲計算63

4.1.1雲計算系統的體系結構63

4.1.2雲計算的核心技術64

4.1.3雲計算的主要服務形式68

4.1.4大數據平臺的作用69

4.2大數據存儲70

4.2.1海量數據的存儲需求71

4.2.2海量數據存儲技術71

4.2.3雲存儲72

4.2.4NoSQL非結構化數據庫73

4.2.5數據倉庫74

4.3大數據計算模式與處理系統75

4.3.1數據計算75

4.3.2聚類算法77

4.3.3數據集成77

4.3.4數據處理語言81

4.4大數據應用案例: 北京人在哪兒上班和睡覺82

習題與思考題85

第5章大數據系統輸出87

5.1數據的查詢87

5.1.1在常規數據庫查詢結構化數據87

5.1.2大數據時代的數據搜索87

5.1.3數據庫與信息檢索技術的比較89

5.2網絡數據索引與查詢技術90

5.2.1搜索引擎技術概述90

5.2.2Web搜索引擎的工作原理91

5.3大數據索引和查詢技術94

5.3.1大數據索引和查詢94

5.3.2大數據處理索引工具MapReduce94

5.3.3相似性搜索工具96

5.4數據展現與交互98

5.4.1數據可視化98

5.4.2知識圖譜103

5.5大數據應用案例: 上海的房子都被誰買走了105

習題與思考題109

第6章大數據分析與數據挖掘111

6.1大數據分析及其應用111

6.1.1數據處理和分析的發展111

6.1.2大數據分析面對的數據類型113

6.1.3大數據分析與處理方法114

6.1.4數據分析的步驟114

6.1.5大數據分析的應用116

6.2數據挖掘技術119

6.2.1數據挖掘的定義119

6.2.2利用數據挖掘進行數據分析的常用方法120

6.2.3數據挖掘的功能121

6.2.4數據挖掘的流程122

6.2.5數據挖掘的應用124

6.3商業智能與數據分析125

6.3.1商業智能技術輔助決策的發展125

6.3.2商業智能系統架構125

6.3.3商業智能的技術體系125

6.3.4商務智能=數據+分析+決策+利益127

6.4大數據營銷業務模型128

6.4.1大數據對業務模式的影響128

6.4.2大數據營銷的定義與特點129

6.4.3網絡營銷大數據實際操作132

6.4.4大數據營銷方法135

6.5基於社會媒體的分析預測技術139

6.5.1基於空間大數據的社會感知139

6.5.2基於社會媒體的預測技術142

6.5.3基於消費意圖挖掘的預測144

6.5.4基於事件抽取的預測146

6.5.5基於因果分析的預測147

6.6大數據應用案例: 用大數據看風水——以星巴克和海底撈的選址為例150

習題與思考題153

第7章大數據隱私與安全155

7.1大數據面臨的安全問題155

7.2大數據安全與隱私保護的關鍵技術159

7.2.1基於大數據的威脅發現技術159

7.2.2基於大數據的認證技術160

7.2.3基於大數據的數據真實性分析161

7.2.4大數據與“安全即服務”162

7.3大數據安全的防護策略162

7.4大數據應用案例: 數據解讀城市——北京本地人VS外地人163

習題與思考題172

第三部分大數據前沿技術及應用

第8章大數據前沿技術及應用概述175

8.1大數據技術發展趨勢175

8.2機器學習177

8.2.1機器學習的定義和例子177

8.2.2機器學習的範圍179

8.2.3機器學習的算法181

8.2.4機器學習的應用——大數據186

8.3深度學習188

8.3.1深度學習的概念188

8.3.2深度學習的應用190

8.4人工智能191

8.4.1大數據時代的人工智能192

8.4.2人工智能的應用範例192

8.4.3人工智能概念與分類195

8.5大數據應用案例： 神經網絡——阿爾法圍棋（AlphaGo）196

第四部分行 業 案 例

第9章行業案例研究203

9.1銀行業應用203

9.1.1大數據時代: 銀行如何玩轉數據挖掘203

9.1.2中國工商銀行客戶關系管理案例205

9.1.3銀行風險管理208

9.2保險業應用212

9.2.1保險業擁抱大數據時代或帶來顛覆性變革212

9.2.2保險欺詐識別214

9.3證券期貨應用215

9.3.1安徽省使用大數據監管證券期貨215

9.3.2大數據分析挖出基金“老鼠倉”的啟示216

9.4金融行業應用217

9.4.1大數據決定互聯網金融未來217

9.4.2移動大數據在互聯網金融反欺詐領域的應用220

9.5大數據應用案例: 網民睡眠面面觀222

參考文獻224