大數據管理與應用

目錄

 

 

第1章大數據簡介/1

1.1何為大數據2

1.1.1大數據時代的到來2

1.1.2大數據的來源與發展4

1.1.3大數據定義7

1.1.4大數據的分類8

1.2世界各國大數據發展戰略9

1.2.1中國大數據發展戰略9

1.2.2國外主要國家大數據發展戰略14

1.3大數據特征15

1.3.1大數據的結構化15

1.3.2大數據的5V特點16

1.3.3大數據的3S/3I特點21

1.4大數據全生命周期22

1.5大數據對經濟社會發展的影響24

1.5.1大數據引發的社會變革24

1.5.2大數據引發的經濟變革25

1.5.3大數據引發的個人生活方式變化27

1.6大數據的戰略意義與面臨的挑戰27

1.6.1大數據的戰略意義27

1.6.2大數據發展面臨的挑戰28

課後習題29

第2章大數據的獲取/30

2.1大數據獲取概述31

2.1.1大數據的獲取來源31

2.1.2大數據獲取的概念和類型31

2.2網絡爬蟲32

2.2.1網絡爬蟲的概念與類型32

2.2.2網絡爬蟲的基本爬取方式33

2.2.3網絡爬蟲的爬取策略332.2.4數據解析35

2.3互聯網數據獲取方法40

2.3.1網絡爬蟲框架40

2.3.2采集器軟件45

2.3.3其他互聯網數據獲取方法47

2.4離線數據獲取方法47

2.4.1傳感器47

2.4.2系統日誌48

2.5實踐案例: “無人潛水器”專利數據采集49

2.5.1采集目標49

2.5.2使用Python網絡爬蟲49

2.5.3使用網絡爬蟲框架54

2.5.4使用采集器軟件57

課後習題64

第3章大數據預處理/66

3.1大數據預處理概述67

3.1.1數據存在的問題67

3.1.2數據預處理的主要任務67

3.2數據清洗68

3.2.1缺失值處理68

3.2.2重復值處理68

3.2.3異常值處理69

3.2.4邏輯錯誤清洗70

3.3數據集成71

3.3.1實體統一問題71

3.3.2數據冗余問題72

3.3.3數據沖突問題73

3.4數據變換74

3.4.1簡單函數變換74

3.4.2數據標準化75

3.4.3數據離散化76

3.4.4數據編碼77

3.5數據歸約77

3.5.1數量歸約77

3.5.2維度歸約77

3.6實踐案例: 專利情報數據預處理78

3.6.1數據清洗78

3.6.2數據集成80

3.6.3數據變換80

3.6.4數據歸約82

課後習題83

第4章大數據存儲技術/85

4.1大數據存儲概述86

4.1.1大數據存儲的關鍵問題與面臨的挑戰86

4.1.2大數據存儲方式87

4.2基於文件系統的數據存儲88

4.2.1基於文件系統的數據存儲的特點與優勢88

4.2.2分布式文件系統89

4.2.3Hadoop分布式文件系統90

4.3基於關系數據庫的數據存儲91

4.3.1什麼是關系數據庫91

4.3.2基於關系數據庫的數據存儲的特點與優勢92

4.3.3MySQL數據庫93

4.4NoSQL數據存儲94

4.4.1NoSQL數據存儲的特點與優勢94

4.4.2鍵值數據庫95

4.4.3列族數據庫95

4.4.4文檔數據庫96

4.4.5圖形數據庫96

4.4.6關系數據庫與非關系數據庫的比較97

4.5新一代大數據存儲技術97

4.5.1雲存儲技術97

4.5.2NewSQL99

4.6實踐案例: Neo4j導入藥材供應鏈數據102

4.6.1Neo4j安裝102

4.6.2Neo4j啟動104

4.6.3Cypher基本語句106

4.6.4藥材供應鏈數據下載與介紹109

4.6.5圖數據庫構建與可視化111

附錄117

課後習題118

第5章大數據分析與挖掘方法/120

5.1大數據分析與挖掘方法概述121

5.1.1大數據分析與數據挖掘的含義121

5.1.2大數據分析與挖掘的發展趨勢121

5.2大數據分析的類型122

5.2.1描述性分析122

5.2.2診斷性分析127

5.2.3預測性分析128

5.2.4規範性分析129

5.3大數據分析與挖掘的經典模型130

5.3.1分類算法130

5.3.2聚類算法133

5.3.3回歸分析算法136

5.3.4關聯規則挖掘算法138

5.4大數據分析與挖掘的現代模型140

5.4.1神經網絡140

5.4.2深度學習142

5.4.3強化學習144

5.4.4大模型147

5.5大數據分析與挖掘的應用場景148

5.5.1文本數據分析148

5.5.2圖像數據分析151

5.5.3音頻數據分析153

5.5.4其他非結構化數據分析155

5.6實踐案例: 基於某社交平臺的推文內容分析156

5.7實踐案例: 基於水下無人潛水器技術專利的Kmeans聚類分析158

課後習題160

第6章大數據可視化展示/161

6.1數據可視化概述162

6.1.1什麼是數據可視化162

6.1.2數據可視化的發展162

6.1.3大數據可視化的分類163

6.2數據可視化基礎166

6.2.1數據可視化的基本流程166

6.2.2數據可視化設計原則167

6.2.3大數據可視化的圖表類型168

6.3大數據可視化方法應用171

6.3.1時間數據可視化171

6.3.2關系數據可視化172

6.3.3文本數據可視化173

6.3.4比例數據可視化175

6.4大數據可視化工具與軟件175

6.4.1常見的大數據可視化技術175

6.4.2ECharts180

6.4.3D3.js187

6.5實踐案例: 基於某社交平臺帖子數據的可視化190

6.5.1可視化實現思路190

6.5.2時間數據可視化192

6.5.3關系數據可視化199

6.5.4文本數據可視化200

6.5.5比例數據可視化201

課後習題203

第7章大數據驅動的管理變革/204

7.1大數據驅動的管理變革概述205

7.1.1大數據時代管理面臨的問題和挑戰205

7.1.2大數據時代管理變革的整體架構206

7.1.3大數據時代管理變革的不同階段207

7.2大數據時代的管理思維變革208

7.2.1經驗主義與數據主義208

7.2.2自上而下管理與協同參與管理209

7.2.3人工決策與智能決策211

7.3大數據時代的組織結構變革212

7.3.1組織結構變革框架212

7.3.2組織結構類型213

7.3.3組織結構變革方法214

7.4大數據時代的運營模式變革215

7.4.1研發模式變革215

7.4.2生產模式變革216

7.4.3營銷模式變革217

7.5大數據時代的管理決策變革218

7.5.1傳統管理決策範式218

7.5.2大數據驅動的管理決策範式轉變219

7.5.3大數據驅動的管理決策框架222

7.5.4不同類型數據的管理決策223

7.6大數據時代的管理決策應用227

7.6.1商務大數據決策應用227

7.6.2交通大數據決策應用230

7.6.3醫療大數據決策應用235

課後習題240

第8章數據質量管理/242

8.1數據質量管理概述243

8.1.1數據質量的基本概念243

8.1.2影響數據質量的因素247

8.1.3數據質量管理的流程248

8.2數據質量管理技術與工具249

8.2.1數據質量管理技術249

8.2.2數據質量管理工具251

8.3數據質量評估方法252

8.3.1定性評估方法252

8.3.2定量評估方法254

8.3.3綜合評估方法255

8.4數據質量提升方法259

8.4.1事前數據質量提升方法260

8.4.2事中數據質量提升方法261

8.4.3事後數據質量提升方法262

8.5實踐案例: 社交媒體平臺數據質量評估263

8.5.1數據源及數據集說明263

8.5.2數據質量維度264

8.5.3數據質量評估265

8.5.4數據質量評估結果266

課後習題267

第9章大數據開放共享/268

9.1大數據開放共享的定義和框架269

9.1.1大數據開放共享的定義269

9.1.2大數據開放共享的多元主體269

9.1.3大數據開放共享流程框架270

9.1.4大數據開放共享流程271

9.2大數據開放共享技術和工具272

9.2.1大數據開放共享的技術272

9.2.2大數據開放共享的工具274

9.3大數據開放共享風險分析與安全防護274

9.3.1大數據開放共享風險分析274

9.3.2大數據開放共享安全體系設計275

9.4目前大數據開放共享面臨的挑戰276

9.4.1大數據開放共享的隱私風險276

9.4.2大數據開放共享標準規範問題277

9.4.3公益性與收益模式間的平衡問題277

9.5政府數據開放共享應用277

9.5.1政府數據開放共享277

9.5.2實踐案例: 貴州省政府數據開放共享應用278

課後習題281

參考文獻/282