雲計算與大數據

雲計算和大數據已經被譽為21世紀發展的科技新動力，雲計算與大數據有機結合，為電子商務、電子政務、在線金融、智能製造、智慧城市等各個領域提供強有力的支持，推動著新經濟時代的發展。本書共16章，分為雲計算篇、大數據篇、平臺篇。雲計算篇主要介紹雲計算的一般性概念、原理和相關機制；大數據篇重點介紹大數據的基本概念、關鍵技術和典型應用。平臺篇重點介紹雲計算與大數據的相關平臺。

徐小龍，南京郵電大學計算機學院教授，博士生導師。 "通信與信息系統專業”博士，"電子科學與技術”博士後流動站博士後（出站），國家卓越工程師計劃專業負責人。 2011年獲得國家留學基金委資助赴英國從事博士後研究，一直從事分佈式計算、移動計算、物聯網、信息網絡與信息安全等技術領域的教學和科研工作。

目　　錄
第1篇　雲計算篇（1）
第1章　雲計算概覽（3）
1.1　雲計算的定義與特徵（3）
1.1.1　雲計算的定義（3）
1.1.2　雲計算的產生與發展（5）
1.1.3　雲計算的典型特徵（6）
1.2　雲計算的體系架構與關鍵技術（7）
1.2.1　雲計算的體系架構（7）
1.2.2　雲計算的關鍵技術（8）
1.3　雲計算數據中心（9）
1.3.1　數據中心定義（9）
1.3.2　數據中心構成（10）
1.3.3　典型的數據中心（10）
1.4　雲計算與其他技術（11）
1.4.1　雲計算與大數據（11）
1.4.2　雲計算與區塊鏈（13）
1.4.3　雲計算與病毒防禦（14）
1.4.4　雲計算與邊緣計算（15）
1.5　本章小結（16）
本章參考文獻（16）
第2章　虛擬化與容器技術（19）
2.1　虛擬化概述（19）
2.1.1　虛擬化技術的定義（19）
2.1.2　虛擬化技術的產生與發展（20）
2.1.3　虛擬化技術的特徵與優勢（20）
2.1.4　虛擬化技術的類型（21）
2.2　虛擬化關鍵技術（21）
2.2.1　服務器虛擬化（21）
2.2.2　存儲虛擬化（23）
2.2.3　網絡虛擬化（24）
2.2.4　應用程序虛擬化（25）
2.2.5　桌面虛擬化（25）
2.2.6　虛擬機遷移（25）
2.3　典型虛擬化軟件（27）
2.3.1　Xen（27）
2.3.2　VMware的vSphere（27）
2.3.3　Microsoft的Hyper-V（29）
2.3.4　Linux的KVM（29）
2.4　容器技術（31）
2.4.1　容器技術的定義與優勢（31）
2.4.2　Docker的核心組件（32）
2.4.3　Docker的安裝（35）
2.4.4　Docker的調度工具（37）
2.4.5　Docker的作用（38）
2.5　本章小結（38）
本章參考文獻（38）
第3章　雲存儲（41）
3.1　雲存儲的基本概念（41）
3.1.1　數據存儲需求（41）
3.1.2　雲存儲的定義（42）
3.1.3　雲存儲系統的體系架構（42）
3.1.4　雲存儲系統的網絡架構（43）
3.1.5　雲存儲系統的主要優勢（43）
3.2　雲存儲的關鍵技術（44）
3.2.1　分佈式存儲（44）
3.2.2　數據副本技術（47）
3.2.3　數據備份技術（50）
3.2.4　數據一致性技術（50）
3.3　典型的雲存儲服務S3（52）
3.3.1　AWS中的S3簡介（52）
3.3.2　S3基本數據結構（52）
3.3.3　S3的性能優勢（53）
3.4　典型的雲存儲服務平台（53）
3.4.1　iCloud（53）
3.4.2　百度網盤（54）
3.5　本章小結（55）
本章參考文獻（55）
第4章　雲計算系統監管（57）
4.1　雲計算系統的資源監管體系（57）
4.1.1　雲計算系統的資源監管對象（57）
4.1.2　雲計算系統的資源監管目標（58）
4.1.3　雲計算系統的資源監管架構（58）
4.2　雲計算系統的資源監測（59）
4.2.1　雲計算系統資源監測的挑戰（59）
4.2.2　雲計算系統資源監測的目標（60）
4.2.3　雲計算系統資源監測的架構（60）
4.2.4　監測數據採集（62）
4.2.5　分佈式協同監測模型（64）
4.3　雲計算系統的任務調度（69）
4.3.1　任務調度的概念（69）
4.3.2　任務調度的原則（70）
4.3.3　任務調度的算法（70）
4.3.4　任務調度的模型（71）
4.4　雲計算系統的網絡監管（73）
4.4.1　網絡監管的概念（73）
4.4.2　網絡監管的功能（73）
4.4.3　雲數據中心網絡（75）
4.4.4　網絡流量的調度（79）
4.5　雲資源監管系統（83）
4.5.1　雲資源監管系統的架構（83）
4.5.2　雲資源監管系統的實現（84）
4.5.3　常用的雲資源監管系統（91）
4.6　本章小結（94）
本章參考文獻（94）
第5章　雲計算安全（97）
5.1　雲計算安全問題分析（97）
5.1.1　雲計算安全現狀（97）
5.1.2　雲計算安全問題來源（98）
5.1.3　雲計算安全問題分類（98）
5.2　雲計算安全保障技術（99）
5.2.1　雲計算安全目標（99）
5.2.2　身份認證機制（100）
5.2.3　訪問控制機制（102）
5.2.4　租戶隔離技術（103）
5.2.5　數據加密技術（104）
5.2.6　數據完整性驗證（106）
5.2.7　雲計算審計與安全溯源（108）
5.3　雲計算安全服務體系（109）
5.3.1　雲計算安全服務體系的架構（109）
5.3.2　AWS的雲安全模塊（112）
5.3.3　Azure的雲安全模塊（112）
5.3.4　BlueCloud的雲安全模塊（112）
5.4　本章小結（113）
本章參考文獻（113）
第6章　雲計算節能技術（115）
6.1　雲數據中心的能耗（115）
6.1.1　雲數據中心的規模（115）
6.1.2　雲數據中心的能耗現狀（115）
6.1.3　雲數據中心的能耗組成（116）
6.2　雲數據中心的能效評價體系（118）
6.2.1　雲數據中心的能效評價標準（118）
6.2.2　雲數據中心的能效評價指標（119）
6.3　綠色雲計算節能技術（121）
6.3.1　綠色計算與綠色雲計算（121）
6.3.2　節能優化技術（122）
6.3.3　綠色雲計算模型（124）
6.4　節能的雲數據管理（128）
6.4.1　雲數據模型（128）
6.4.2　有序數據聚集（128）
6.4.3　重複數據刪除（129）
6.5　本章小結（134）
本章參考文獻（134）
第2篇　大數據篇（137）
第7章　大數據概覽（139）
7.1　大數據的基本概念（139）
7.1.1　DIKW體系（139）
7.1.2　大數據時代（141）
7.1.3　大數據的定義（142）
7.1.4　大數據的特徵（143）
7.2　大數據技術及平台（144）
7.2.1　大數據的生命週期（144）
7.2.2　大數據的關鍵技術（144）
7.2.3　大數據平台（145）
7.3　數據思維與大數據價值（151）
7.3.1　數據思維（151）
7.3.2　大數據的價值（152）
7.3.3　大數據的重點應用領域（152）
7.4　典型的大數據（154）
7.4.1　網絡百科大數據（154）
7.4.2　醫療健康大數據（158）
7.4.3　災害大數據（159）
7.4.4　製造業大數據（160）
7.5　本章小結（162）
本章參考文獻（162）
第8章　大數據採集（165）
8.1　數據採集概述（165）
8.1.1　數據採集的概念（165）
8.1.2　數據採集的性能要求（165）
8.1.3　傳統數據採集和大數據採集（166）
8.2　數據採集的工具（166）
8.2.1　網絡數據採集（166）
8.2.2　感知設備數據採集（168）
8.2.3　系統日誌採集（169）
8.3　分佈式數據採集（170）
8.3.1　分佈式數據採集系統（170）
8.3.2　分佈式數據採集系統的架構（171）
8.4　定向數據採集（173）
8.4.1　定向數據採集的基本工作原理（173）
8.4.2　定向數據採集算法（174）
8.4.3　定向數據採集系統的發展（175）
8.5　網絡數據採集系統（175）
8.5.1　基於網絡的地震數據採集（175）
8.5.2　網絡數據採集系統的架構（176）
8.5.3　網絡數據採集系統的功能模塊（178）
8.5.4　網絡數據採集系統的界面展示（180）
8.6　本章小結（182）
本章參考文獻（182）
第9章　大數據處理（183）
9.1　大數據預處理（183）
9.1.1　數據預處理概述（183）
9.1.2　數據清洗（184）
9.1.3　數據集成（187）
9.1.4　數據轉換（189）
9.1.5　數據歸約（190）
9.2　數據處理任務（190）
9.2.1　數據處理概述（190）
9.2.2　分類任務（191）
9.2.3　聚類任務（192）
9.2.4　關聯分析任務（193）
9.3　數據處理方法（193）
9.3.1　數據挖掘（193）
9.3.2　機器學習（200）
9.3.3　深度學習（202）
9.4　大數據處理架構（211）
9.4.1　集中式處理架構（211）
9.4.2　分佈式處理架構（212）
9.5　本章小結（212）
本章參考文獻（213）
0章　大數據應用（217）
10.1　生物電大數據（217）
10.1.1　生物電信號概述（217）
10.1.2　基於腦電數據的疲勞監測方法（219）
10.1.3　基於腦電數據的疲勞監測系統（225）
10.2　軌跡大數據（226）
10.2.1　軌跡大數據概述（226）
10.2.2　基於軌跡大數據的路徑規劃方法（229）
10.2.3　基於軌跡大數據的路徑規劃系統（236）
10.3　文本大數據（237）
10.3.1　文本大數據概述（237）
10.3.2　基於文本大數據的問題分類方法（242）
10.3.3　基於文本大數據的智能問答系統（246）
10.4　圖像大數據（249）
10.4.1　圖像大數據概述（249）
10.4.2　基於圖像大數據的目標檢測方法（250）
10.4.3　面向自動駕駛的目標檢測系統（255）
10.5　本章小結（259）
本章參考文獻（259）
1章　大數據隱私保護（265）
11.1　隱私保護問題分析（265）
11.1.1　數據隱私保護現狀（265）
11.1.2　數據隱私問題來源（266）
11.1.3　數據隱私保護目標（266）
11.2　隱私保護關鍵技術（266）
11.2.1　隱私保護技術概述（266）
11.2.2　匿名技術（267）
11.2.3　加密技術（271）
11.2.4　失真技術（273）
11.2.5　數據銷毀技術（276）
11.3　差分隱私保護機制（279）
11.3.1　本地化差分隱私技術（279）
11.3.2　中心化差分隱私保護實踐（281）
11.4　軌跡大數據的隱私保護（283）
11.4.1　基於差分隱私的軌跡大數據泛化機制（283）
11.4.2　軌跡大數據應用管理系統及隱私數據保護模塊（284）
11.5　本章小結（288）
本章參考文獻（288）
第3篇　平台篇（291）
2章　商用雲計算平台（293）
12.1　 雲計算平台（293）
12.1.1　系統簡介（293）
12.1.2　分佈式文件系統Dynamo（293）
12.1.3　彈性計算雲EC2（295）
12.2　Microsoft雲計算平台（297）
12.2.1　系統簡介（297）
12.2.2　服務組件（298）
12.2.3　Azure Kubernetes服務（300）
12.2.4　Azure Cosmos DB（300）
12.2.5　Azure存儲（301）
12.3　阿里雲計算平台（301）
12.3.1　系統簡介（301）
12.3.2　彈性計算（302）
12.3.3　存儲（304）
12.3.4　數據庫（305）
12.4　本章小結（306）
本章參考文獻（306）
3章　雲操作系統OpenStack（307）
13.1　操作系統概覽（307）
13.1.1　操作系統基本概念（307）
13.1.2　新型操作系統（308）
13.1.3　雲操作系統（310）
13.2　OpenStack簡介（311）
13.2.1　來源背景（311）
13.2.2　版本演變（311）
13.3　OpenStack的體系架構與核心組件（312）
13.3.1　OpenStack的體系架構（312）
13.3.2　OpenStack的核心組件（313）
13.4　OpenStack的安裝與部署（321）
13.4.1　OpenStack代碼、SDK和相關工具的獲取（321）
13.4.2　OpenStack對安裝環境的要求（322）
13.4.3　OpenStack的安裝過程（322）
13.4.4　OpenStack的部署配置（326）
13.5　本章小結（331）
本章參考文獻（331）
4章　雲仿真平台CloudSim（333）
14.1　仿真平台概覽（333）
14.1.1　仿真的基本概念（333）
14.1.2　雲仿真平台介紹（334）
14.2　CloudSim簡介（335）
14.3　CloudSim架構與核心類（336）
14.3.1　體系架構（336）
14.3.2　核心類介紹（336）
14.4　CloudSim的安裝與部署（337）
14.4.1　CloudSim安裝包的獲取（337）
14.4.2　CloudSim對安裝環境的要求（338）
14.4.3　CloudSim的安裝過程（338）
14.4.4　CloudSim實例的運行（339）
14.5　本章小結（346）
本章參考文獻（346）
5章　分佈式大數據處理平台Hadoop（347）
15.1　分佈式系統概覽（347）
15.1.1　分佈式系統的基本概念（347）
15.1.2　典型分佈式系統（348）
15.1.3　分佈式系統特點（348）
15.2　Hadoop簡介（348）
15.2.1　來源背景（348）
15.2.2　版本演變（350）
15.3　Hadoop架構和核心組件（351）
15.3.1　體系架構（351）
15.3.2　HDFS（352）
15.3.3　MapReduce（356）
15.3.4　Yarn（358）
15.3.5　HBase（359）
15.4　Hadoop的安裝與部署（362）
15.4.1　Hadoop安裝包的獲取（362）
15.4.2　Hadoop對安裝環境的要求（362）
15.4.3　Hadoop的安裝流程（363）
15.4.4　Hadoop的部署配置（364）
15.4.5　Hadoop實例的運行（366）
15.5　本章小結（367）
本章參考文獻（367）
6章　分佈式內存計算平台Spark（369）
16.1　內存計算概覽（369）
16.1.1　內存計算的基本概念（369）
16.1.2　典型的內存計算平台（369）
16.2　Spark簡介（370）
16.2.1　來源背景（370）
16.2.2　Spark版本演變（370）
16.2.3　Spark與Hadoop聯繫（371）
16.3　Spark的架構與核心組件（371）
16.3.1　Spark的架構（371）
16.3.2　彈性分佈式數據集（373）
16.3.3　數據分析棧（374）
16.3.4　函數式編程語言（382）
16.4　Spark安裝與部署（383）
16.4.1　Spark安裝包的獲取（383）
16.4.2　Spark對安裝環境的要求（384）
16.4.3　Spark的安裝過程（384）
16.4.4　Spark的部署配置（385）
16.4.5　Spark實例的運行（386）
16.5　本章小結（387）
本章參考文獻（388）