數據虛擬化 多源異構數據集成之道

第1章概述1
1.1背景1
1.1.1大數據時代下的數據增長1
1.1.2上層應用對數據服務的需求4
1.2 DaaS 8
1.2.1 DaaS的歷史8
1.2.2 DaaS的定義10
1.2.3服務11
1.2.4服務的分類13
1.2.5數據服務14
1.2.6數據服務及其架構16
1.2.7數據服務的關鍵技術18
1.2.8 DaaS的特點19
1.3 DaaS面臨的問題19
參考文獻21

第2章多源異構數據處理關鍵技術22
2.1多源異構數據的產生與收集22
2.1.1多源異構數據的產生22
2.1.2多源異構數據的收集24
2.2多源異構數據的存儲46
2.2.1多源異構數據的類型46
2.2.2多源異構數據存儲的關鍵技術47
2.3數據倉庫72
2.3.1數據倉庫的定義及特點73
2.3.2數據倉庫的體系結構74
2.4多源異構數據的組織管理77
2.5多源異構數據的分析87
2.5.1分類算法88
2.5. 2回歸算法94
2.5.3聚類算法98
2.5.4關聯規則算法99
2.5.5神經網絡算法102
2.6數據分析平台113
2.6.1 Hadoop 114
2.6.2 Spark 116
2.6.3 Storm 117
2.6.4機器學習框架120
參考文獻122

第3章數據虛擬化124
3.1背景124
3.2數據虛擬化概述126
3.2.1數據虛擬化的定義128
3.2.2數據虛擬化及其相關概念129
3.3數據虛擬化的技術優點133
3.4數據虛擬化的不同實現方式137
3.5數據虛擬化的應用138
參考文獻144

第4章數據虛擬化系統架構146
4.1數據虛擬化系統架構概述146
4.2數據虛擬化系統詳細模型149
4.2.1應用層150
4.2.2數據虛擬化層150
4.2.3源數據層151
4.3數據虛擬化研究的問題152
參考文獻156

第5章數據虛擬化平面159
5.1數據映射層159
5.1.1源表格、虛擬表格、映射、封裝的定義159
5.1.2虛擬表格和映射的例子165
5.2元數據組織層174
5.2.1元數據的基本概念174
5.2.2元數據的組織方法178
5.3數據服務層188
5.3.1虛擬表格的發布188
5.3.2虛擬表格和數據建模193
5.3.3數據安全：認證和授權215
5.4查詢響應層217
5.4.1緩存技術217
5.4.2查詢優化224
參考文獻235

第6章數據虛擬化的管理平面237
6.1源表格、封裝表格、虛擬表格的同步237
6.2元數據組織層的管理238
6.3虛擬表格或數據服務組合、更新過程的維護240
6.4查詢響應層的監控、處理和管理242
參考文獻245

第7章數據虛擬化系統的設計247
7.1對現有系統部署數據虛擬化247
7.1.1部署數據虛擬化的步驟247
7.1.2醫療數據倉庫引入數據虛擬化249
7.2設計和開發新的數據虛擬化系統251
參考文獻265

第8章數據虛擬化的應用案例266
8.1背景介紹266
8.1.1 FITS 267
8.1.2流式數據處理平台268
8.1.3圖形數據庫269
8.1.4圖劃分技術270
8.2天文元數據實時歸檔系統設計272
8.2 .1元數據採集模塊273
8.2.2元數據處理模塊275
8.2.3元數據存儲模塊284
8.3系統功能測試286
8.3.1實驗環境286
8.3.2功能測試288
參考文獻290

第9章數據虛擬化的未來292
9.1數據虛擬化的未來--Rick F.van der Lans的理解293
9.1.1新的以及增強的查詢優化技術293
9.1.2探索新的硬件技術294
9.1.3不斷擴展的設計模型295
9.1 .4數據質量的特性297
9.1.5對數據訪問下推模型的支持299
9.1.6數據虛擬化、ETL以及復制之間的協作300
9.2數據虛擬化的未來--全局數據網絡301
9.2.1被授權的消費者從無處不在的數據訪問獲益301
9.2.2 IT的後台管理系統變為雲302
9.2.3數據虛擬化的未來是一個全局數據網絡302
9.2.4小結303
9.3數據虛擬化的未來--多種數據處理方法的結合303
9.4數據虛擬化的未來--在虛擬化的世界中佔據一席之地305
9.4.1使用數據虛擬化最大化數據的回報306
9.4.2透過表像看問題307
參考文獻308

中英文對照表309

名詞索引313