數字化轉型實踐：構建雲原生大數據平臺

21 世紀，互聯網行業的爆發開啟了全球數據量急劇增長的新時代，數據已經成為驅動企業數字化轉型的核心力量。整個數據行業的技術能力不斷提升，從數據庫到數據倉庫，再到開源大數據，都在經濟社會中發揮著極其重要的作用。近年來，新興數據技術與雲計算相互輔助，共同發展，誕生了一系列雲原生數據服務，讓企業能夠突破傳統模式的局限，專註於業務，降本增效。本書以全球前沿的雲原生服務為基礎，詳細展現瞭如何將數據存儲、數據引入、批量數據處理、實時數據處理、數據倉庫、數據可視化和機器學習等核心要素綜合起來，逐步構建一個高效的大數據服務平臺。

第1章 數字化轉型與數據技術 001
1.1 數字化轉型 002
1.2 基於數據進行數字化轉型 004
1.3 數據倉庫 006
1.4 大數據 009
1.5 數據湖 013
1.6 雲計算中數據技術的演進 016
1.7 本書目標 018
第2章 數據存儲 019
2.1 數據存儲的發展與趨勢 020
2.1.1 集中式文件系統 020
2.1.2 網絡文件系統 021
2.1.3 分佈式文件系統 022
2.1.4 雲原生存儲 024
2.2 Azure Blob對象存儲 025
2.2.1 數據冗餘策略 027
2.2.2 分層存儲 030
2.2.3 兼容HDFS的WASB文件系統 031
2.3 創建存儲賬號 033
2.3.1 訂閱 033
2.3.2 資源組 034
2.3.3 存儲賬號 036
2.4 Azure數據湖存儲 039
2.4.1 分層命名空間 039
2.4.2 兼容HDFS的ABFS文件系統 040
2.5 創建數據湖存儲 043
2.6 基於HDFS訪問數據湖存儲 045
2.7 在HDInsight中訪問數據湖存儲 058
2.8 本章小結 064
第3章 數據引入 065
3.1 什麽是數據引入 066
3.2 數據引入面臨的挑戰 067
3.3 數據引入工具 069
3.4 數據工廠 071
3.4.1 什麽是數據工廠 071
3.4.2 創建數據工廠 072
3.4.3 數據工廠的主要組件 076
3.5 引入數據 084
3.5.1 數據復制 084
3.5.2 管道設計 088
3.5.3 參數化 098
3.5.4 監控 100
3.6 本章小結 102
第4章 批量數據處理 103
4.1 數據處理概述 104
4.2 數據處理引擎 105
4.2.1 MapReduce 105
4.2.2 Spark 107
4.3 Databricks 111
4.4 使用Databricks處理批量數據 115
4.5 Databricks的特性 121
4.5.1 依賴庫管理 121
4.5.2 Databricks文件系統（DBFS） 124
4.5.3 密鑰管理 126
4.5.4 Delta Lake 129
4.6 使用數據工廠處理批量數據 134
4.6.1 設計Data Flow 134
4.6.2 Data Flow的設計模式 144
4.6.3 如何選擇Data Flow與Databricks 145
4.7 本章小結 146
第5章 實時數據處理 147
5.1 什麽是實時數據處理 148
5.2 消息隊列 149
5.3 Kafka的使用 153
5.3.1 創建虛擬網絡 153
5.3.2 創建Kafka集群 155
5.3.3 配置IP advertising 157
5.3.4 生產者發送數據 159
5.4 實時數據處理引擎 166
5.5 使用Spark Structured Streaming處理實時數據 171
5.5.1 連通Kafka與Databricks 171
5.5.2 在Databricks中處理數據 174
5.5.3 使用Cosmos DB保存數據 176
5.6 Event Hub 182
5.7 本章小結 190
第6章 數據倉庫 191
6.1 什麽是數據倉庫 192
6.2 雲原生數據倉庫 194
6.3 Synapse Analytics 199
6.3.1 什麽是Synapse Analytics 199
6.3.2 Synapse SQL的架構 200
6.3.3 創建Synapse工作區 208
6.3.4 創建SQL池 210
6.3.5 連接SQL池 212
6.4 數據加載 214
6.4.1 數據加載方式 214
6.4.2 使用COPY導入數據 220
6.5 Synapse SQL的資源和負荷管理 227
6.5.1 資源類 227
6.5.2 並發槽 229
6.5.3 最大並發查詢數 231
6.5.4 工作負荷組 232
6.5.5 工作負荷分類器 239
6.6 數據倉庫發展趨勢 242
6.6.1 挑戰 242
6.6.2 趨勢 244
6.7 Synapse Analytics的高級特性 245
6.7.1 Synapse 工作室 246
6.7.2 數據中心 247
6.7.3 無服務器SQL池 248
6.7.4 托管Spark 252
6.8 本章小結 257
第7章 數據可視化 258
7.1 數據可視化概述 259
7.2 數據可視化工具 260
7.3 Power BI 263
7.3.1 什麽是Power BI 263
7.3.2 Power BI的構件 265
7.3.3 使用Power BI Desktop 268
7.3.4 使用Power BI服務 281
7.4 本章小結 285
第8章 機器學習 286
8.1 機器學習概述 287
8.1.1 算法類型 287
8.1.2 業務場景 290
8.2 機器學習的流程 291
8.3 機器學習的挑戰與雲原生平臺的優勢 293
8.4 雲原生機器學習平臺 296
8.4.1 創建工作區 297
8.4.2 創建數據存儲庫 298
8.4.3 創建數據集 301
8.4.4 創建計算資源 303
8.5 機器學習設計器 305
8.6 自動化機器學習 310
8.7 本章小結 315
參考文獻 316