雲原生數據中台：架構、方法論與實踐

彭鋒
智領雲科技聯合創始人兼CEO
武漢大學計算機系本科及碩士，美國馬里蘭大學計算機專業博士，主要研究方向是流式半結構化數據的高性能查詢引擎，在數據庫頂級會議和期刊SIGMOD、ICDE、TODS上發表多篇開創性論文。
2005年加入世界五百強企業IAC Ask.com，任分佈式系統及大數據工程總監，負責研發分佈式操作系統及中間件，以及集團大數據平台的建設。
2011年加入Twitter，任大數據平台主任工程師、公司架構師委員會大數據負責人，負責公司大數據平台及流水線的建設和管理。
作為矽谷天使投資人，曾投資矽谷多家大數據相關初創企業，並擔任技術指導和行業顧問。
2016年回國聯合創立智領雲科技有限公司。

宋文欣
智領雲科技聯合創始人兼CTO
武漢大學計算機系本科及碩士，美國紐約州立大學石溪分校計算機專業博士。
曾先後就職於Ask.com和EA（電子藝界）。
在Ask.com期間，擔任大數據部門技術負責人及工程經理，使用Hadoop集群處理實時搜索數據，形成全球第1大Search Ads Arbitrage用戶；在EA期間，擔任數字平台部門高級研發經理，從無到有組建EA數據平台團隊，建設公司大數據平台，為EA全球工作室提供數據能力支持。
2016年回國聯合創立智領雲科技有限公司，組建智領雲技術團隊，開發了BDOS大數據平台操作系統。

孫浩峰
智領雲科技市場總監
前CSDN內容運營副總編，負責網站內容和商務合作、新媒體方面事宜，關注云計算、大數據、人工智能、區塊鍊等技術領域，對雲計算、網絡技術、網絡存儲有深刻認識。
擁有豐富的媒體從業經驗和專業的網絡安全技術功底，具有超過15年的企業級IT市場傳播、推廣、宣傳和寫作經驗，撰寫過多篇在業界具有一定影響力的文章。

前言
第一部分　數據中台與硅谷大數據平臺
第1章　全面瞭解數據中台
1.1　數據中台概念的起源 3
1.1.1　藝電的“數據中台”改造 4
1.1.2　Twitter的數據驅動 6
1.2　什麽是數據中台 8
1.2.1　數據中台建設的目標 8
1.2.2　如何實現數據中台建設的目標 11
1.2.3　數據中台的定義和4個特點 13
1.3　大數據平臺與數據中台 16
1.3.1　為什麽要建設數據中台 16
1.3.2　數據中台與傳統大數據平臺的區別 20
1.3.3　數據中台的評判標準 24
1.4　數據中台建設方法論總綱 24
1.5　本章小結 27
第2章　數據中台能力和應用場景
2.1　數據中台不是“銀彈” 28
2.2　數據中台的核心能力 31
2.2.1　全局商業洞見 31
2.2.2　個性化服務 34
2.2.3　實時數據報表 38
2.2.4　共享能力開發新業務 39
2.3　數據中台的行業應用場景 41
2.3.1　互聯網行業 41
2.3.2　連鎖零售業 42
2.3.3　金融業 43
2.3.4　物聯網 44
2.4　數據中台如何為企業賦能 45
2.4.1　組織架構 46
2.4.2　決策部門 48
2.4.3　業務部門 51
2.4.4　研發部門 53
2.4.5　大數據部門 55
2.5　本章小結 56
第3章　數據中台與數字化轉型
3.1　數字化轉型的4個階段 58
3.1.1　信息化 58
3.1.2　數據倉庫（數據平臺1.0） 59
3.1.3　大數據平臺（數據平臺2.0） 61
3.1.4　數據中台（數據平臺3.0） 63
3.2　數據驅動 64
3.2.1　面向用戶的數據驅動產品及服務 66
3.2.2　面向內部業務部門的數據驅動服務 68
3.2.3　數據驅動的系統管理 71
3.3　數據中台如何支持數字化轉型 72
3.3.1　從技術層面支持數字化轉型 73
3.3.2　從組織架構層面支持數字化轉型 74
3.4　本章小結 75
第4章　從大數據平臺到數據中台
4.1　大數據平臺建設階段 76
4.1.1　大數據平臺起步 77
4.1.2　系統自動化 77
4.1.3　大數據平臺的生產化 78
4.2　數據管理及應用階段 80
4.2.1　數據湖/數據倉庫建設 80
4.2.2　數據管理 81
4.2.3　數據安全 82
4.3　數據能力中台化階段 84
4.3.1　全局的數據治理 85
4.3.2　數據能力的復用和共享 85
4.3.3　雲原生架構的支撐 85
4.4　DataOps 87
4.4.1　什麽是DataOps 87
4.4.2　DataOps解決的問題 88
4.4.3　DataOps的目標功能 90
4.4.4　DataOps的主要技術 91
4.4.5　DataOps與數據中台 92
4.5　本章小結 93
第二部分　數據中台架構與方法論
第5章　數據中台建設須知
5.1　數據中台建設需要一套方法論 96
5.2　從失敗的大數據項目中吸取教訓 98
5.3　數據中台建設中的常見問題 99
5.4　評判數據中台建設效果 101
5.5　數據中台建設的人員規劃 103
5.6　數據中台的技術選型要求 106
5.7　本章小結 107
第6章　數據中台建設方法論
6.1　基礎架構 109
6.2　數據工具 114
6.3　頂層架構設計 115
6.4　數據規範 116
6.5　業務驅動 118
6.6　關鍵指標 120
6.7　明確責權利 125
6.8　管理迭代 127
6.9　數據中台建設流程 128
6.10　本章小結 130
第7章　數據中台的架構
7.1　數據中台的功能定位 132
7.2　數據中台架構設計的9大原則 135
7.3　典型的硅谷大數據平臺架構 137
7.3.1　Twitter的大數據平臺架構 137
7.3.2　Airbnb的大數據平臺架構 140
7.3.3　Uber的大數據平臺架構 141
7.3.4　雲平臺作為大數據平臺的通用底座 143
7.3.5　硅谷大數據平臺架構的共性和建設思路 145
7.4　數據中台架構 147
7.5　數據中檯子系統 150
7.5.1　應用基礎能力平臺 151
7.5.2　數據基礎能力平臺 152
7.5.3　數據集成開發平臺 154
7.5.4　數據資產運營平臺 156
7.5.5　數據業務能力層 158
7.5.6　數據中台重點建設內容 159
7.6　本章小結 160
第8章　數據中台與雲原生架構
8.1　雲原生架構及雲平臺 161
8.2　PaaS平臺的主要功能 165
8.2.1　資源管理 167
8.2.2　應用全生命周期管理 169
8.2.3　高可用和容錯 170
8.2.4　運維平臺 172
8.3　傳統方式下搭建數據中台的難點 173
8.4　雲原生架構對於數據中台建設的5大意義 175
8.5　數據中台的IaaS層選擇 178
8.6　本章小結 180
第三部分　數據中台技術選型與核心內容
第9章　數據中台建設與開源軟件
9.1　開源軟件的起源和建設過程 185
9.2　開源軟件的合理使用 189
9.3　集成開源軟件的5個註意事項 192
9.4　應用基礎能力平臺的開源選擇 193
9.5　數據基礎能力平臺的開源選擇 196
9.6　數據集成開發平臺的開源選擇 203
9.7　本章小結 205
第10章　數據湖與數據倉庫
10.1　數據湖 207
10.1.1　數據湖的起源與作用 208
10.1.2　數據湖建設的4個目標 211
10.1.3　數據湖數據的採集和存儲 212
10.1.4　數據湖中的數據治理 216
10.2　數據倉庫 218
10.2.1　數據建模方式 219
10.2.2　數據倉庫建設的層次 221
10.2.3　數據倉庫中的數據治理 225
10.2.4　數據清洗 229
10.3　數據中臺中的數據倉庫和數據湖建設 231
10.4　本章小結 233
第11章　數據資產管理
11.1　數據資產管理的難題 235
11.2　數據資產管理定義 238
11.3　主數據管理 239
11.4　元數據管理 242
11.4.1　元數據的分類 243
11.4.2　元數據管理系統的功能 245
11.5　開源的元數據管理系統 247
11.6　數據資產的ROI 249
11.7　本章小結 250
第12章　數據流水線管理
12.1　數據流水線的定義與模型 251
12.2　數據流水線中的應用類別 254
12.3　數據流水線的運行方式 256
12.4　數據流水線示例 257
12.5　數據流水線管理系統面臨的挑戰 259
12.6　數據流水線管理系統的功能需求 262
12.6.1　自動化流水線 262
12.6.2　數據管理 263
12.6.3　性能要求 264
12.7　數據流水線管理系統的組件 265
12.8　批流合一的數據流水線 266
12.9　本章小結 269
第13章　數據中台應用開發
13.1　數據應用的形態 270
13.2　應用開發工具 277
13.3　3種典型的數據中台應用 279
13.3.1　數據即服務 279
13.3.2　模型即服務 281
13.3.3　用戶標簽系統 282
13.4　數據中台應用的開發和管理 283
13.4.1　應用調度系統 284
13.4.2　多租戶管理 285
13.4.3　持續集成和發布 286
13.5　本章小結 287
第14章　數據門戶
14.1　數據門戶出現的背景 288
14.2　硅谷的數據門戶建設 289
14.2.1　Twitter的DAL和EagleEye 290
14.2.2　LinkedIn的Data Hub 292
14.2.3　Airbnb的Data Portal 293
14.2.4　Lyft的Amundsen 294
14.2.5　Netflix的Metacat 296
14.2.6　Intuit的SuperGlue 297
14.2.7　硅谷數據門戶總結 298
14.3　數據門戶的定位及功能 299
14.4　數據門戶的實現原理 301
14.5　數據門戶的社交屬性 303
14.6　數據應用的自助及協同工作 304
14.7　數據智能運維 306
14.8　本章小結 308
第15章　管理數據中台的演進
15.1　不斷演進的數據中台 310
15.2　人員變動下的數據管理 310
15.2.1　數據安全 311
15.2.2　數據能力的傳遞 312
15.3　數據和應用的演進 314
15.4　資源的演進 316
15.5　演進中的關鍵指標 318
15.6　本章小結 321
第四部分　數據中台案例分析
第16章　EA“數據中台”實踐
16.1　建設背景 324
16.2　組織架構調整 327
16.3　建設過程 328
16.4　體系架構 333
16.5　數據治理 336
16.5.1　數據標準和規範 336
16.5.2　元數據管理 338
16.5.3　數據質量管理 339
16.6　數據應用產品 340
16.6.1　推薦系統 340
16.6.2　打造動態游戲體驗 341
16.6.3　標簽系統及游戲運營 343
16.7　EA“數據中台”功能總結 344
16.8　本章小結 345
第17章　零售行業的數據中台
17.1　零售行業的數字化轉型 346
17.2　零售行業數據中台解決方案 347
17.3　零售行業數據中台的建設 349
17.3.1　數據匯聚 350
17.3.2　業務調研 352
17.3.3　數據倉庫建設及數據分析 354
17.3.4　業務系統的能力反饋 356
17.4　零售行業數據中台的應用場景 357
17.4.1　用戶標簽體系 357
17.4.2　精準市場營銷 359
17.5　本章小結 361
第18章　物聯網領域數據中台建設
18.1　現代物聯網的產業鏈 362
18.2　物聯網與ABC 365
18.3　物聯網數據中台架構 366
18.4　智慧建築物聯網數據中台應用 371
18.5　本章小結 374