雲存儲：釋放數據無限價值

當第一個類人猿用沾滿炭灰的石頭在洞穴牆壁上刻下自己的形象時，“存儲”作為延續文明的工具就誕生了。當古老的“存儲”遇到雲計算，就成為了由雲而生、依雲而建的雲存儲。本書呈現的是阿裡雲存儲團隊通過保障數十 EB 數據的穩定和安全在十餘年的自研之路得來的技術變革、實戰開發經驗和教訓，以及豐富的行業和場景應用的解決方案。阿裡雲的存儲工程師們會在本書中盡力回答：超大規模的雲存儲系統如何創建；如何滿足高峰值應用的高帶寬和低延時需求；如何低成本、低能耗地長期保存和利用數據；如何保證全年 7×24 小時不間斷的超高可用性；如何保證用戶的數據安全；如何利用數據生命周期；如何根據用戶的需求彈性地部署和調度資源；如何實現數據管理和調度的高效及智能化；如何針對不同的行業給出合適的解決方案等問題。本書是阿裡巴巴集團存儲技術研發成果的集大成式講解和全面展示，既適合企業 CTO、CIO、IT 經理進行決策時參考，也適合使用雲計算進行應用開發與部署的開發工程師、管理運維工程師、系統架構師作為技術用書，對於想瞭解和學習雲存儲的高校學生及相關從業者也有很高的科普價值。

第 1 章　數據價值驅動存儲創新 ………………………………………1
1.1　數據與存儲 …………………………………………………………………… 2
1.2　存儲介質的發展 ……………………………………………………………… 3
1.2.1 NAND Flash…………………………………………………………… 4
1.2.2 NVMe SSD …………………………………………………………… 7
1.3　存儲軟件技術發展 …………………………………………………………… 9
1.3.1　用戶態存儲軟件棧 …………………………………………………… 9
1.3.2　高性能用戶態存儲軟件平臺 …………………………………………12
1.4　存儲系統架構的演進 ……………………………………………………… 13
1.4.1　硬件主導的存儲系統架構 ……………………………………………14
1.4.2　軟件主導的存儲系統架構 ……………………………………………16
1.4.3　面向雲端的軟硬件協同存儲系統架構 ………………………………18
第 2 章　存儲關鍵技術 ……………………………………………… 19
2.1　存儲協議類型 ……………………………………………………………… 20
2.1.1 SCSI 與 iSCSI …………………………………………………………20
2.1.2 NVMe …………………………………………………………………26
2.1.3 NVMeoF ………………………………………………………………34
2.1.4 RESTful API……………………………………………………………41
2.1.5　網絡文件系統 …………………………………………………………45
2.1.6 SMB 協議………………………………………………………………55
2.2　數據重刪與壓縮 …………………………………………………………… 58
2.2.1　數據重刪 ………………………………………………………………59
2.2.2　數據壓縮 ………………………………………………………………60
2.3　數據復制與冗餘 …………………………………………………………… 61
2.3.1　數據復制 ………………………………………………………………61
2.3.2　數據備份與恢復 ………………………………………………………62
2.3.3 RAID……………………………………………………………………64
2.3.4　多副本與糾刪碼 ………………………………………………………66
2.4　數據安全 …………………………………………………………………… 77
2.4.1　數據加密 ………………………………………………………………77
2.4.2　權限管理 ………………………………………………………………78
2.5　數據一致性 ………………………………………………………………… 81
2.5.1　分佈式一致性 …………………………………………………………81
2.5.2　一致性對比分析 ………………………………………………………85
第 3 章　雲存儲基礎組件 …………………………………………… 89
3.1　分佈式存儲系統 …………………………………………………………… 90
3.1.1　技術特點 ………………………………………………………………90
3.1.2　系統架構 ………………………………………………………………93
3.1.3　分佈式文件協議 ………………………………………………………94
3.1.4　單機存儲引擎 …………………………………………………………99
3.1.5　高性能軟件棧 ……………………………………………………… 101
3.2　分佈式鎖服務 ……………………………………………………………… 104
3.2.1　從單機鎖到分佈式鎖 ……………………………………………… 104
3.2.2　雲存儲的分佈式鎖 ………………………………………………… 106
3.3 高性能網絡服務框架 ……………………………………………………… 110
3.3.1　網絡服務面臨的挑戰 ……………………………………………… 110
3.3.2　雲存儲的高性能網絡服務 ………………………………………… 111
3.4　鍵值存儲系統 ……………………………………………………………… 118
3.4.1　鍵值存儲系統架構的演變 ………………………………………… 118
3.4.2　阿裡雲鍵值存儲系統 ……………………………………………… 121
第 4 章　雲存儲的技術創新 ……………………………………… 125
4.1　雲存儲服務技術創新 ……………………………………………………… 126
4.1.1 快照技術的最新應用 ……………………………………………… 126
4.1.2　共享塊存儲技術 …………………………………………………… 129
4.1.3　對象存儲可用性技術實踐 ………………………………………… 133
4.1.4　對象存儲分佈式緩存 ……………………………………………… 137
4.1.5　對象存儲異地多活容災架構 ……………………………………… 139
4.1.6　文件系統的數據一致性 …………………………………………… 144
4.1.7　文件系統的多租戶實踐 …………………………………………… 148
4.1.8　並行文件系統客戶端優化 ………………………………………… 152
4.1.9　海量結構化大數據存儲 …………………………………………… 155
4.2　雲定義存儲技術創新 ……………………………………………………… 162
4.2.1　塊存儲技術能力 …………………………………………………… 162
4.2.2　對象存儲技術能力 ………………………………………………… 165
4.2.3　日誌服務技術能力 ………………………………………………… 167
4.3　雲數據管理技術創新 ……………………………………………………… 169
4.3.1　可觀測性技術 ……………………………………………………… 169
4.3.2　數據重刪技術 ……………………………………………………… 172
4.3.3　相冊與網盤服務的關鍵技術 ……………………………………… 173
4.3.4　智能媒體管理技術 ………………………………………………… 178
第 5 章　雲存儲的應用實踐 ……………………………………… 181
5.1　視頻監控數據存儲 ………………………………………………………… 182
5.2　大數據及數據湖統一存儲 ………………………………………………… 183
5.3　多媒體數據存儲 …………………………………………………………… 188
5.4　高性能計算數據存儲 ……………………………………………………… 191
5.5　混合雲災備 ………………………………………………………………… 195
5.6　智能運維 AIOps …………………………………………………………… 197
5.7　容器數據存儲 ……………………………………………………………… 203
5.8　即時消息系統支撐實踐 …………………………………………………… 206
第 6 章　雲存儲的未來展望 ……………………………………… 209
6.1　技術創新 …………………………………………………………………… 210
6.1.1 NAND Flash 技術的發展 ………………………………………… 210
6.1.2　新存儲介質的出現 ………………………………………………… 213
6.1.3　高性能網絡的發展 ………………………………………………… 215
6.2　來自行業的挑戰與機遇 …………………………………………………… 217
6.2.1　雲向邊緣的推進 …………………………………………………… 217
6.2.2　從“新基建”到“東數西算” …………………………………… 218
6.2.3　混合雲存儲的快速發展 …………………………………………… 219
6.2.4　數據安全的挑戰依然嚴峻 ………………………………………… 220