HBase入門與實踐（第2版）

本書以當前穩定版 HBase 2.4.9 為基礎，將 Hadoop 升級到 2.10.1 版本，並對客戶端 API 進行升級。本書以精練的語言介紹 HBase 的基礎知識，讓初學者能夠快速上手使用 HBase；深入分析 HBase 的核心思想（如數據讀取和數據備份等）和 HBase 架構（如 B+樹、LSM 樹和 WAL 等），專註於 HBase 在線實時系統的調優，使 HBase 集群響應延遲更低，讓有經驗的 HBase 開發人員能循序漸進地理解 HBase 源代碼，更好地調試和解決各種實際問題；本書從企業常見的“用戶行為日誌管理系統”著手，結合 HBase 的實際應用場景，讓讀者快速上手，真正做到從入門到實踐。

本書非常適合作為有一定 Java 基礎的開發人員的 HBase 入門教程，也適合作為HBase 運維人員部署和監控 HBase 的參考手冊，還適合作為將 HBase 應用到在線生產環境中的開發人員進行 HBase 在線集群性能調優的技術指南。

彭旭，2009年毕业于武汉大学软件工程专业，具有十多年的国内互联网企业工作经验，曾任阿里巴巴天猫技术部资深软件工程师和珠海市魅族科技有限公司架构师，精通Java生态系统相关技术，HBase实践经验丰富，对传统关系型数据库跟面向列式存储的HBase都有深刻的理解，擅长大数据存储、HBase在线系统的调优。

目　錄

第 1 章 HBase 簡介 1

1 1 背景 1

1 2 NoSQL 與傳統 RDBMS 2

1 3 應用場景 3

1 3 1 Facebook 用戶交互 3

1 3 2 淘寶 TLog 3

1 3 3 小米雲服務 4

1 3 4 用戶行為數據存儲 4

第 2 章 HBase 安裝 5

2 1 單機部署 5

2 1 1 前置條件 5

2 1 2 下載 HBase 6

2 1 3 配置 HBase 6

2 1 4 啟動 HBase 7

2 1 5 HBase 初體驗 7

2 2 分佈式部署 8

2 2 1 環境準備 9

2 2 2 ZooKeeper 安裝 11

2 2 3 Hadoop 安裝 12

2 2 4 HBase 安裝 23

2 2 5 啟動集群 28

2 3 集群增刪節點 29

2 3 1 增加節點 29

2 3 2 刪除節點 30

第 3 章 HBase 的數據模型 33

3 1 邏輯模型 33

3 2 物理模型 35

第 4 章 HBase Shell 39

4 1 數據定義語言 39

4 1 1 創建表 39

4 1 2 查看所有表 40

4 1 3 查看已創建的表 40

4 1 4 修改表 41

4 2 數據操縱語言 41

4 2 1 put 命令 41

4 2 2 get 命令 42

4 2 3 scan 命令 43

4 2 4 delete 命令、deleteall 命令和

truncate 命令 45

4 3 其他常用的 Shell 命令 46

4 3 1 復制狀態查看 46

4 3 2 分區拆分 47

4 3 3 分區大合並 47

4 3 4 負載均衡開關 47

4 3 5 分區手動遷移 47

4 3 6 HBase 運行 Ruby 腳本 48

第 5 章 模式設計 49

5 1 行鍵設計 50

5 2 規避熱點區間 52

5 3 高表與寬表 54

5 4 微信朋友圈設計 55

5 4 1 需求定義 55

5 4 2 問題建模 55

第 6 章 客戶端 API 61

6 1 Java 客戶端使用 61

6 2 數據定義語言 64

6 2 1 表管理 64

6 2 2 分區管理 67

6 3 數據操縱語言 69

6 3 1 Put 操作 69

6 3 2 Get 操作 72

6 3 3 Scan 操作 74

6 3 4 Delete 操作 77

6 3 5 Increment 操作 79

6 4 過濾器 82

6 4 1 過濾器簡介 82

6 4 2 過濾器使用 83

6 5 事務 101

6 5 1 原子性 102

6 5 2 隔離性 102

第 7 章 架構實現 109

7 1 存儲 109

7 1 1 B+樹 109

7 1 2 LSM 樹 110

7 1 3 預寫入日誌 111

7 2 數據寫入與讀取 114

7 2 1 定位分區服務器 114

7 2 2 數據修改流程 116

7 2 3 數據查詢流程 119

7 3 合並策略 121

7 3 1 StripeCompaction 策略 121

7 3 2 DateTieredCompaction 策略 121

7 3 3 RatioBasedCompaction 策略 121

7 3 4 ExploringCompaction 策略 123

7 3 5 FIFOCompaction 策略 124

第 8 章 協處理器 125

8 1 觀察者類型協處理器 125

8 2 端點類型協處理器 129

8 3 加載/卸載協處理器 133

8 3 1 靜態加載/卸載 133

8 3 2 動態加載/卸載 134

第 9 章 HBase 性能調優 141

9 1 客戶端調優 141

9 1 1 設置客戶端寫入緩存 141

9 1 2 設置合適的掃描緩存 143

9 1 3 跳過 WAL 寫入 143

9 1 4 設置重試次數與間隔 143

9 1 5 選用合適的過濾器 144

9 2 服務器端調優 144

9 2 1 創建表語句的優化 145

9 2 2 禁止分區自動拆分與合並 148

9 2 3 開啟機櫃感知 150

9 2 4 開啟短路本地讀 152

9 2 5 開啟補償重試讀 152

9 2 6 JVM 內存調優 153

第 10 章 集群間數據復制 161

10 1 復制 162

10 1 1 集群拓撲 163

10 1 2 配置集群復制 163

10 1 3 驗證復制數據 166

10 1 4 復制詳解 168

10 2 快照 173

10 2 1 配置快照 173

10 2 2 管理快照 173

10 3 導出和導入 175

10 3 1 導出 176

10 3 2 導入 177

10 4 復製表 178

第 11 章 監控 181

11 1 Hadoop 監控 181

11 1 1 Web 監控頁面 182

11 1 2 JMX 監控接口 184

11 2 HBase 監控 187

11 2 1 Web 監控頁面 187

11 2 2 JMX 監控接口 189

11 2 3 客戶端 API 監控 191

附錄 A 常見問題 193

A 1 垃圾回收超時導致分區服務器宕機 193

A 2 Scanner 租期過期 196

A 3 分區遷移異常 197

A 4 Windows 運行 HBase 程序缺少winutil exe 200

A 5 誤刪表數據 201

A 6 RIT 時間過長導致不同分區行鍵數據有重疊 203