深入理解Hive：從基礎到高階

目    錄

 

第1篇  準    備

第1章  大數據時代的查詢引擎 2

1.1  大數據初探 2

1.1.1  數據處理的引擎 2

1.1.2  計算框架的數據處理機制 3

1.2  大數據處理的引擎之選 7

1.2.1  大數據時代的利器 7

1.2.2  揭秘Hadoop的核心要素 8

1.3  數據倉庫Hive的重要性 9

1.3.1  Hive與MapReduce 10

1.3.2  解讀Hive的不足 10

1.4  快速解鎖Hive核心 11

1.4.1  數據倉庫 11

1.4.2  數據單元 12

1.5  Hive的設計理念 14

1.5.1  設計初衷 14

1.5.2  解讀Hive的特性 14

1.5.3  使用場景 15

1.6  本章小結 16

第2章  快速搭建Hive學習環境 17

2.1  基礎環境安裝與配置的完整步驟 17

2.1.1  基礎軟件下載 17

2.1.2  實例：Linux操作系統的安裝與配置 18

2.1.3  實例：SSH的安裝與配置 20

2.1.4  實例：Java運行環境的安裝與配置 21

2.1.5  實例：安裝與配置ZooKeeper 23

2.1.6  實例：Hadoop的安裝與配置 27

2.2  安裝Hive 41

2.2.1  實例：單機模式部署 41

2.2.2  實例：分佈式模式部署 44

2.3  Hive在線編輯器安裝指南 50

2.3.1  實例：在Linux系統環境編譯Hue源代碼並獲得安裝包 50

2.3.2  實例：安裝Hue安裝包 51

2.4  學習Hive的建議 54

2.4.1  看透本書理論，模仿實戰例子 54

2.4.2  利用編程工具自主學習 54

2.4.3  建立高階的邏輯思維模式 55

2.4.4  控制代碼版本，降低犯錯的代價 56

2.4.5  獲取最新、最全的學習資料 57

2.4.6  學會自己發現和解決問題 57

2.4.7  善於提問，成功一半 58

2.4.8  積累總結，舉一反三 59

2.5  本章小結 60

2.6  習題 60

第2篇  入    門

第3章  實操理解Hive的數據類型和存儲方式 62

3.1  掌握Hive的基本數據類型 62

3.1.1  字段類型 62

3.1.2  實例：快速構建包含常用類型的表 64

3.1.3  實例：NULL值的處理和使用 68

3.1.4  允許隱式轉換 70

3.2  Hive文件格式應用實踐 70

3.2.1  TextFile 70

3.2.2  SequenceFile 72

3.2.3  RCFile 73

3.2.4  AvroFile 74

3.2.5  ORCFile 77

3.2.6  Parquet 79

3.2.7  選擇不同的文件類型 82

3.3  存儲方式應用實踐 82

3.3.1  數據壓縮存儲 83

3.3.2  實例：壓縮數據大小和原始數據大小對比 85

3.4  本章小結 89

3.5  習題 89

第4章  Hive數據管理與查詢技巧 90

4.1  瞭解Hive命令 90

4.1.1  Hive命令列表 90

4.1.2  Hive命令分類 91

4.2  選擇不同的客戶端執行Hive命令 95

4.2.1  實例：使用Hive CLI客戶端執行Hive命令 95

4.2.2  實例：使用Beeline客戶端執行Hive命令 96

4.2.3  實例：使用Hue客戶端執行Hive命令 100

4.3  使用Hive的變量 102

4.3.1  Hive變量 102

4.3.2  實例：使用Hive CLI客戶端設置系統環境變量 103

4.3.3  實例：使用Hive CLI客戶端設置屬性變量 103

4.3.4  實例：使用Hive CLI客戶端設置自定義變量 103

4.3.5  實例：使用Hive CLI客戶端設置Java屬性變量 104

4.4  實例：使用Hive的拓展工具——HCatalog 104

4.5  本章小結 106

4.6  習題 106

第5章  智能數據治理 107

5.1  Hive的數據庫特性 107

5.1.1  Hive數據庫 107

5.1.2  如何管理Hive數據庫 109

5.2  認識表類型 111

5.2.1  內部表 111

5.2.2  外部表 112

5.2.3  臨時表 113

5.3  管理表 114

5.3.1  實例：創建表 114

5.3.2  實例：修改表 119

5.3.3  實例：刪除表 122

5.4  管理表分區 126

5.4.1  實例：新增表分區 127

5.4.2  實例：重命名錶分區 128

5.4.3  實例：交換表分區 128

5.4.4  實例：刪除表分區 130

5.5  導入與導出表數據 130

5.5.1  實例：將業務數據導入Hive表 130

5.5.2  實例：從Hive表中導出業務數據 136

5.6  本章小結 140

5.7  習題 140

第6章  智能數據庫查詢 141

6.1  使用SELECT語句 141

6.1.1  實例：分組詳解 141

6.1.2  實例：排序詳解 145

6.1.3  實例：JOIN查詢詳解 153

6.1.4  實例：UNION查詢詳解 165

6.2  使用用戶自定義函數 168

6.2.1  瞭解用戶自定義函數 168

6.2.2  開發用戶自定義函數功能 171

6.3  使用窗口函數與分析函數來查詢數據 178

6.3.1  瞭解窗口函數和分析函數 178

6.3.2  實例：窗口函數和分析函數詳解 179

6.4  本章小結 185

6.5  習題 185

第7章  數據智能應用：以視圖簡化查詢流程 186

7.1  什麽是視圖 186

7.2  管理視圖 187

7.2.1  創建視圖 187

7.2.2  修改視圖 191

7.2.3  刪除視圖 192

7.3  物化視圖 193

7.3.1  非視圖非表 193

7.3.2  創建物化視圖 194

7.3.3  物化視圖的生命周期 198

7.4  本章小結 200

7.5  習題 200

第3篇  進    階

第8章  使用Hive RPC服務 202

8.1  RPC的重要性 202

8.1.1  什麽是RPC 202

8.1.2  瞭解RPC的用途 203

8.2  HiveServer2和MetaStore 205

8.2.1  HiveServer2的架構 205

8.2.2  MetaStore元存儲管理 206

8.3  HiveServer2和MetaStore的關系及區別 207

8.3.1  使用不同模式下的MetaStore 208

8.3.2  使用HiveServer2服務 210

8.4  維護Hive集群服務 212

8.4.1  實例：編寫自動化腳本讓服務維護變得簡單 212

8.4.2  實例：編寫監控腳本讓服務狀態變得透明 215

8.5  HiveServer2服務應用實戰 216

8.5.1  嵌入式模式訪問 216

8.5.2  遠程模式訪問 218

8.6  本章小結 223

8.7  習題 223

第9章  引入安全機制保證Hive數據安全 224

9.1  數據安全的重要性 224

9.1.1  數據安全 224

9.1.2  數據安全的三大原則 225

9.1.3  大數據的安全性 226

9.2   Hive中的權限認證 226

9.2.1  授權與回收權限 226

9.2.2  傳統模式授權 227

9.2.3  基於文件存儲的授權 231

9.2.4  基於SQL標準的授權 233

9.3  使用Apache Ranger管理Hive權限 236

9.3.1  大數據安全組件方案對比 236

9.3.2  什麽是Apache Ranger 239

9.3.3  Apache Ranger的安裝與部署 240

9.3.4  使用Apache Ranger對HDFS授權 245

9.3.5  使用Apache Ranger對Hive庫表授權 248

9.4  本章小結 252

9.5  習題 252

第10章  數據提取與多維呈現：深度解析Hive編程 253

10.1  使用編程語言操作Hive 253

10.2  Java操作Hive實踐 254

10.2.1  環境準備 261

10.2.2  實例：實現簡易天氣分析系統 261

10.3  Python操作Hive實踐 274

10.3.1  選擇Python操作Hive SQL 274

10.3.2  使用JayDeBeApi實現Python訪問Hive 275

10.4  數據洞察與分析 278

10.4.1  數據洞察的價值 278

10.4.2  數據洞察的方法論 279

10.4.3  數據洞察可視化實踐 279

10.5  本章小結 283

10.6  習題 283

第4篇  項目實戰

第11章  基於Hive的高效推薦系統實踐 286

11.1  什麽是推薦系統 286

11.1.1  推薦系統的發展歷程 286

11.1.2  推薦系統解決的核心問題 287

11.1.3  推薦系統的應用領域 287

11.2  數據倉庫驅動的推薦系統設計 288

11.2.1  推薦系統類型詳解 288

11.2.2  建立推薦系統的核心步驟 293

11.2.3  設計一個簡易的推薦系統架構 294

11.2.4  構建推薦系統模型 297

11.3  代碼如何實現推薦效果 306

11.3.1  構建數據倉庫 306

11.3.2  數據清洗 311

11.3.3  協同過濾算法實現 314

11.4  本章小結 329

11.5  習題 330

第12章  基於AI的Hive大數據分析實踐 331

12.1  融合ChatGPT與Hive的數據智能探索 331

12.1.1  開啟數據智能新紀元：ChatGPT簡介 331

12.1.2  ChatGPT在Hive數據分析中的角色 336

12.2  構建智能化的Hive數據處理引擎 337

12.2.1  ChatGPT與Hive的集成實現 337

12.2.2  智能引擎應用案例分析 338

12.3  ChatGPT的自然語言處理與Hive數據分析與挖掘 341

12.3.1  聚變智慧：ChatGPT與Hive技術的革新整合 341

12.3.2  自然語言處理在Hive數據分析中的應用 343

12.4  ChatGPT與Hive數據分析未來展望 347

12.4.1  ChatGPT技術發展前景 347

12.4.2  未來Hive數據分析中的ChatGPT潛在應用 348

12.5  本章小結 350

12.6  習題 350