數據倉庫Hive應用實戰

目錄

項目模塊1 部署數據倉庫環境 001
任務1.1 部署Hive系統 002
1.1.1 Hive的系統架構 002
1.1.2 Hive的工作原理 004
1.1.3 Hive和傳統數據庫的區別 005
1.1.4 檢查及配置Hadoop 006
1.1.5 安裝和配置Hive 013
1.1.6 配置MySQL存儲Hive元數據 015
任務1.2 操作Hive CLI 019
1.2.1 Hive CLI的自動補全功能 019
1.2.2 Hive CLI中命令的格式 019
1.2.3 在Hive CLI中執行Hadoop的dfs命令 020
1.2.4 Hive CLI中的變量和屬性 021
1.2.5 使用Hive中的-e（一次使用）命令 026
1.2.6 使用Hive中的-f命令執行腳本 027
1.2.7 設置.hiverc默認配置文件 028
1.2.8 查看操作命令歷史 029
模塊總結 029
實踐創新 030
檢測反饋 031
項目模塊2 創建數據倉庫文件 033
任務2.1 創建數據倉庫 034
2.1.1 數據倉庫分層 034
2.1.2 數據倉庫文件的存儲路徑 036
2.1.3 數據倉庫的創建 036
2.1.4 設計“大數據商業智能選址”項目的數據倉庫 038
2.1.5 創建“大數據商業智能選址”項目運營層數據倉庫 040
2.1.6 創建“大數據商業智能選址”項目倉庫層數據倉庫 040
任務2.2 查詢和管理數據倉庫 041
2.2.1 數據倉庫的查詢 042
2.2.2 數據倉庫的切換 042
2.2.3 數據倉庫的查看 043
2.2.4 數據倉庫的存儲位置 043
2.2.5 查詢“大數據商業智能選址”項目的數據倉庫的列表 045
2.2.6 查詢“大數據商業智能選址”項目的數據倉庫的詳細信息 046
任務2.3 修改和刪除數據倉庫 046
2.3.1 數據倉庫的修改 047
2.3.2 數據倉庫的刪除 048
2.3.3 修改“大數據商業智能選址”項目運營層數據倉庫的屬性 049
2.3.4 修改“大數據商業智能選址”項目倉庫層數據倉庫的屬性 049
2.3.5 刪除coursedb數據倉庫 050
模塊總結 051
實踐創新 051
檢測反饋 053
項目模塊3 管理倉庫表中的數據 055
任務3.1 創建數據表 056
3.1.1 Hive中的數據類型 057
3.1.2 表的創建 058
3.1.3 表的管理 062
3.1.4 其他創建表的方式 063
3.1.5 數據表屬性 065
3.1.6 數據表存儲格式 066
3.1.7 構建“大數據商業智能選址”項目的邏輯模型 068
3.1.8 創建“大數據商業智能選址”項目的ods_site數據倉庫的非分
區表 071
3.1.9 創建“大數據商業智能選址”項目的dwd_site數據倉庫中的表 075
任務3.2 修改和刪除數據表 077
3.2.1 修改表 078
3.2.2 刪除表 081
3.2.3 修改“大數據商業智能選址”項目的ods_site數據倉庫中的表 083
任務3.3 導入數據到表中 084
3.3.1 使用LOAD DATA語句導入數據 084
3.3.2 使用INSERT...SELECT語句導入數據 087
3.3.3 使用IMPORT語句導入數據 089
3.3.4 使用CTAS語句導入數據 089
3.3.5 使用INSERT INTO TABLE...VALUES語句導入數據 090
3.3.6 將源數據導入“大數據商業智能選址”項目的ods_site數據倉庫的
非分區表中 091
模塊總結 093
實踐創新 094
檢測反饋 095
項目模塊4 管理分區表中的數據 097
任務4.1 創建和管理分區表 098
4.1.1 創建分區表 098
4.1.2 管理分區表 101
4.1.3 查看分區信息 101
4.1.4 創建“大數據商業智能選址”項目的分區表 103
任務4.2 導入數據到分區表中 106
4.2.1 在靜態分區中導入數據 106
4.2.2 在動態分區中導入數據 108
4.2.3 混合使用動態分區和靜態分區導入數據 109
4.2.4 將源數據導入“大數據商業智能選址”項目的ods_site數據倉庫的
分區表中 111
任務4.3 修改和刪除分區 113
4.3.1 添加分區 113
4.3.2 修改分區路徑 115
4.3.3 修改分區字段名 116
4.3.4 刪除分區 117
4.3.5 修改“大數據商業智能選址”項目的ods_site數據倉庫中的
分區表 118
模塊總結 120
實踐創新 121
檢測反饋 122
項目模塊5 分析和導出倉庫數據 124
任務5.1 分析倉庫數據 125
5.1.1 SELECT語句 126
5.1.2 LIMIT子句 130
5.1.3 SELECT嵌套語句 130
5.1.4 CASE分支表達式 131
5.1.5 WHERE子句 132
5.1.6 GROUP BY子句和HAVING子句 136
5.1.7 JOIN連接 140
5.1.8 排序子句 144
5.1.9 分析統計“大數據商業智能選址”項目的DWD層數據 149
5.1.10 分析統計“大數據商業智能選址”項目的DM層已建址銀行
要素值 153
5.1.11 分析過濾“大數據商業智能選址”項目的DM層不可建址
區域 158
任務5.2 導出倉庫數據 161
5.2.1 使用INSERT...SELECT語句導出數據 161
5.2.2 使用EXPORT語句導出數據 164
5.2.3 使用-e重定向命令導出數據 166
5.2.4 使用dfs -get命令導出數據 166
5.2.5 導出“大數據商業智能選址”項目的dwd_site數據倉庫中的
數據 167
模塊總結 169
實踐創新 170
檢測反饋 171
項目模塊6 應用函數統計分析 173
任務6.1 應用Hive內置函數 174
6.1.1 初識Hive函數 174
6.1.2 Hive函數的分類 175
6.1.3 聚合函數 176
6.1.4 集合函數 178
6.1.5 數學函數 179
6.1.6 類型轉換函數 180
6.1.7 日期函數 181
6.1.8 條件函數 182
6.1.9 字符串函數 184
6.1.10 表生成函數 190

任務6.2 應用Hive自定義函數 191
6.2.1 自定義函數的特點 192
6.2.2 新建Maven項目環境 192
6.2.3 編寫UDF的Java代碼 194
6.2.4 將UDF部署到Hive環境中 196
6.2.5 應用UDF 198
模塊總結 199
實踐創新 200
檢測反饋 201
項目模塊7 遷移平臺數據方法 203
任務7.1 部署和配置Sqoop 204
7.1.1 Sqoop介紹 204
7.1.2 Sqoop架構 205
7.1.3 部署Sqoop 206
7.1.4 配置Sqoop 207
任務7.2 應用Sqoop遷移數據 209
7.2.1 Sqoop常用命令 209
7.2.2 Sqoop數據遷移方式 210
7.2.3 將Hive表數據遷移到MySQL中 211
7.2.4 將MySQL表數據遷移到Hive中 214
模塊總結 220
實踐創新 220
檢測反饋 221
項目模塊8 調優數據倉庫性能 224
任務8.1 調優Hive參數 225
8.1.1 配置本地模式 225
8.1.2 配置嚴格模式 227
8.1.3 配置動態分區 228
8.1.4 配置並行執行 229
8.1.5 配置Fetch抓取 229
8.1.6 配置合並文件 230
任務8.2 調優Hive存儲 231
8.2.1 調優文件存儲 232
8.2.2 調優數據壓縮 232
任務8.3 調優HiveQL語句 234
8.3.1 配置列裁剪 235
8.3.2 配置分區裁剪 235
8.3.3 配置MapJoin 236
8.3.4 配置GROUP BY 236
8.3.5 調優表設計 237
模塊總結 237
實踐創新 238
檢測反饋 239
項目模塊9 數據倉庫應用實戰 241
任務9.1 設計數據倉庫 242
9.1.1 分析原始數據格式 242
9.1.2 創建數據倉庫及數據表 245
任務9.2 導入數據到聯通運營商數據倉庫中 248
9.2.1 導入數據 249
9.2.2 驗證導入結果 249
任務9.3 清洗聯通運營商數據 251
9.3.1 刪除重復數據 251
9.3.2 處理缺失值 253
9.3.3 衍生新指標 255
9.3.4 刪除無效字段 256
9.3.5 歸集數據 256
任務9.4 統計分析聯通運營商數據 259
9.4.1 統計用戶的年齡情況 259
9.4.2 統計用戶的發展渠道 260
9.4.3 統計不同活動類型的用戶數量 261
9.4.4 統計用戶使用短信情況 261
模塊總結 262
實踐創新 263
檢測反饋 264
附錄A “大數據智慧旅游”產品的背景 266
附錄B “大數據智慧旅游”項目的背景 270
附錄C “大數據智慧旅游”項目的數據處理流程 272
附錄D “大數據智慧旅游”項目的邏輯模型設計 274