Hadoop大數據分析技術

伴隨Hadoop的成長，Hadoop不再是一個簡單的數據分佈式存儲平臺和工具，已經成長為一個完整的生態圈。本書採用Hadoop 3.2.2版本，系統講解Hadoop生態系統主流的大數據分析技術。本書配套示例源碼、PPT課件、教學大綱與編程環境。 本書共分11章。內容包括Hadoop概述與大數據環境準備、Hadoop偽分佈式集群搭建、HDFS分佈式存儲實戰、MapReduce實戰、ZooKeeper與高可用集群實戰、Hive數據倉庫實戰、HBase數據庫實戰、Flume數據採集實戰、Kafka實戰、影評大數據分析項目實戰、旅游酒店評價大數據分析項目實戰。 本書可作為Hadoop大數據技術初學者的入門書，也可作為Hadoop大數據分析工程師的指導手冊，還可作為高等院校或者高職高專大數據專業的教材或教學參考書。

目    錄

第1章  Hadoop概述與大數據環境準備 1

1.1  大數據定義 2

1.2  Hadoop生態介紹 2

1.2.1  Hadoop簡介 2

1.2.2  Hadoop版本簡介 4

1.2.3  Hadoop生態系統和組件介紹 6

1.3  Hadoop 3新特性 7

1.4  虛擬機安裝 9

1.5  安裝Linux操作系統 10

1.6  SSH工具與使用 15

1.7  Linux統一設置 16

1.8  小結 18

第2章  Hadoop偽分佈式集群搭建 19

2.1  安裝獨立運行的Hadoop 19

2.2  Hadoop偽分佈式環境準備 22

2.3  Hadoop偽分佈式安裝 26

2.4  HDFS操作命令 31

2.5  Java項目訪問HDFS 33

2.5.1  創建Maven項目 34

2.5.2  HDFS操作示例 36

2.6  winutils 38

2.7  快速MapReduce程序示例 39

2.8  小結 42

第3章  HDFS分佈式存儲實戰 43

3.1  HDFS的體系結構 43

3.2  NameNode的工作 44

3.2.1  查看鏡像文件 45

3.2.2  查看日誌文件 46

3.2.3  日誌文件和鏡像文件的操作過程 47

3.3  SecondaryNameNode 49

3.4  DataNode 50

3.5  HDFS的命令 50

3.6  遠程過程調用 51

3.7  小結 53

第4章  MapReduce實戰 55

4.1  MapReduce的運算過程 55

4.2  WordCount示例 57

4.3  自定義Writable 60

4.4  Partitioner分區編程 64

4.5  自定義排序 66

4.6  Combiner編程 67

4.7  默認Mapper和默認Reducer 68

4.8  倒排索引 69

4.9  Shuffle 73

4.10  小結 77

第5章  ZooKeeper與高可用集群實戰 79

5.1  ZooKeeper簡介 79

5.1.1  Zxid 80

5.1.2  版本號 81

5.2  單一節點安裝ZooKeeper 82

5.3  基本客戶端命令 83

5.4  Java代碼操作ZooKeeper 86

5.5  ZooKeeper集群安裝 91

5.6  znode節點類型 92

5.7  觀察節點 93

5.8  配置Hadoop高可用集群 93

5.9  用Java代碼操作集群 102

5.10  小結 104

第6章  Hive數據倉庫實戰 105

6.1  Hive3的安裝配置 107

6.2  Hive的命令 110

6.3  Hive內部表 114

6.4  Hive外部表 116

6.5  Hive表分區 117

6.5.1  分區技術細節 117

6.5.2  分區示例 119

6.6  查詢示例匯總 121

6.7  Hive函數 122

6.8  Hive自定義函數 128

6.9  Hive視圖 132

6.10  hiveserver2 132

6.11  使用JDBC連接hiveserver2 134

6.12  小結 135

第7章  HBase數據庫實戰 136

7.1  HBase的特點 136

7.2  HBase安裝 139

7.2.1  HBase的單節點安裝 140

7.2.2  HBase的偽分佈式安裝 142

7.2.3  Java客戶端代碼 144

7.3  HBase集群安裝 150

7.4  HBase Shell操作 153

7.4.1  數據模型定義 154

7.4.2  數據基本操作 156

7.5  協處理器 160

7.6  Phoenix 162

7.7  小結 168

第8章  Flume數據採集實戰 169

8.1  Flume的安裝與配置 170

8.2  快速示例 171

8.3  在ZooKeeper中保存Flume的配置文件 172

8.4  Flume的更多Source 176

8.4.1  Avro Source 176

8.4.2  Thrift Source和Thrift Sink 180

8.4.3  Exec Source 183

8.4.4  Spool Source 184

8.4.5  HDFS Sinks 184

8.5  小結 185

第9章  Kafka實戰 186

9.1  Kafka的特點 187

9.2  Kafka術語 188

9.3  Kafka安裝與部署 189

9.3.1  單機部署 189

9.3.2  集群部署 195

9.4  小結 198

第10章  影評大數據分析項目實戰 199

10.1  項目介紹 199

10.2  項目需求分析 199

10.3  項目詳細實現 203

10.3.1  搭建項目環境 203

10.3.2  編寫爬蟲類 206

10.3.3  編寫分詞類 207

10.3.4  第一個job的Map階段實現 210

10.3.5  第一個job的Reducer階段實現 210

10.3.6  第二個job的Map階段實現 211

10.3.7  第二個job的自定義排序類階段的實現 211

10.3.8  第二個job的自定義分區階段實現 212

10.3.9  第二個job的Reduce階段實現 212

10.3.10  Run程序主類實現 213

10.3.11  編寫詞雲類 214

10.3.12  效果測試 215

第11章  旅游酒店評價大數據分析項目實戰 216

11.1  項目介紹 216

11.2  項目需求分析 217

11.2.1  數據集需求 217

11.2.2  功能需求 217

11.3  項目詳細實現 218

11.3.1  數據集上傳到HDFS 219

11.3.2  Hadoop數據清洗 221

11.3.3  構建Hive數據倉庫表 225

11.3.4  Sqoop數據導入與導出 230

11.3.5  數據可視化開發 232