Hadoop大數據平臺構建與應用

本書基於Hadoop大數據平臺，講解大數據平臺的搭建與運維、
大數據的採集與存儲、大數據的處理、數據的分析、
數據的可視化等完整的大數據應用案例，全面詳細地講述Hadoop、
MapReduee、HDFS、Hive、Spark和Zookeeper等技術的相關知識；
還詳細介紹了Hadoop大數據集群環境配置與搭建、部署配置Hadoop HA模式等內容。
本書具有較強的實用性和可操作性，語言精練，通俗易懂，操作步驟描述詳盡，並配有大量操作圖例。V

第1章大數據與Hadoop平台技術1
1．1大數據時代1
1．2大數據關鍵技術2
1．3大數據涉及的主要軟件3
1．4 Hadoop平台技術的生態4

第2章Ubuntu系統的安裝與使用7
2．1 Linux系統簡介7
2．2 Ubuntu系統安裝8
2．2．1虛擬機軟件VMware並安裝8
2．2．2在虛擬機中安裝Ubuntu系統14
2．2．3切換中英文輸入法27
2．2．4安裝VMware Tools 28
2．2．5 apt更新與更新源更換30
2．2．6安裝vim編輯器並使用32
2．3虛擬機聯網問題及其他34

第3章Linux基礎知識及相關軟件的基本使用39
3．1 Linux基礎知識39
3．1．1 Linux目錄結構39
3．1．2 Shell介紹40
3．1．3用戶――root用戶41
3．1．4 sudo命令和su命令41
3．1．5創建與刪除普通用戶42
3．1．6目錄標記規則43
3．1．7目錄權限43
3．1．8安裝SSH 44
3．2 Linux常用軟件與命令45
3．2．1修改主機名45
3．2．2目錄作45
3．2．3查看文件內容和清屏46
3．2．4文件作46
3．2．5文件解壓47
3．2．6進程與端口查看命令48
3．2．7系統管理命令49
3． 2．8數據流重定向和管道的使用50
3．2．9其他使用技巧介紹51
3．3在Ubuntu中安裝Eclipse 51
3．3．1通過軟件中心安裝Eclipse 51
3．3．2在桌面創建Eclipse快捷方式52

第4章Hadoop的偽分佈式安裝與使用54
4．1深入了解Hadoop 54
4．1．1 Hadoop發行版本介紹54
4．1．2 Hadoop核心架構55
4．1．3 Hadoop的主要應用場景56
4．2安裝Java環境57
4．2．1離線安裝57
4．2．2在線安裝58
4．3安裝Hadoop 59
4．3．1 Hadoop安裝文件並解壓59
4．3．2配置Hadoop環境變量60
4．3．3偽分佈式模式配置61
4．3．4 Hadoop無法正常啟動和使用的解決方法63

第5章HDFS 65
5．1 HDFS基本知識65
5．1．1 DFS簡介65
5 ．1．2 HDFS 65
5．1．3 HDFS存儲數據66
5．2 Shell命令與HDFS交互作67
5．2．1 Hadoop Shell命令方式67
5．2．2目錄作68
5．2．3文件作69
5．2．4利用Web界面管理HDFS 70
5．3 Java編程與HDFS實現交互71
5．3．1在Eclipse中創建HDFS交互Java項目71
5．3．2在Java項目中編寫Java應用程序代碼75
5．3．3編譯運行程序與打包77
5．3．4練習中使用的代碼文件81

第6章HBase偽分佈部署與使用85
6．1 HBase介紹85
6．2安裝HBase 86
6．3偽分佈HBase環境搭建87
6 ．4 HBase Shell常用作命令實踐90
6．4．1 HBase表結構舉例說明和常用的表作命令90
6．4．2在HBase中創建表和刪除表91
6．4．3 HBase數據庫基本作92

第7章MapReduce原理與基礎編程94
7．1 MapReduce介紹與基本原理94
7．1．1 MapReduce在現實生活中的運用94
7．1．2通過案例拆解MapReduce的工作過程95
7．1．3 MapReduce工作流程概括98
7．2 MapReduce編程思路98
7．3 MapReduce編程實例1：WordCount 99
7．4 MapReduce編程實例2：計算學生的平均成績109

第8章數據倉庫Hive偽分佈式部署與使用113
8．1 Hive的特點113
8．2 Hive偽分佈式部署114
8．2．1安裝配置Hive 114
8．2．2安裝配置MySQL，連接Hive元數據庫115
8．3 MySQL數據庫作118
8．3．1常用命令介紹118
8 ．3．2無法登錄MySQL Shell的解決方法120

第9章數據分析與Hive數據庫作121
9．1 Hive作命令介紹121
9．2 HQL中的Case命