大數據 (Big Data) 分析與應用-使用 Hadoop 與 Spark (最新版)

劉勇志

買這商品的人也買了...

商品描述

1.闡述大數據的重要觀念,包括正面的效用與負面的副作用,建立 讀者對大數據正確的認知。
2.說明大數據時代的因應與挑戰,其中有思維的轉變、大數據分析技術、大數據的應用模式分類,也有大數據分析的流程。
3.介紹各行各業的大數據經典應用案例,讓讀者體會大數據分析的應用精隨,有機會發揮創造力,開創自己的大數據應用。
4.介紹大數據分析工具(Hadoop和Spark)的生態系統,期使讀者能充分掌握大數據的技術發展和工具的應用藍圖。
5.透過對大數據工具的實戰演練,包括安裝、設定、指令操作等,使讀者在具備大數據概念正確理解的同時,還能擁有動手實現的功力。
6.學習大數據程式語言Scala,熟悉函數式程式設計(functional programming)的特點,以及它對於大數據的操作與處理,提昇讀者7.使用Spark的機器學習程式庫(MLlib),應用在既有資料集的分析上,讓讀者迅速獲得大數據的預測能力。

目錄大綱

觀念篇

第 1 章 進入大數據時代

1-1 大數據時代來了

1-2 「大」數據有多「大」

1-3 大數據的「大」特徵

1-4 大數據的「大」作用

1-5 大數據的「大」問題

1-6 結語



第 2 章 大數據挑戰與因應

2-1 大數據的思維轉變

2-2 大數據案例

2-3 大數據的應用模式分類

2-4 大數據計畫的啟動

2-5 結語



第 3 章 大數據分析技術

3-1 資料科學

3-2 資料分析工具箱

3-3 大數據分析流程

3-4 結語



工具篇

第 4 章 大數據工具與生態系統

4-1 Hadoop/HDFS:分散式檔案系統

4-2 Spark:平行運算框架

4-3 NoSQL 資料庫

4-4 結語



第 5 章 大數據作業系統Ubuntu 的安裝

5-1 安裝虛擬化系統工具Oracle VirtualBox

5-2 新增和設定Ubuntu 虛擬機


5-3 安裝和設定Ubuntu 作業系統



第 6 章 大數據平台Hadoop 和Spark 的安裝

6-1 建立和設定master 主機

6-2 建立slave1 虛擬機

6-3 繼續master 的設定

6-4 啟動Hadoop 主機集群

6-5 試玩HDFS

6-6 試玩
Spark

6-7 結束Spark 和
Hadoop



第 7 章 HDFS 和Spark RDD 的操作


7-1 HDFS 的操作指令

7-2 Spark RDD 的操作



第 8 章 Scala—大數據的程式語言

8-1 Scala 基礎

8-2 基本的資料型態

8-3 資料集Collections

8-4 邏輯流程控制


8-5 函數

8-6 常用資料集處理方法

8-7 模式匹配Pattern Matching



應用篇


第 9 章 大數據分析應用基礎

9-1 字數計算(word count)

9-2 矩陣相乘

9-3 頻繁項(frequent items)分析

9-4 One-hot 編碼

9-5 相似性(similarity)計算

9-6 文件資料反向排序



第 10 章 大數據分析範例—葡萄酒分析

10-1 葡萄酒品質資料集

10-2 讀入資料檔

10-3 基本統計資料

10-4 建立LabeledPoint 資料類別格式

10-5 資料標準化

10-6 切割資料集

10-7 預測模型訓練

10-8 預測與模式評估MSE

10-9 參數最佳組合與模型測試


10-10 結論



第 11 章 大數據分析範例—書籍推薦

11-1 推薦技術

11-2 書籍資料集

11-3 讀入資料檔與資料前處理

11-4 建立Rating 資料格式

11-5 切割資料集

11-6 預測模型訓練

11-7 計算均方差MSE

11-8 參數最佳組合與最佳模型


11-9 使用最佳模型進行推薦



第 12 章 大數據分析範例—鳶尾花分類

12-1 大數據分析流程

12-2 分類演算法

12-3 鳶尾花資料集

12-4 讀入資料檔與資料前處理

12-5 資料集隨機切割

12-6 模式設定與訓練

12-7 使用評價器(evaluator)計算準確度

12-8 交叉驗證

12-9 使用最佳模式來預測新值



附錄 參考文獻