Spark分佈式處理實戰

本書以項目實踐作為主線，結合必需的理論知識，以任務的形式進行內容設計，每個任務都包含任務描述及任務實施的步驟，讀者按照實施步驟進行操作就可以完成相應的學習任務，從而不斷提升項目實踐能力。本書主要內容涉及Spark基本原理、基於IDEA搭建Spark開發環境、RDD基本原理、Spark SQL基本操作流程、電商業務系統的基本流程、電商用戶行為分析的基本指標以及分析過程、通過不同的維度對銷售數據進行分析、通過不同的維度對訂單數據進行分析以及常用的可視化分析圖表的應用場景等。

本書適合需要使用Spark進行大數據處理的程序員、架構師和產品經理作為技術參考和培訓資料，也可作為高校本科生和研究生的教材。

刘均，高级实验师、高级技师、教育部课程思政教学名师、全国职业院校技能大赛优秀指导教师、重庆市黄大年教学团队成员、重庆市高职院校1+X证书学习成果专业认证委员会专家、云计算1+X中级讲师、网络工程师、国家职业技能鉴定中心考评员、重庆市政府采购评审专家；主要研究方向为计算机实验实训教学、云计算运维技术；主要从事大数据、云计算自动运维方面教学工作；参与省部级科研项目《基于运行大数据的工业机器人预测性维护关键技术研究》等项目3项；国家级在线精品课程《云计算之软件定义网络》主要成员，主要讲授《云存储技术》《Python程序设计》《云计算系统框架》等课程。

王璐烽，教授，世界技能大赛中国赛区裁判员、重庆市高校黄大年式教师团队负责人、重庆市高校中青年骨干教师、重庆市高校优秀思想政治工作者；撰写论文20余篇，其中SCI/EI收录或核心期刊10余篇；主编国家十三五规划教材1本，其余4本；主持重庆市重大教改课题1项，重点1项，其余5项；主持重庆市重大科技项目1项；主持重庆市精品在线课程1门；获得全国职业院校信息化教学大赛一等奖，重庆市科技进步三等奖，中国通信工业协会教学成果特等奖；指导学生参加全国职业院校技能大赛获一等奖、二等奖各1次；参与教育部专业标准、1+X职业技能等级标准、重庆市人社局新职业（人工智能训练师）培训标准、考核标准等研制工作。

項目1 Spark集群環境搭建 1

任務1 Spark本地模式安裝 2

【任務描述】 2

【知識鏈接】 2

【任務實施】 5

任務2 Spark集群安裝及配置 7

【任務描述】 7

【知識鏈接】 7

【任務實施】 7

任務3 Spark任務提交與運行 11

【任務描述】 11

【任務實施】 11

項目小結 14

項目拓展 14

思考與練習 14

項目2 Spark開發環境搭建 16

任務1 搭建Spark開發環境 17

【任務描述】 17

【知識鏈接】 17

【任務實施】 17

任務2 開發單詞統計程序 25

【任務描述】 25

【任務實施】 25

任務3 Spark程序部署到集群中運行 30

【任務描述】 30

【任務實施】 30

項目小結 34

思考與練習 34

項目3 Spark RDD基本操作 35

任務1 Spark RDD轉換算子的應用 36

【任務描述】 36

【知識鏈接】 36

【任務實施】 38

任務2 Spark RDD行動算子的應用 49

【任務描述】 49

【知識鏈接】 49

【任務實施】 49

任務3 Spark RDD分區的應用 52

【任務描述】 52

【知識鏈接】 52

【任務實施】 53

任務4 Spark共享變量的應用 57

【任務描述】 57

【知識鏈接】 57

【任務實施】 58

項目小結 59

項目拓展 59

思考與練習 59

項目4 Spark SQL操作 61

任務1 Spark SQL入門 62

【任務描述】 62

【知識鏈接】 62

【任務實施】 62

任務2 Spark SQL基本操作 65

【任務描述】 65

【知識鏈接】 65

【任務實施】 67

任務3 Spark SQL高級應用 78

【任務描述】 78

【任務實施】 78

項目小結 84

項目拓展 84

思考與練習 84

項目5 電商數據分析系統設計 86

任務1 電商系統設計 87

【任務描述】 87

【知識鏈接】 87

【任務實施】 87

任務2 電商數據分析流程 89

【任務描述】 89

【知識鏈接】 90

【任務實施】 91

項目小結 94

項目拓展 94

思考與練習 94

項目6 電商用戶行為分析 95

任務1 數據說明及預處理 96

【任務描述】 96

【知識鏈接】 96

【任務實施】 97

任務2 用戶訪問量分析 101

【任務描述】 101

【任務實施】 101

任務3 用戶購買行為分析 105

【任務描述】 105

【任務實施】 106

任務4 轉化率分析 111

【任務描述】 111

【任務實施】 111

項目小結 113

思考與練習 114

項目7 商品銷售分析 115

任務1 數據說明及預處理 116

【任務描述】 116

【知識鏈接】 116

【任務實施】 117

任務2 獲取基本信息 122

【任務描述】 122

【任務實施】 122

任務3 基於店鋪維度分析 124

【任務描述】 124

【任務實施】 125

任務4 基於商品維度分析 130

【任務描述】 130

【任務實施】 131

項目小結 134

思考與練習 134

項目8 電商訂單分析 135

任務1 數據說明及預處理 136

【任務描述】 136

【知識鏈接】 136

【任務實施】 137

任務2 獲取基本信息 140

【任務描述】 140

【任務實施】 140

任務3 基於時間維度分析 143

【任務描述】 143

【任務實施】 144

任務4 基於區域維度分析 148

【任務描述】 148

【任務實施】 148

項目小結 150

思考與練習 150

項目9 電商數據可視化分析 151

任務1 Superset基本操作 152

【任務描述】 152

【知識鏈接】 152

【任務實施】 153

任務2 電商用戶行為數據可視化分析 162

【任務描述】 162

【任務實施】 162

任務3 電商銷售數據可視化分析 167

【任務描述】 167

【任務實施】 167

任務4 電商訂單數據可視化分析 170

【任務描述】 170

【任務實施】 171

項目小結 174

項目拓展 174

思考與練習 175

參考文獻 176