大數據實時流處理技術實戰——基於Flink+Kafka技術

本書以項目實踐作為主線，結合必需的理論知識，以任務的形式設計內容，每個任務都包含任務描述及任務實施的步驟，讀者按照實施步驟進行操作就可以完成相應的學習任務，從而不斷提升項目實踐能力。本書主要內容涉及流式數據的基礎知識、Flink的簡介及發展歷史、Flink的系統架構及Flink API介紹、Flink的集群部署模式、Flink流式API的基本應用、Flink時間和窗口API的應用、Flink高級應用、Flink Table和SQL的應用、Flink CEP的應用、Kafka集群的安裝和常用操作，以及Flink、Flume和Kafka的集成方式。

本書適合需要使用Flink進行大數據處理的程序員、架構師和產品經理作為技術參考手冊和培訓資料，也可作為高校本科生和研究生的教材。

王璐烽，教授，世界技能大赛中国赛区裁判员、重庆市高校黄大年式教师团队负责人、重庆市高校中青年骨干教师、重庆市高校优秀思想政治工作者；撰写论文20余篇，其中SCI/EI收录或核心期刊10余篇；主编国家十三五规划教材1本，其余4本；主持重庆市重大教改课题1项，重点1项，其余5项；主持重庆市重大科技项目1项；主持重庆市精品在线课程1门；获得全国职业院校信息化教学大赛一等奖，重庆市科技进步三等奖，中国通信工业协会教学成果特等奖；指导学生参加全国职业院校技能大赛获一等奖、二等奖各1次；参与教育部专业标准、1+X职业技能等级标准、重庆市人社局新职业（人工智能训练师）培训标准、考核标准等研制工作。

刘均，高级实验师、高级技师、教育部课程思政教学名师、全国职业院校技能大赛优秀指导教师、重庆市黄大年教学团队成员、重庆市高职院校1+X证书学习成果专业认证委员会专家、云计算1+X中级讲师、网络工程师、国家职业技能鉴定中心考评员、重庆市政府采购评审专家；主要研究方向为计算机实验实训教学、云计算运维技术；主要从事大数据、云计算自动运维方面教学工作；参与省部级科研项目《基于运行大数据的工业机器人预测性维护关键技术研究》等项目3项；国家级在线精品课程《云计算之软件定义网络》主要成员，主要讲授《云存储技术》《Python程序设计》《云计算系统框架》等课程。

項目1 Flink開發環境搭建 1

任務 搭建Flink開發環境 2

【任務描述】 2

【知識鏈接】 2

【任務實施】 8

項目小結 18

思考與練習 18

項目2 Flink集群搭建 20

任務1 Flink集群搭建 21

【任務描述】 21

【知識鏈接】 21

【任務實施】 23

任務2 基於Flink實現單詞統計 26

【任務描述】 26

【任務實施】 26

任務3 Flink項目打包部署 34

【任務描述】 34

【任務實施】 34

項目小結 37

思考與練習 37

項目3 Flink流式API應用 38

任務1 創建Flink程序執行環境 39

【任務描述】 39

【知識鏈接】 39

【任務實施】 40

任務2 創建Flink數據源 40

【任務描述】 40

【知識鏈接】 41

【任務實施】 41

任務3 Flink轉換算子的應用 44

【任務描述】 44

【知識鏈接】 45

【任務實施】 45

任務4 數據輸出 55

【任務描述】 55

【知識鏈接】 56

【任務實施】 56

項目小結 63

項目拓展 63

思考與練習 64

項目4 Flink時間和窗口API應用 65

任務1 Flink時間語義和水位線 66

【任務描述】 66

【知識鏈接】 66

【任務實施】 68

任務2 Flink窗口操作 73

【任務描述】 73

【知識鏈接】 73

【任務實施】 75

任務3 Flink遲到數據處理 80

【任務描述】 80

【知識鏈接】 80

【任務實施】 81

項目小結 84

思考與練習 85

項目5 Flink高級應用 87

任務1 Flink多數據流處理 88

【任務描述】 88

【知識鏈接】 88

【任務實施】 88

任務2 Flink狀態編程 95

【任務描述】 95

【知識鏈接】 95

【任務實施】 98

任務3 Flink容錯機制 101

【任務描述】 101

【知識鏈接】 101

【任務實施】 103

項目小結 104

思考與練習 105

項目6 Flink Table和SQL應用 106

任務1 快速入門 107

【任務描述】 107

【知識鏈接】 107

【任務實施】 107

任務2 Flink Table和SQL基本API應用 109

【任務描述】 109

【知識鏈接】 109

【任務實施】 113

任務3 Flink SQL函數的應用 114

【任務描述】 114

【知識鏈接】 114

【任務實施】 115

任務4 Flink SQL高級應用 119

【任務描述】 119

【知識鏈接】 119

【任務實施】 120

項目小結 122

思考與練習 123

項目7 Flink CEP應用 124

任務1 Flink CEP入門 125

【任務描述】 125

【知識鏈接】 125

【任務實施】 127

任務2 Flink CEP綜合應用 131

【任務描述】 131

【知識鏈接】 131

【任務實施】 136

項目小結 143

思考與練習 143

項目8 Flink集成Kafka應用 145

任務1 Kafka集群安裝及常用操作 146

【任務描述】 146

【知識鏈接】 146

【任務實施】 148

任務2 Flink和Kafka集成 151

【任務描述】 151

【知識鏈接】 151

【任務實施】 152

任務3 綜合應用案例 155

【任務描述】 155

【任務實施】 156

項目小結 161

思考與練習 162

項目9 網站日誌實時分析系統 164

任務1 網站日誌收集 165

【任務描述】 165

【知識鏈接】 165

【任務實施】 168

任務2 Flume與Kafka集成 169

【任務描述】 169

【知識鏈接】 169

【任務實施】 170

任務3 日誌分析實現 172

【任務描述】 172

【任務實施】 172

項目小結 180

項目拓展 181

思考與練習 181

參考文獻 183