Flink基礎入門

目錄

第1章Flink概述1

1.1數據處理架構的演變1

1.1.1傳統數據處理架構1

1.1.2有狀態流處理架構3

1.1.3Lambda架構3

1.1.4新一代流處理架構4

1.2初識Flink5

1.3Flink的關鍵特性6

1.4Flink的應用場景7

1.5Flink運行時架構8

1.5.1整體架構8

1.5.2作業管理器9

1.5.3任務管理器10

1.6Flink分層API11

1.7Flink程序結構12

1.8本章小結12

1.9課後習題12

第2章Flink部署與應用14

2.1基礎環境搭建14

2.2Flink部署模式15

2.3Standalone模式之偽分佈式17

2.4Standalone模式之完全分

布式18

2.5Standalone模式之高可用

完全分佈式20

2.6Flink On YARN模式27

2.7啟動Flink33

2.7.1Session模式33

2.7.2Application模式37

2.8flink命令39

2.8.1flink命令的使用39

2.8.2提交作業39

2.8.3查看作業44

2.8.4停止和取消作業50

2.9Flink Web UI54

2.9.1Flink Web UI的訪問 … 54

2.9.2使用Flink Web UI

操作作業57

2.10本章小結61

2.11課後習題61

目錄Flink基礎入門第3章DataStream API63

3.1DataStream程序的開發流程 … 63

3.2DataStream的數據類型64

3.3執行環境65

3.4數據輸入67

3.4.1從集合讀取數據67

3.4.2從文件讀取數據70

3.4.3從Socket讀取數據72

3.4.4從Kafka讀取數據73

3.4.5自定義Source78

3.5數據轉換80

3.5.1map80

3.5.2flatMap82

3.5.3filter83

3.5.4keyBy85

3.5.5reduce88

3.5.6union90

3.6數據輸出92

3.6.1輸出到文件92

3.6.2輸出到Socket96

3.6.3輸出到Kafka97

3.7應用案例——詞頻統計99

3.8本章小結100

3.9課後習題100

第4章DataSet API 102

4.1DataSet程序的開發流程102

4.2執行環境103

4.3數據輸入105

4.3.1從文件讀取數據105

4.3.2從集合讀取數據109

4.3.3從MySQL讀取數據 … 111

4.4數據轉換118

4.4.1去重118

4.4.2連接119

4.4.3聚合124

4.4.4分組125

4.4.5分區128

4.5數據輸出130

4.5.1輸出到文件130

4.5.2輸出到MySQL132

4.6應用案例——統計熱門

品牌Top10134

4.7本章小結134

4.8課後習題134

第5章時間與窗口136

5.1時間概念136

5.2窗口分類138

5.3鍵控和非鍵控窗口142

5.4窗口分配器144

5.5窗口函數146

5.5.1ReduceFunction146

5.5.2AggregateFunction147

5.5.3ProcessFunction152

5.5.4窗口函數結合使用154

5.6水位線157

5.6.1什麽是水位線157

5.6.2使用水位線159

5.6.3應用案例——統計電商

網站交易數據162

5.7窗口觸發器162

5.8窗口驅逐器166

5.8.1內置驅逐器166

5.8.2自定義驅逐器168

5.9處理延遲數據171

5.9.1通過Allowed Lateness

處理延遲數據171

5.9.2通過Side Outputs處理

延遲數據173

5.10本章小結175

5.11課後習題176

第6章狀態和容錯機制177

6.1狀態概述177

6.2狀態管理179

6.2.1聲明狀態179

6.2.2定義狀態描述器180

6.2.3操作狀態182

6.3使用狀態183

6.3.1使用鍵控狀態183

6.3.2使用算子狀態188

6.4Checkpoint190

6.4.1Checkpoint概述190

6.4.2配置Checkpoint192

6.5State Backend196

6.6故障恢復198

6.7本章小結200

6.8課後習題200

第7章Table API & SQL（一）202

7.1Table程序結構202

7.2數據類型203

7.3執行環境205

7.4Catalog操作206

7.4.1註冊Catalog206

7.4.2查看Catalog210

7.4.3使用Catalog212

7.5數據庫操作213

7.5.1創建數據庫213

7.5.2查看數據庫215

7.5.3使用數據庫217

7.5.4修改數據庫218

7.5.5刪除數據庫219

7.6表操作220

7.6.1創建表220

7.6.2創建Table對象227

7.6.3查看表228

7.6.4修改表230

7.6.5修改Table對象232

7.6.6刪除表234

7.6.7輸出表236

7.7查詢操作239

7.7.1基本查詢239

7.7.2條件查詢241

7.7.3去重查詢243

7.7.4連接查詢244

7.7.5集合查詢251

7.7.6排序查詢259

7.7.7分組查詢262

7.8本章小結265

7.9課後習題265

第8章Table API & SQL（二）266

8.1函數266

8.1.1內置函數266

8.1.2自定義函數273

8.1.3註冊自定義函數276

8.1.4使用自定義函數278

8.2DataStream與Table對象的

轉換282

8.3時間屬性285

8.4窗口操作287

8.4.1Group Window287

8.4.2Over Window293

8.5本章小結298

8.6課後習題298

第9章Flink CEP300

9.1Flink CEP基本概述300

9.2模式301

9.2.1個體模式301

9.2.2組合模式303

9.3模式的定義305

9.3.1定義個體模式305

9.3.2定義個體模式的條件 … 309

9.3.3定義組合模式313

9.3.4模式組314

9.3.5匹配後跳過策略315

9.4使用模式檢測數據流317

9.5處理超時事件328

9.6處理延遲事件332

9.7應用案例——直播平臺檢測

刷屏用戶333

9.8本章小結333

9.9課後習題334