智能運維實踐

"蘇娜，副教授，工學博士，碩士生導師，中國自動化學會網絡信息服務專業委員會委員，中國自動化學會會員，泰安市高層次人才。主要研究方向為數據挖掘、人工智能等。主持或參與10余項科研項目，發表學術論文20余篇，撰寫專著1部，取得發明專利2項、軟件著作權多項。孫琳，學術副教授，碩士生導師。主要研究方向為數據分析與數據挖掘等。主持並參與多項省部級科研項目，發表科研、教學論文十余篇，其中多篇被SCI、EI檢索。王鴿，副教授，博士，碩士生導師。主要研究方向為大數據分析、人工智能、自然語言處理、機器學習等。主持並參與多項省部級科研項目，發表論文20余篇，參編教材4部，取得發明專利2項、軟件著作權多項。"

目    錄

 

 

第1章  智能運維概述 1

1.1  引言 1

1.1.1  智能運維的興起 1

1.1.2  智能運維的發展歷程 2

1.1.3  智能運維的技術基礎 3

1.1.4  智能運維的目標 4

1.2  智能運維的應用 4

1.2.1  智能運維的應用領域 4

1.2.2  智能運維要解決的問題 5

1.3  智能運維的相關標準 6

1.3.1  運維相關的現有標準 7

1.3.2  人工智能的現有標準 9

1.3.3  智能運維的現有標準 10

第2章  智能運維框架 12

2.1  整體框架 12

2.2  組織治理 13

2.3  場景實現 14

2.4  能力域 15

第3章  搭建Ubuntu運維和開發環境 20

3.1  Ubuntu安裝準備 20

3.2  安裝Oracle VM VirtualBox 22

3.3  安裝Ubuntu服務器系統 26

3.3.1  創建虛擬機 26

3.3.2  安裝Ubuntu Server系統 32

3.4  搭建VS Code遠程開發環境 40

第4章  Python編程基礎 44

4.1  Python快速入門 44

4.1.1  Python簡介 44

4.1.2  數據類型 47

4.1.3  運算符 50

4.1.4  函數 52

4.1.5  程序控制結構 53

4.1.6  類和對象 54

4.2  NumPy快速入門 55

4.2.1  數組創建與初始化 55

4.2.2  數組的核心屬性、操作與計算 56

4.2.3  數學運算與統計 60

4.3  Pandas快速入門 61

4.3.1  Pandas系列 61

4.3.2  Pandas數據幀 65

4.3.3  Pandas示例 69

第5章  數據采集與存儲 84

5.1  數據采集 84

5.1.1  數據采集方法 85

5.1.2  數據采集工具 86

5.1.3  數據采集的關鍵考慮因素 88

5.2  數據存儲 88

5.2.1  數據存儲類型 89

5.2.2  數據存儲架構 90

5.2.3  數據備份與恢復 90

5.2.4  數據安全 91

5.2.5  數據管理與優化 91

5.2.6  數據訪問與檢索 92

第6章  數據預處理 94

6.1  數據清洗 95

6.1.1  處理缺失值 95

6.1.2  去除重復記錄 106

6.2  數據集成 112

6.3  數據轉換 113

6.4  數據離散化 119

6.4.1  等距離散化 120

6.4.2  等頻離散化 120

6.4.3  基於聚類的離散化 121

6.4.4  基於決策樹的離散化 122

6.5  特征選擇 123

6.5.1  特征選擇方法 123

6.5.2  特征選擇示例 124

第7章  機器學習 129

7.1  回歸方法 129

7.1.1  常見的回歸方法 130

7.1.2  回歸模型的評估與優化 131

7.1.3  回歸模型的示例 132

7.2  分類方法 140

7.2.1  分類的一般流程 140

7.2.2  評估指標 141

7.3  決策樹 143

7.3.1  基本概念 143

7.3.2  構建步驟 145

7.3.3  決策樹示例 147

7.3.4  決策樹的特點 152

7.4  其他分類算法 152

7.4.1  隨機森林 152

7.4.2  支持向量機 153

7.4.3  貝葉斯分類器 156

7.4.4  分類算法小結與示例 158

7.5  聚類分析 165

7.5.1  劃分聚類方法 165

7.5.2  基於密度的聚類方法及示例 169

7.5.3  層次聚類方法 173

7.5.4  基於網格的聚類方法 173

7.6  關聯分析 174

7.6.1  關聯分析相關概念 174

7.6.2  FP-Growth算法 175

7.6.3  關聯分析示例 176

7.7  時間序列分析 181

7.7.1  時間序列的基本概念 181

7.7.2  時間序列的平穩性 181

7.7.3  時間序列的建模方法 182

7.7.4  時間序列的預測 183

7.7.5  時間序列分析示例 184

7.8  異常點檢測 192

7.8.1  異常點檢測概述 192

7.8.2  異常點檢測方法 193

7.8.3  異常點檢測示例 193

第8章  深度學習 199

8.1  深度學習基礎 199

8.2  卷積神經網絡 202

8.2.1  CNN的基本原理 202

8.2.2  CNN應用示例 204

8.3  循環神經網絡及其特殊架構 217

8.3.1  循環神經網絡 217

8.3.2  長短期記憶網絡 219

8.3.3  門控循環神經網絡 221

8.4  註意力機制 222

8.5  Transformer模型 226

第9章  自然語言處理 229

9.1  自然語言處理概述 229

9.2  文本表示方法 230

9.2.1  獨熱編碼 231

9.2.2  TF-IDF方法 231

9.2.3  Word2Vec模型 232

9.2.4  GloVe預訓練模型 233

9.2.5  BERT預訓練模型 234

9.3  大語言模型及示例 236

第10章  日誌異常檢測 244

10.1  數據預處理 245

10.1.1  常用數據集介紹 245

10.1.2  日誌數據處理 246

10.2  HDFS日誌異常檢測 247

10.2.1  日誌解析與模板匹配 248

10.2.2  事件序列構建 252

10.2.3  滑動窗口處理 257

10.2.4  特征工程與標簽關聯 259

10.2.5  模型訓練與評估 262

10.3  日誌異常檢測經典模型及示例 264

10.3.1  DeepLog模型及示例 265

10.3.2  LogAnomaly模型及示例 274

10.3.3  LogRobust模型及示例 278

第11章  面向微服務的根因定位 281

11.1  引言 281

11.2  數據集 282

11.2.1  數據采集 282

11.2.2  公開數據集 284

11.3  根因定位方法 286

11.4  根因定位的關鍵技術 288

11.4.1  異常檢測 288

11.4.2  PageRank算法及示例 289

11.4.3  隨機遊走算法 296

11.4.4  深度優先搜索 297

11.4.5  皮爾遜相關系數 298

11.4.6  根因定位關鍵技術總結 298

第12章  網絡流量異常檢測 300

12.1  引言 300

12.2  網絡流量分類與數據集 301

12.2.1  網絡異常流量分類 301

12.2.2  公開數據集 302

12.3  數據預處理 308

12.4  網絡流量異常檢測方法 313

12.5  網絡流量異常檢測示例 315

12.5.1  基於SVM的網絡流量異常檢測 315

12.5.2  基於DNN的網絡流量異常檢測 322