時間序列數據分析——狀態、事件、過程分析

"金濤，男，博士，清華大學軟件學院副研究員，大數據系統軟件國家工程研究中心主任助理、清華大學大數據研究中心主任助理；中國醫院協會信息管理專業委員會（CHIMA）委員，ISO/IEC-JTC1/SC27國際標準註冊專家。主要研究方向為業務過程管理、時間序列數據分析、大數據、數智安全標準化。主持多項國家重大課題，發表論文40余篇，獲得專利授權5項，牽頭編制《個人信息去標識化指南》《健康醫療數據安全指南》《個人信息去標識化效果評估指南》等國家標準，組織並作為主要參與者撰寫了《大數據安全標準化白皮書（2018版）》。主編《數智安全與標準化》，參編《醫學信息安全》《智能醫學》《健康醫療大數據創新應用》。教學方面主要負責清華大學大數據能力提升項目教學工作，主講《數智安全與標準化》《大數據實踐》等課程，致力於研究生跨學科大數據能力提升教育。"

目錄

第一部分 基礎知識 / 1

第1章 時間序列數據的基本概念 / 1

1.1 時間序列數據概述 / 1

1.1.1 特點 / 1

1.1.2 術語 / 2

1.1.3 類型 / 2

1.1.4 應用 / 7

1.2 時間序列數據分析的基本任務 / 8

1.2.1 描述和可視化 / 9

1.2.2 平穩性檢驗 / 9

1.2.3 趨勢和季節性分解 / 10

1.2.4 建模和預測 / 11

1.2.5 模型檢驗和診斷 / 12

1.2.6 異常檢測和分析 / 12

1.3 常用的時間序列數據分析方法 / 13

1.4 Petri網及其在時間序列數據分析中的

   應用 / 14

1.4.1 Petri網的定義與組成 / 14

1.4.2 Petri網的行為和性質 / 15

1.4.3 Petri網在時間序列數據分析中的應用 / 16

1.4.4 SEPA方法論的框架和意義 / 17

1.5 負責任的分析 / 19

1.5.1 數據完整性和質量 / 20

1.5.2 公平性和多樣性 / 20

1.5.3 準確性和模型適宜性 / 21

1.5.4 機密性和數據保護 / 21

1.5.5 透明度和可解釋性 / 22

第2章 時間序列數據預處理 / 23

2.1 數據清洗 / 23

2.1.1 缺失值處理 / 23

2.1.2 異常值檢測與處理 / 25

2.1.3 重采樣與采樣對齊 / 27

2.1.4 數據一致性檢查 / 28

2.2 數據變換 / 28

2.2.1 對數變換 / 28

2.2.2 差分變換 / 29

2.2.3 Box-Cox變換 / 30

2.2.4 平方根變換 / 30

2.2.5 冪變換 / 31

2.2.6 移動平均 / 31

2.2.7 歸一化和標準化 / 32

2.2.8 趨勢消除 / 33

2.2.9 季節性調整 / 34

2.2.10 變換方法的選擇 / 34

2.3 數據降維 / 35

2.3.1 主成分分析 / 35

2.3.2 奇異值分解 / 36

2.3.3 自編碼器 / 37

2.3.4 t-分布隨機鄰域嵌入 / 37

2.4 特征提取 / 38

2.4.1 統計特征提取 / 39

2.4.2 時序模式特征提取 / 40

2.4.3 基於模型的特征提取 / 42

2.4.4 頻域特征提取 / 44

2.4.5 基於深度學習的特征提取 / 48

2.4.6 特征提取方法選擇 / 51

2.5 數據分段 / 52

2.6 數據劃分 / 53

第3章 時間序列數據分析方法 / 54

3.1 描述性分析 / 54

3.1.1 趨勢分析 / 54

3.1.2 季節性分析 / 55

3.1.3 周期性分析 / 56

3.1.4 波動性分析 / 57

3.2 統計建模 / 59

3.2.1 模型分類 / 60

3.2.2 AR模型 / 64

3.2.3 MA模型 / 67

3.2.4 ARMA模型 / 68

3.2.5 ARIMA模型 / 68

3.2.6 SARIMA模型 / 69

3.2.7 隨機遊走模型 / 70

3.2.8 局部加權回歸 / 71

3.2.9 核密度估計 / 72

3.3 序列模式挖掘 / 73

3.3.1 Apriori算法 / 74

3.3.2 前綴投影算法 / 75

3.3.3 GSP算法 / 76

3.4 頻域分析 / 76

3.4.1 功率譜密度 / 77

3.4.2 交叉譜分析 / 78

3.5 分類與聚類 / 79

3.5.1 距離和相似度 / 79

3.5.2 時間序列分類 / 82

3.5.3 時間序列聚類 / 86

3.6 機器學習方法 / 89

3.6.1 隨機森林 / 89

3.6.2 SVM / 90

3.6.3 神經網絡 / 92

3.6.4 圖神經網絡 / 92

3.6.5 Transformer / 93

3.6.6 BERT / 94

3.6.7 LLM / 94

第4章 多元時間序列數據分析 / 96

4.1 向量自回歸模型 / 96

4.2 因子分析 / 97

4.2.1 提取因子 / 98

4.2.2 因子旋轉 / 98

4.3 協整分析 / 99

4.4 相關性分析 / 100

4.4.1 相關性度量 / 100

4.4.2 交叉相關性 / 102

4.4.3 相關性檢驗 / 102

4.5 因果關系檢驗 / 104

4.5.1 格蘭傑因果關系檢驗 / 104

4.5.2 脈沖響應函數分析 / 105

4.5.3 結構方程模型 / 107

4.5.4 基於機器學習的因果推斷 / 108

第5章 時間序列數據的可視化 / 110

5.1 趨勢展示 / 110

5.1.1 線圖 / 110

5.1.2 平滑曲線 / 111

5.1.3 趨勢線 / 112

5.1.4 堆疊面積圖 / 112

5.1.5 分段趨勢圖 / 113

5.2 周期性展示 / 114

5.2.1 周期圖 / 114

5.2.2 季節子序列圖 / 115

5.2.3 熱圖 / 116

5.2.4 頻譜分析圖 / 116

5.2.5 延遲圖 / 117

5.3 分布展示 / 117

5.3.1 直方圖 / 118

5.3.2 箱形圖 / 119

5.3.3 小提琴圖 / 120

5.3.4 核密度估計圖 / 121

5.3.5 QQ圖 / 121

5.4 關系展示 / 122

5.4.1 散點圖 / 123

5.4.2 折線圖 / 124

5.4.3 面積圖 / 124

5.4.4 熱圖 / 125

5.4.5 相關圖 / 126

5.5 波動性展示 / 127

5.5.1 移動平均線 / 127

5.5.2 波動率圖 / 127

5.5.3 布林帶 / 128

5.5.4 高低波動圖 / 129

5.6 高級可視化技術 / 130

5.6.1 控制圖 / 130

5.6.2 交互式可視化 / 131

5.6.3 動態時間序列圖 / 132

5.6.4 多維時間序列可視化 / 132

5.6.5 多尺度時間序列數據分析圖 / 133

5.6.6 時間序列聚類和分類可視化 / 134

5.6.7 時間序列分解可視化 / 135

5.6.8 預測模型可視化 / 135

第二部分 狀態分析 / 137

第6章 狀態的定義與識別 / 137

6.1 狀態的定義 / 137

6.2 狀態的識別 / 140

6.2.1 統計方法 / 140

6.2.2 數據挖掘方法 / 142

6.2.3 機器學習方法 / 143

6.2.4 深度學習方法 / 144

6.2.5 基於Petri網的方法 / 144

第7章 狀態分析方法 / 146

7.1 狀態轉換的分析 / 146

7.1.1 馬爾可夫鏈模型 / 146

7.1.2 隱馬爾可夫模型 / 147

7.1.3 狀態空間模型 / 148

7.1.4 轉換點分析 / 150

7.1.5 Petri網分析 / 151

7.2 狀態持續時間的分析 / 151

7.3 狀態對應的影響分析 / 153

7.4 基於狀態的預測 / 153

7.5 狀態分析的評價 / 154

7.5.1 定量評價指標 / 154

7.5.2 定性評價指標 / 155

第三部分 事件分析 / 157

第8章 事件的定義與分析 / 157

8.1 事件的定義 / 157

8.1.1 事件的概念 / 157

8.1.2 事件的基本類型 / 158

8.1.3 事件的特征 / 161

8.2 事件的識別與分析 / 162

8.2.1 事件的識別 / 162

8.2.2 事件的分析 / 163

第9章 事件檢測的方法 / 164

9.1 變點檢測 / 164

9.1.1 參數方法 / 164

9.1.2 非參數方法 / 166

9.2 異常檢測 / 170

9.2.1 統計方法 / 171

9.2.2 基於鄰近度的方法 / 173

9.2.3 譜殘差算法 / 175

9.2.4 機器學習方法 / 176

9.2.5 深度學習方法 / 178

9.3 趨勢變化檢測 / 180

9.3.1 Mann-Kendall趨勢檢測 / 181

9.3.2 斷點分析 / 182

9.3.3 滑動窗口技術 / 182

9.3.4 序列分割 / 183

9.3.5 基於模型的方法 / 184

9.3.6 機器學習與深度學習方法 / 184

9.4 狀態變化檢測 / 185

第10章 事件分析方法 / 186

10.1 事件影響評估 / 186

10.2 事件相關性分析 / 187

10.3 事件因果關系分析 / 188

10.3.1 斷點回歸分析 / 188

10.3.2 傾向得分匹配 / 189

10.3.3 反事實推理 / 190

10.4 事件抽象 / 192

10.4.1 基於監督的抽象方法 / 192

10.4.2 基於無監督的抽象方法 / 193

10.4.3 時間窗口方法 / 196

10.4.4 基於復雜事件處理的抽象方法 / 196

第四部分 過程分析 / 198

第11章 過程分析基礎 / 198

11.1 過程分析概述 / 198

11.1.1 過程分析的定義 / 199

11.1.2 過程分析的維度 / 199

11.1.3 過程分析的作用 / 200

11.1.4 過程分析的評價 / 201

11.2 事件數據 / 203

11.2.1 事件日誌 / 203

11.2.2 對象中心事件日誌 / 203

11.2.3 XES標準 / 204

11.2.4 OCEL標準 / 205

11.3 過程模型 / 206

11.3.1 帶標簽接受Petri網 / 207

11.3.2 直接跟隨圖 / 207

11.3.3 過程樹 / 208

11.3.4 過程模型間度量 / 208

11.4 過程分析類別 / 212

第12章 過程發現 / 214

12.1 基於直接跟隨關系的算法 / 214

12.1.1 Alpha算法 / 214

12.1.2 Alpha+和Alpha++算法 / 216

12.2 基於啟發式的算法 / 216

12.3 基於優化技術的算法 / 218

12.4 參考模型的指導 / 219

12.4.1 領域特定性 / 220

12.4.2 抽象指導 / 220

12.4.3 驗證和校準 / 221

12.5 對象中心過程發現 / 221

12.6 算法評價指標 / 222

12.6.1 準確性 / 222

12.6.2 穩健性 / 223

12.6.3 效率 / 224

12.6.4 適用性 / 226

12.6.5 可解釋性 / 226

第13章 性能分析 / 228

13.1 時間分析 / 228

13.1.1 主要關註指標 / 228

13.1.2 分析方法 / 228

13.1.3 核心理論算法 / 229

13.2 成本分析 / 232

13.2.1 主要關註點 / 232

13.2.2 分析方法 / 233

13.2.3 核心算法 / 233

13.3 資源分析 / 234

13.3.1 關鍵方面 / 235

13.3.2 分析方法 / 235

13.3.3 核心理論算法 / 235

13.4 吞吐量分析 / 239

13.4.1 核心指標 / 240

13.4.2 分析方法 / 240

13.4.3 核心理論算法 / 240

13.5 可靠性和可用性分析 / 243

13.5.1 可靠性分析 / 243

13.5.2 可用性分析 / 244

13.5.3 關鍵指標 / 245

13.5.4 核心理論算法 / 247

13.6 動態分析 / 250

13.6.1 主要應用領域 / 250

13.6.2 關鍵方法 / 251

13.6.3 核心理論算法 / 251

第14章 一致性檢查 / 254

14.1 規則檢查 / 254

14.1.1 邏輯表達式求解 / 254

14.1.2 規則引擎 / 255

14.1.3 時間依賴約束 / 256

14.2 軌跡回放 / 256

14.2.1 令牌重放 / 257

14.2.2 結果分析 / 257

14.3 對齊 / 259

14.3.1 模型和日誌轉換 / 260

14.3.2 對齊矩陣表示 / 260

14.3.3 成本函數定義 / 261

14.3.4 計算對齊 / 262

14.3.5 最佳對齊路徑的確定 / 265

14.4 高級技術 / 266

14.4.1 數據感知對齊 / 266

14.4.2 資源感知對齊 / 267

14.4.3 綜合方法 / 267

14.4.4 合規規則與小Petri網對齊 / 268

14.4.5 對象中心一致性檢查 / 268

14.4.6 實時一致性檢查 / 269

14.4.7 無需過程模型的一致性檢查 / 270

14.5 結果應用 / 270

14.5.1 模型修復 / 271

14.5.2 日誌修復 / 271

14.5.3 廣義一致性檢查 / 272

14.5.4 決策點分析 / 273

第15章 過程增強和優化 / 274

15.1 過程擴展基本技術 / 274

15.1.1 數據視角 / 274

15.1.2 組織視角 / 275

15.1.3 時間視角 / 275

15.2 過程擴展高級技術 / 276

15.2.1 高級決策挖掘 / 277

15.2.2 高級角色發現 / 277

15.3 過程改進 / 278

15.3.1 模型修復以反映現實情況 / 278

15.3.2 基於KPI的模型改進 / 279

15.3.3 並行化重構 / 279

15.4 預測性過程監控 / 280

15.4.1 結果預測 / 282

15.4.2 數值預測 / 284

15.4.3 下一個事件的預測 / 284

15.4.4 機器學習驅動的新趨勢 / 287

第16章 高級過程分析 / 290

16.1 無案例號過程分析 / 290

16.1.1 聚類分析法 / 290

16.1.2 序列模式挖掘 / 291

16.1.3 關聯規則學習 / 292

16.1.4 異常檢測 / 292

16.1.5 網絡分析方法 / 293

16.2 聲明式過程分析 / 294

16.2.1 聲明模型 / 294

16.2.2 推理 / 299

16.2.3 聲明式過程挖掘 / 301

16.3 流式過程分析 / 305

16.3.1 流式處理的特點 / 306

16.3.2 方法的分類 / 306

16.3.3 流式過程發現 / 310

16.3.4 流式一致性檢查 / 311

16.4 分布式過程分析 / 312

參考文獻 / 314