面向高端製造領域的大數據管理系統

本書是“十三五”國家重點研發計劃“雲計算和大數據”專項“面向高端製造領域的大數據管理系統”項目的研究成果。全書共25章，分為導論篇、多模態異構數據源管理引擎篇、語義融合與一體化管理引擎篇、運維工具篇、測試篇和應用篇，緊密圍繞我國先進製造發展的需求和國際大數據管理技術的前沿，在工業大數據一體化管理體系架構、多模態異構數據管理、語義融合與協同優化、運維工具與測試床等多個方面論述了本項目的重要成果。 本書可供高端製造企業大數據管理和工業大數據管理領域的科研、開發和運維人員閱讀。

該書各章節均由我國著名高等學府與產業界領袖合作完成。

目錄
第1篇導論篇
第1章什麽是工業大數據3
1.1工業大數據的定義3
1.2確定性與不確定性並存3
1.34V特徵4
1.4多模態、強關聯、高通量5
1.5應用特徵5
本章參考文獻7

第2章發展動態與現實需求8
2.1國際動態8
2.2國內現狀9
2.3現實需求10
本章參考文獻11

第3章系統架構與關鍵技術12
3.1工業大數據技術架構12
3.2工業大數據管理系統架構14
3.3工業大數據管理關鍵技術15
本章參考文獻16

第2篇多模態異構數據源管理引擎篇
第4章高通量監測時序數據管理引擎19
4.1概述19
4.2需求19
4.2.1時序數據19
4.2.2應用場景19
4.2.3功能需求20
4.2.4現有工作21
4.3系統設計21
4.3.1系統架構21
4.3.2系統特點22
4.3.3數據模型23
4.3.4編碼壓縮23
4.3.5查詢功能23
4.4技術實現25
4.4.1TsFile文件格式25
4.4.2存儲引擎26
4.4.3查詢引擎26
4.5性能27
4.5.1性能概述27
4.5.2測試結果27
4.6本章小結32
本章參考文獻33

第5章海量非結構化模擬數據管理引擎34
5.1概述34
5.2需求34
5.2.1應用場景34
5.2.2相關工作36
5.2.3需求描述36
5.3方法設計39
5.3.1系統框架執行原理39
5.3.2系統管理者模塊40
5.3.3元數據存儲模塊40
5.3.4非結構化數據存儲模塊41
5.4技術實現41
5.4.1小文件管理策略42
5.4.2查詢語法43
5.5性能48
5.5.1Benchmark測試48
5.5.2ImageNet測試49
5.6本章小結50
本章參考文獻51

第6章BOM圖數據管理引擎52
6.1概述52
6.2需求52
6.2.1BOM數據的建模需求52
6.2.2BOM數據的查詢需求56
6.2.3需求小結62
6.3方法設計63
6.3.1以BOM為核心的產品生命週期信息閉環模型設計思想63
6.3.2結構化數據集成64
6.3.3非結構化數據集成67
6.3.4信息閉環的應用場景70
6.4技術實現74
6.4.1系統架構74
6.4.2功能結構實現75
6.5性能81
6.5.1數據準備81
6.5.2數據導入81
6.5.3應用案例82
6.6本章小結83
本章參考文獻83

第7章BOM圖數據模式匹配算法85
7.1概述85
7.2需求85
7.3相關工作88
7.3.1圖同構查詢88
7.3.2分佈式圖計算框架88
7.3.3分佈式圖模式匹配89
7.4方法設計89
7.4.1系統整體架構89
7.4.2查詢計劃SSD的構造90
7.4.3消息傳遞規則構建92
7.4.4消息傳遞規則附加到數據節點94
7.4.5查詢計劃的執行94
7.4.6方法分析96
7.5性能97
7.5.1實驗設置97
7.5.2優化策略分析98
7.5.3可擴展性分析99
7.5.4相關方法對比分析100
7.6本章小結101
本章參考文獻101

第8章BOM圖數據測試與分析算法103
8.1概述103
8.2需求103
8.3方法設計105
8.4技術實現106
8.4.1社區發現106
8.4.2介數中心度計算111
8.4.3圖數據庫管理系統測試117
8.5效果與特色117
8.5.1界面展示117
8.5.2社區發現效率119
8.5.3介數中心度更新效率120
8.6本章小結123
本章參考文獻123

第3篇語義融合與一體化管理引擎篇
第9章數據融合與一體化數據查詢模型127
9.1概述127
9.2需求127
9.2.1數據集成128
9.2.2面向多源異構數據的統一數據操作接口規範130
9.3模型設計與實現130
9.3.1數據源130
9.3.2數據模式131
9.4本章小結133
本章參考文獻133

第10章數據融合與一體化數據查詢調度135
10.1概述135
10.2需求135
10.2.1查詢語言統一問題135
10.2.2跨引擎訪問切換問題136
10.2.3跨引擎查詢執行效率問題136
10.3方法設計137
10.3.1設計思想137
10.3.2元數據模式信息138
10.3.3架構設計139
10.4技術實現140
10.4.1整體框架140
10.4.2語法設計141
10.4.3詞法、語法與語義模塊143
10.4.4元數據管理模塊144
10.4.5計劃與整合規則生成模塊145
10.4.6執行器模塊146
10.4.7結果整合模塊和JSON轉換模塊146
10.5性能146
10.5.1首頁146
10.5.2數據源147
10.5.3映射模式147
10.5.4數據集信息148
10.5.5數據查詢149
10.6本章小結150
本章參考文獻150

第11章語義融合中的實體抽取與關聯151
11.1概述151
11.2需求151
11.3方法設計152
11.3.1方法概述152
11.3.2候選樣本提取與特徵選擇方法153
11.3.3基於標簽函數的標簽推斷方法154
11.3.4基於專家委員會的主動學習交互方法155
11.3.5標簽函數構造方法156
11.4技術實現160
11.4.1概述160
11.4.2數據結構160
11.4.3實現細節161
11.4.4外部接口161
11.5性能162
11.5.1實體挖掘模塊成果162
11.5.2實體抽取系統性能162
11.6本章小結163
本章參考文獻163

第12章語義融合與一體化語義查詢實現165
12.1概述165
12.2需求165
12.3方法設計166
12.3.1方法概述166
12.3.2時序模式生成算法166
12.3.3文本匹配方法167
12.3.4時間序列的模式匹配算法168
12.4技術實現169
12.4.1組件選取169
12.4.2數據結構與預處理171
12.4.3系統實現174
12.4.4外部接口175
12.5性能176
12.5.1被測系統簡介176
12.5.2測試環境介紹177
12.5.3測試方法177
12.5.4測試內容178
12.5.5測試結果179
12.6本章小結179
本章參考文獻179

第4篇運維工具篇
第13章性能監控工具183
13.1概述183
13.2需求183
13.3模型設計183
13.3.1數據庫監控模塊185
13.3.2硬件監控模塊186
13.3.3集群監控模塊188
13.3.4Docker監控模塊189
13.4技術實現189
13.4.1數據採集189
13.4.2監控數據處理與可視化193
13.4.3異常檢測194
13.4.4歷史任務評價197
13.5效果與優勢198
13.5.1監控效果演示198
13.5.2與相關工具相比的優勢199
13.6本章小結200
本章參考文獻200

第14章系統調優工具202
14.1概述202
14.2需求202
14.3方法設計203
14.3.1關系型數據庫調優工具設計203
14.3.2鍵值數據庫調優工具設計204
14.3.3時間序列數據庫調優工具設計204
14.3.4Apache Spark分佈式數據處理平臺調優工具設計206
14.4技術實現208
14.4.1關系型數據庫調優工具實現208
14.4.2鍵值數據庫調優工具實現209
14.4.3時間序列數據庫調優工具實現212
14.4.4Apache Spark分佈式數據處理平臺調優工具實現215
14.5性能217
14.6本章小結219
本章參考文獻219

第15章資源規劃和調度工具222
15.1概述222
15.2需求222
15.2.1功能需求222
15.2.2挑戰224
15.3方法設計224
15.3.1系統結構224
15.3.2數據持久化227
15.3.3資源的規劃和調度230
15.3.4資源動態伸縮機制231
15.3.5資源預估機制233
15.3.6資源管理系統界面233
15.4系統實現234
15.4.1共享存儲的集成235
15.4.2時序數據庫管理引擎的集成239
15.4.3結構化數據庫管理引擎的集成242
15.4.4鍵值數據庫管理引擎的集成244
15.4.5BOM圖數據庫管理引擎的集成246
15.4.6非結構化數據庫管理引擎的集成251
15.4.7自定義調度器的實現254
15.4.8資源動態伸縮機制的實現259
15.4.9資源預估機制的實現263
15.5性能與優勢265
15.6本章小結270
本章參考文獻271

第16章數據備份與容災工具273
16.1概述273
16.2需求273
16.2.1術語解釋273
16.2.2系統需求274
16.3相關工作275
16.3.1請求分發模塊276
16.3.2用戶命令處理模塊277
16.3.3磁盤I/O管理模塊277
16.3.4遠程傳輸模塊280
16.3.5監聽模塊283
16.3.6主從角色互換模塊284
16.3.7遠程復制災難恢復模塊284
16.3.8連續數據備份模塊286
16.3.9連續數據恢復模塊286
16.4本章小結290
本章參考文獻290

第17章故障診斷與修復工具292
17.1概述292
17.2需求292
17.3方法設計293
17.3.1總體框架293
17.3.2功能設計294
17.4技術實現296
17.4.1系統結構296
17.4.2圖形用戶界面312
17.5性能318
17.5.1集群組件監控模塊318
17.5.2規則檢測模塊323
17.5.3日誌檢測模塊324
17.5.4故障診斷與報警模塊325
17.6本章小結325
本章參考文獻325

第18章數據清洗工具327
18.1概述327
18.2需求327
18.2.1需求分析327
18.2.2總體設計328
18.3方法設計328
18.3.1不完整或不精確數據修復模塊328
18.3.2不一致數據中的錯列檢測與修復模塊328
18.3.3異常區間檢測與修復模塊330
18.4技術實現330
18.4.1不完整或不精確數據修復模塊330
18.4.2錯列檢測與修復模塊333
18.4.3異常區間檢測與修復333
18.5性能335
18.5.1不完整或不精確數據修復實驗結果335
18.5.2錯列檢測與修復實驗結果337
18.5.3異常片段檢測與修復實驗結果339
18.6本章小結340
本章參考文獻340

第5篇測試篇
第19章高通量監測時序數據管理引擎測試基準與工具345
19.1概述345
19.2需求345
19.2.1現有測試基準和工具345
19.2.2應用場景需求描述346
19.3方法設計348
19.3.1數據模型348
19.3.2性能指標349
19.3.3負載模型350
19.4技術實現352
19.4.1評測方案352
19.4.2評測工具的設計和實現352
19.5評測方式和結果354
19.6本章小結356
本章參考文獻357

第20章BOM圖數據管

理引擎測試基準與工具359
20.1概述359
20.2需求360
20.2.1分析360
20.2.2功能360
20.2.3挑戰360
20.3方法設計361
20.3.1數據模型分析與設計361
20.3.2數據生成器的設計363
20.3.3查詢負載生成器的設計367
20.4技術實現369
20.4.1數據生成器的實現369
20.4.2數據負載生成器的實現373
20.5性能374
20.5.1數據生成器生成的圖數據374
20.5.2負載生成器生成的負載374
20.5.3進行測試375
20.5.4基準評價體系設計與建立376
20.6本章小結377
本章參考文獻377

第21章海量非結構化工程數據管理引擎測試基準與工具378
21.1概述378
21.2需求378
21.2.1需求概述378
21.2.2基準概述380
21.3模型設計380
21.3.1模型設計概述380
21.3.2數據模型380
21.3.3負載模型383
21.4技術實現385
21.4.1評測系統設計385
21.4.2數據生成部分387
21.4.3負載測試部分392
21.4.4結果顯示部分394
21.5特點395
21.6本章小結396
本章參考文獻396

第6篇應用篇
第22章支持航天航空裝備創新研製的大數據挖掘與分析平臺401
22.1概述401
22.2需求401
22.2.1氣動特性分析需求402
22.2.2氣動熱數據分析需求402
22.2.3載荷與環境相關數據分析需求403
22.3方法設計403
22.3.1總體架構403
22.3.2氣動特性挖掘算法庫405
22.4技術實現407
22.4.1氣動規律分析407
22.4.2氣動不確定度挖掘416
22.5性能及優勢419
22.6本章小結419
本章參考文獻419

第23章民機協同大數據設計平臺421
23.1概述421
23.2需求421
23.3方法設計422
23.4技術實現424
23.4.1數據接入與存儲424
23.4.2數據融合424
23.4.3預研流程與數據協同425
23.5性能426
23.5.1客機多參數綜合分析優化平臺427
23.5.2中心數據庫435
23.5.3基於快速數值分析方法的機翼氣動/結構等多學科設計優化軟件437
23.6本章小結442
本章參考文獻442

第24章基於風電大數據平臺的風電場智能運維與設計443
24.1概述443
24.2現狀443
24.2.1風電場運維業務現狀443
24.2.2風電場設計現狀444
24.3平臺設計445
24.3.1風電大數據平臺總體設計445
24.3.2風電場智能運維服務系統設計446
24.3.3風電廠定製化設計系統設計447
24.4技術方案450
24.4.1風電大數據平臺技術方案450
24.4.2風電場智能運維系統技術方案456
24.4.3基於大數據的開放式風電場定製化設計關鍵技術457
24.5性能459
24.6本章小結460
本章參考文獻461

第25章風電裝備全生命週期綠色供應鏈管理462
25.1概述462
25.2應用背景與建設目標462
25.2.1風電綠色供應鏈建設現狀462
25.2.2風電綠色供應鏈建設需求464
25.2.3風電裝備全生命週期綠色供應鏈管理數據需求466
25.2.4風電綠色供應鏈建設目標466
25.3風電裝備綠色供應鏈管理的設計467
25.3.1總體任務467
25.3.2總體設計467
25.4技術方案468
25.4.1技術路線468
25.4.2平臺建設472
25.4.3關鍵技術479
25.5性能480
25.5.1特色與優勢480
25.5.2經濟效益480
25.5.3社會效益481
25.6本章小結482
本章參考文獻482

寄語484