深度強化學習 — 雲計算中作業與資源協同自適應調度的理論及應用

本文圍繞兩個雲工作流執行過程中的關鍵步驟——雲工作流任務分配和虛擬化資源供給，研究以容器為新型虛擬化基本單元的雲計算環境下，以協同方式進行多工作流自適應調度的理論問題、關鍵技術和方法；在確保滿足用戶服務等級協議前提下，**程度實現雲服務供需雙方的利益均衡。 在多項國家自然科學基金項目、廣東省自然科學基金項目、廣東省科技計劃項目等課題的支持下，課題組長期從事雲計算關鍵技術、機器學習算法、多agent系統等領域的基礎理論和應用研究，長期的積累為本課題的研究打下堅實的基礎，使解決本課題關鍵科學問題，完成預期成果具有較高的可行性。 本項目研究成果可為相關科研領域人員提供參考和借鑒。

目錄

 

 

 

第1篇基 礎 理 論

 

第1章雲計算概述

 

1.1雲計算技術概述

 

1.1.1雲計算的3種服務模式

 

1.1.2雲計算的4種部署模型

 

1.2雲計算的核心技術

 

1.3雲計算資源配置與任務調度模型

 

1.4雲計算提出的挑戰

 

1.4.1虛擬化技術帶來的挑戰

 

1.4.2虛擬機資源和應用系統參數提出的挑戰

 

1.4.3工作流任務和虛擬化資源進行協同自適應調度提出的挑戰

 

1.4.4資源利用率和服務等級協議提出的挑戰

 

第2章深度強化學習概述

 

2.1深度捲積神經網絡

 

2.2強化學習

 

2.3深度強化學習

 

2.3.1DQN算法主要用到的關鍵技術

 

2.3.2DQN模型訓練過程

 

第2篇雲作業調度算法

 

第3章隨機作業優化調度策略

 

3.1引言

 

3.2國內外研究現狀

 

3.2.1理論分析

 

3.2.2能耗管理

 

3.2.3資源分配

 

3.3系統模型

 

3.3.1作業調度子模塊

 

3.3.2作業執行子模塊

 

3.3.3作業傳輸子模塊

 

3.4基於強化學習的作業調度算法

 

3.4.1強化學習

 

3.4.2基於強化學習的用戶作業調度算法

 

3.4.3狀態簡約

 

3.5性能評估

 

3.5.1模擬雲平臺實驗驗證

 

3.5.2真實雲平臺實驗驗證

 

3.6小結

 

第4章混合作業調度機制

 

4.1引言

 

4.2國內外發展現狀

 

4.2.1靜態調度法

 

4.2.2動態調度法

 

4.2.3混合調度法

 

4.2.4局限性分析

 

4.3雲平臺模型

 

4.4混合作業調度算法

 

4.5基於強化學習的混合作業調度算法

 

4.6實驗結果與分析

 

4.7小結

 

第5章基於多智能體系統的雲工作流作業優化調度

 

5.1研究背景

 

5.2相關工作

 

5.3系統模型

 

5.3.1雲工作流系統

 

5.3.2雲工作流模型組件介紹

 

5.4基於多智能體系統的粒子群遺傳優化算法

 

5.4.1粒子群優化算法

 

5.4.2雲工作流環境下的粒子群算法

 

5.4.3多智能體系統下粒子群的自組織模型

 

5.4.4MASPSOGA算法步驟

 

5.5算法模擬與分析

 

5.5.1實驗數據和參數設置

 

5.5.2實驗結果及分析

 

5.6小結

 

第6章基於深度強化學習的雲環境下的多資源雲作業調度策略

 

6.1引言

 

6.2系統模型及表示

 

6.3算法說明與偽代碼

 

6.4實驗環境與參數設置

 

6.5實驗結果與分析

 

6.6小結

 

第7章基於深度強化學習的多數據中心雲作業調度

 

7.1引言

 

7.2系統模型

 

7.3作業調度

 

7.4模擬實驗平臺設計

 

7.5模擬實驗及結果分析

 

7.6小結

 

第3篇虛擬化資源調度

 

第8章基於強化學習的雲計算資源分配研究

 

8.1引言

 

8.2研究現狀

 

8.3系統模型

 

8.3.1雲計算平臺架構

 

8.3.2作業響應時間

 

8.3.3分段SLA

 

8.3.4有效單位時間花費

 

8.4基於強化學習的雲資源調度機制

 

8.4.1相關概念

 

8.4.2基於基本強化學習的資源調度算法

 

8.4.3優化的資源分配策略

 

8.5實驗結果

 

8.5.1模擬雲平臺驗證

 

8.5.2真實雲平臺上進行性能驗證

 

8.6小結

 

第9章基於DQN的多目標優化的資源調度框架

 

9.1引言

 

9.2國內外發展現狀

 

9.2.1基於啟發式算法的資源調度研究

 

9.2.2基於強化學習的資源調度研究

 

9.2.3基於深度強化學習的資源調度研究

 

9.3系統模型

 

9.3.1作業負載層

 

9.3.2調度控制層

 

9.3.3數據中心層

 

9.4問題分析

 

9.4.1用戶作業負載模型

 

9.4.2能源消耗模型

 

9.4.3數學描述

 

9.5算法說明與偽代碼

 

9.6模擬實驗與結果分析

 

9.6.1實驗步驟和參數設置

 

9.6.2實驗結果與分析

 

9.7小結

 

第10章容器雲環境虛擬資源配置策略的優化

 

10.1引言

 

10.2容器雲資源配置

 

10.2.1虛擬機資源配置

 

10.2.2容器資源配置

 

10.2.3虛擬機/容器遷移

 

10.3問題描述與數學建模

 

10.3.1問題描述

 

10.3.2數據中心的能耗模型

 

10.4主機選擇策略及改進

 

10.4.1常用物理機選擇策略

 

10.4.2物理機選擇策略的改進

 

10.4.3算法的復雜度分析

 

10.5實驗結果及分析

 

10.5.1實驗環境

 

10.5.2實驗場景

 

10.6小結

 

第11章兩階段虛擬資源協同自適應調度

 

11.1引言

 

11.2國內外發展現狀

 

11.2.1靜態調度法

 

11.2.2動態調度法

 

11.2.3混合調度法

 

11.2.4局限性分析

 

11.3系統模型

 

11.3.1虛擬機租用階段系統子模型

 

11.3.2虛擬機使用階段系統子模型

 

11.4數據中心選擇算法

 

11.4.1深度強化學習

 

11.4.2虛擬機租用階段的數據中心選擇

 

11.4.3虛擬機租用階段的數據中心選擇算法

 

11.4.4虛擬機使用階段的數據中心選擇

 

11.4.5虛擬機使用階段的數據中心選擇算法

 

11.5實驗驗證

 

11.5.1虛擬機租用階段實驗結果與分析

 

11.5.2虛擬機使用階段實驗結果與分析

 

11.6小結

 

第4篇雲作業和虛擬化資源協同自適應調度

 

第12章基於異構分佈式深度學習的雲任務調度與資源配置框架

 

12.1引言

 

12.2系統框架與問題闡述

 

12.2.1系統框架

 

12.2.2問題闡述

 

12.3異構分佈式深度學習模型

 

12.4模擬實驗與結果分析

 

12.4.1實驗設計與參數說明

 

12.4.2網絡模型驗證實驗

 

12.4.3算法比較模擬實驗

 

12.5小結

 

第13章雲工作流任務與虛擬化資源協同自適應調度機制

 

13.1引言

 

13.2自適應協同調度研究現狀及其局限性分析

 

13.3系統模型

 

13.4多智能體社會下工作流任務與虛擬化虛擬機資源自適應調度機制

 

13.5多智能體社會下工作流任務與虛擬化虛擬機資源協同調度機制

 

13.6實驗驗證

 

13.7小結

 

參考文獻