數據驅動的進化優化 Data-Driven Evolutionary Optimization: Integrating Evolutionary Computation, Machine Learning and Data Science

 

目錄

 

 

 

 

 

 

第1章最優化導論

 

1．1優化的定義

 

1．1．1數學模型

 

1．1．2凸優化

 

1．1．3擬凸函數

 

1．1．4全局和局部最優

 

1．2優化問題的類型

 

1．2．1連續與離散優化

 

1．2．2無約束優化與約束優化

 

1．2．3單目標優化與多目標優化

 

1．2．4確定性優化與隨機性優化

 

1．2．5黑盒優化和數據驅動的優化

 

1．3多目標優化

 

1．3．1數學模型

 

1．3．2Pareto最優性

 

1．3．3偏好建模

 

1．3．4偏好表示

 

1．4優化中不確定性的處理

 

1．4．1評價中的噪聲

 

1．4．2魯棒優化

 

1．4．3多場景優化

 

1．4．4動態優化

 

1．4．5時域魯棒優化

 

1．5優化算法的對比

 

1．5．1算法效率

 

1．5．2性能指標

 

1．5．3可靠性評價

 

1．5．4統計測試

 

1．5．5基準問題

 

1．6總結

 

第2章經典優化算法

 

2．1無約束優化

 

2．1．1梯度法

 

2．1．2牛頓法

 

2．1．3擬牛頓法

 

2．2約束優化

 

2．2．1懲罰函數法和障礙函數法

 

2．2．2拉格朗日乘子法

 

2．3無梯度搜索方法

 

2．3．1線搜索和模式搜索

 

2．3．2NelderMead單純形法

 

2．3．3基於模型的無梯度搜索方法

 

2．4確定性全局優化

 

2．4．1基於Lipschitz的方法

 

2．4．2DIRECT算法

 

2．5總結

 

第3章進化和群智能優化

 

3．1引言

 

3．2遺傳算法

 

3．2．1定義

 

3．2．2表示

 

3．2．3交叉和變異

 

3．2．4環境選擇

 

3．3實數編碼的遺傳算法

 

3．3．1實值表示

 

3．3．2混合交叉

 

3．3．3模擬二進制交叉和多項式變異

 

3．4進化策略

 

3．4．1(1+1)ES

 

3．4．2基於全局步長的進化策略

 

3．4．3基於個體步長大小的進化策略

 

3．4．4繁殖與環境選擇

 

3．4．5協方差矩陣自適應進化策略

 

3．5遺傳規劃

 

3．5．1基於樹結構的遺傳規劃

 

3．5．2初始化

 

3．5．3交叉與變異

 

3．6蟻群優化算法

 

3．6．1整體框架

 

3．6．2擴展應用

 

3．7差分進化算法

 

3．7．1初始化

 

3．7．2差分變異

 

3．7．3差分交叉 

 

3．7．4環境選擇

 

3．8粒子群優化算法

 

3．8．1傳統的粒子群優化算法

 

3．8．2競爭粒子群優化器

 

3．8．3社會學習粒子群優化器

 

3．9模因算法

 

3．9．1基本概念

 

3．9．2拉馬克方法和鮑德溫方法

 

3．9．3多目標模因算法

 

3．9．4鮑德溫效應與隱藏效應

 

3．10分佈估計算法

 

3．10．1一個簡單的EDA

 

3．10．2求解離散優化問題的EDA

 

3．10．3求解連續優化問題的EDA

 

3．10．4多目標EDA

 

3．11參數自適應和算法選擇

 

3．11．1自動參數調優

 

3．11．2超啟發式算法

 

3．11．3適應度地形分析

 

3．11．4自動推薦系統

 

3．12總結 

 

第4章機器學習簡介

 

4．1機器學習問題

 

4．1．1聚類

 

4．1．2維度約減

 

4．1．3回歸

 

4．1．4分類

 

4．2機器學習模型

 

4．2．1多項式回歸模型

 

4．2．2多層感知機

 

4．2．3徑向基函數網絡

 

4．2．4支持向量機

 

4．2．5高斯過程

 

4．2．6決策樹

 

4．2．7模糊規則系統

 

4．2．8集成模型

 

4．3學習算法

 

4．3．1監督學習

 

4．3．2無監督學習

 

4．3．3強化學習

 

4．3．4高階學習算法

 

4．4多目標機器學習

 

4．4．1單目標與多目標學習

 

4．4．2多目標聚類、特徵選擇和特徵提取

 

4．4．3多目標集成模型生成

 

4．5深度學習模型

 

4．5．1捲積神經網絡

 

4．5．2長短期記憶網絡

 

4．5．3自關聯神經網絡和自編碼器

 

4．5．4生成對抗網絡

 

4．6進化與學習的協同作用

 

4．6．1進化學習

 

4．6．2基於學習的進化優化

 

4．7小結

 

第5章數據驅動的代理模型輔助的進化優化

 

5．1引言

 

5．2離線與在線數據驅動的優化

 

5．2．1離線數據驅動的優化

 

5．2．2在線數據驅動的優化

 

5．3在線代理模型管理方法

 

5．3．1基於種群的模型管理

 

5．3．2基於世代的模型管理

 

5．3．3基於個體的模型管理

 

5．3．4模因算法中的信任域方法

 

5．4貝葉斯模型管理

 

5．4．1獲取函數

 

5．4．2進化貝葉斯優化

 

5．4．3貝葉斯進化優化

 

5．5貝葉斯約束優化

 

5．5．1約束優化的獲取函數

 

5．5．2兩階段獲取函數

 

5．6代理模型輔助的魯棒性優化

 

5．6．1魯棒性優化的雙目標公式

 

5．6．2代理模型的構建

 

5．7模型的性能指標

 

5．7．1精度

 

5．7．2基於選擇的性能指標

 

5．7．3等級相關性

 

5．7．4適應度相關性

 

5．8總結

 

第6章多代理模型輔助的單目標優化

 

6．1引言

 

6．2局部和全局代理模型輔助優化

 

6．2．1集成代理模型

 

6．2．2多代理模型的單目標模因優化

 

6．2．3多代理模型的多目標模因優化

 

6．2．4信任域方法輔助的局部搜索

 

6．2．5實驗結果

 

6．3雙層代理模型輔助粒子群算法

 

6．3．1全局代理模型

 

6．3．2局部代理模型

 

6．3．3適應度評估

 

6．3．4代理模型管理

 

6．3．5實驗結果和討論

 

6．4代理模型委員會輔助的粒子群優化

 

6．4．1代理模型委員會

 

6．4．2填充採樣準則

 

6．4．3整體框架

 

6．4．4基準問題的實驗結果

 

6．5分層代理模型輔助的多場景優化

 

6．5．1多場景翼型優化

 

6．5．2多場景優化中的分層代理模型

 

6．6自適應代理模型選擇

 

6．6．1基本思路

 

6．6．2選擇代理模型的概率模型

 

6．7小結

 

第7章代理模型輔助的多目標進化優化

 

7．1進化多目標優化

 

7．1．1假設和方法論

 

7．1．2基於分解的方法

 

7．1．3基於支配關系的方法

 

7．1．4基於性能指標的方法

 

7．2高斯過程輔助隨機加權聚合方法

 

7．2．1代理模型輔助多目標優化的挑戰

 

7．2．2高效全局優化方法

 

7．2．3多目標優化的擴展

 

7．3高斯過程輔助的基於分解的多目標優化

 

7．3．1MOEA/D

 

7．3．2主要框架

 

7．3．3局部代理模型

 

7．3．4代理模型管理

 

7．3．5討論

 

7．4高維多目標貝葉斯優化

 

7．4．1主要挑戰

 

7．4．2異構集成模型構建

 

7．4．3基於Pareto的多目標貝葉斯優化方法

 

7．4．4整體框架

 

7．5小結

 

第8章代理模型輔助的高維多目標進化優化

 

8．1高維多目標優化中的新挑戰

 

8．1．1引言

 

8．1．2多樣性與偏好

 

8．1．3拐點搜索

 

8．1．4求解非規則Pareto前沿面問題

 

8．2進化高維多目標進化優化算法

 

8．2．1參考向量引導的高維多目標優化

 

8．2．2拐點驅動的高維多目標優化算法

 

8．2．3雙存盤高維多目標優化算法

 

8．2．4高維多目標優化中的角排序

 

8．3高斯過程輔助的參考向量引導的高維多目標優化

 

8．3．1模型管理

 

8．3．2存盤維持

 

8．4分類代理模型輔助的高維多目標優化

 

8．4．1主要框架

 

8．4．2基於徑向投影選擇

 

8．4．3基於參考集的支配關系預測

 

8．4．4代理模型管理

 

8．4．5代理模型輔助的環境選擇

 

8．5dropout神經網絡輔助的高維多目標優化

 

8．5．1ARMOEA

 

8．5．2高效深度dropout神經網絡

 

8．5．3模型管理

 

8．5．4EDNARMOEA整體框架

 

8．5．5原油蒸餾裝置的操作優化

 

8．6小結

 

第9章數據驅動進化優化中的知識遷移

 

9．1引言

 

9．2基於協同訓練的代理模型輔助交互式優化

 

9．2．1總體框架

 

9．2．2區間預測的代理模型

 

9．2．3適應度評估

 

9．2．4iCSSL

 

9．2．5模型管理

 

9．3半監督學習輔助粒子群優化

 

9．3．1算法框架

 

9．3．2社會學習粒子群優化

 

9．3．3模型管理策略

 

9．3．4未標記數據的選擇

 

9．3．5實驗結果與討論

 

9．4多目標優化中問題之間的知識遷移

 

9．4．1遷移學習的領域自適應

 

9．4．2從廉價到昂貴問題的知識遷移

 

9．4．3用於數據增強的CEBDA

 

9．4．4進化多目標貝葉斯優化

 

9．5多目標優化中目標之間的知識遷移

 

9．5．1動機

 

9．5．2基於參數的遷移學習

 

9．5．3算法框架

 

9．6數據驅動的多精度遷移優化

 

9．6．1雙精度優化中的遷移學習

 

9．6．2遷移堆疊

 

9．6．3代理模型輔助的雙精度進化優化

 

9．6．4實驗結果

 

9．7代理模型輔助的多任務多場景優化

 

9．7．1多場景minimax優化

 

9．7．2代理模型輔助的minimax多因子進化優化

 

9．7．3實驗結果

 

9．8小結

 

第10章代理模型輔助的高維進化優化

 

10．1代理模型輔助的協同優化求解高維問題

 

10．1．1RBF 輔助的 SLPSO

 

10．1．2FES 輔助的 PSO

 

10．1．3存盤更新

 

10．1．4實驗結果和分析

 

10．2高維優化中的多目標填充準則

 

10．2．1主要框架

 

10．2．2多目標填充準則

 

10．2．3實驗結果和分析

 

10．3針對昂貴問題的多模型多任務優化

 

10．3．1多因子進化算法

 

10．3．2主要框架

 

10．3．3全局和局部代理模型

 

10．3．4基於全局和局部代理模型的多任務優化

 

10．3．5實驗結果和分析

 

10．4隨機特徵選擇下代理模型輔助的大規模優化

 

10．4．1主要框架

 

10．4．2子問題的形成與優化

 

10．4．3全局最優位置的更新

 

10．4．4實驗結果和分析

 

10．5小結

 

第11章離線大或小數據驅動的優化及應用

 

11．1離線急救系統大數據驅動優化的自適應聚類

 

11．1．1問題建模

 

11．1．2用於離線數據驅動優化的自適應聚類

 

11．1．3實驗結果

 

11．1．4討論

 

11．2小數據驅動多目標鎂爐優化

 

11．2．1基於全局代理的模型管理

 

11．2．2基準問題的驗證實驗

 

11．2．3電熔鎂爐優化

 

11．3面向離線翼型優化的選擇性集成模型

 

11．3．1問題建模

 

11．3．2離線數據驅動優化的選擇性集成模型

 

11．3．3對比實驗結果

 

11．4離線數據驅動的選礦過程優化中的知識遷移

 

11．4．1引言

 

11．4．2多代理模型優化的知識遷移

 

11．4．3基於參考向量的最終解選擇

 

11．4．4選礦工藝優化

 

11．5離線動態數據驅動優化中的遷移學習

 

11．5．1動態數據驅動的優化

 

11．5．2用於增量學習的數據流集成模型

 

11．5．3基於集成的遷移優化

 

11．5．4用於最終解選擇的支持向量域描述

 

11．5．5實驗結果

 

11．6小結

 

第12章代理模型輔助進化神經架構搜索

 

12．1神經網絡架構搜索的挑戰

 

12．1．1架構表示

 

12．1．2搜索策略

 

12．1．3性能評估

 

12．2神經網絡架構搜索中的貝葉斯優化

 

12．2．1架構編碼

 

12．2．2核函數

 

12．2．3討論

 

12．3隨機森林輔助的神經架構搜索

 

12．3．1塊式架構表示法

 

12．3．2離線數據產生

 

12．3．3隨機森林構建

 

12．3．4搜索方法

 

12．3．5實驗結果

 

12．4小結

 

參考文獻