深入集群：大型數據中心資源調度與管理

李雨前，最近從事阿里雲ECS彈性計算產品售賣、產品運營推薦、庫存供應等工作，有4年的大規模（阿里巴巴百萬級容器）集群資源管理調度實踐經驗：包括經歷和推動多個調度核心系統和模塊，針對long-time service及co-location 調度具有全面、深入的一線實踐和解決問題經驗，提交10+項相關發明專利；擅長穩定性優先的集群調度策略和穩定性架構設計、全局穩定性數據分析實踐，以及Java和Go編程語言。

第1部分集群調度
第1章集群任務與集群資源調度 2
1.1 集群調度概述 2
1.1.1 層次關係 2
1.1.2 術語解釋 3
1.2 集群任務調度 5
1.2.1 問題背景 6
1.2.2 解決什麼問題 6
1.2.3 一般解法 6
1.2.4 實踐案例 7
1.3 集群資源調度 8
1.3.1 資源調度解決什麼問題 8
1.3.2 資源描述 9
1.3.3 如何調度資源13

第2章資源調度核心指標14
2.1 業務背景14
2.1.1 縮容15
2.1.2 擴容16
2.1.3 故障處理18
2.1.4 負載均衡20
2.1.5 宏觀評價20
2.1.6 具體指標21
2.2 資源調度性能23
2.3 資源調度成功率25
2.4 資源分配率26
2.5 資源實際利用率29
2.5.1 資源宏觀利用率分佈30
2.5.2 分配不充分31
2.5.3 負載不均衡32
2.5.4 編排動態調整33
2.6 資源利用率最優剖析33
2.6.1 解決什麼問題34
2.6.2 如何解決問題35
2.6.3 案例分享42

第3章基本調度算法51
3.1 裝箱算法52
3.2 操作系統CFS調度55
3.3 操作系統PV操作62
3.4 Golang GMP模型64
3.5 Kubernetes調度算法93
3.5.1 資源數據定義94
3.5.2 資源數據獲取98
3.5.3 資源數據計算102
3.5.4 資源扣減和一致性更新106
3.5.5 資源分配常見算法107
3.6 Hadoop調度算法110
3.6.1 資源數據定義111
3.6.2 資源數據獲取111
3.6.3 資源數據計算112
3.6.4 資源扣減和一致性更新114
3.6.5 資源分配常見算法116
3.7 “雙11”調度算法118
3.7.1 問題和解決思路118
3.7.2 架構和關鍵實現抽象124
3.8 雲端資源調度算法126
3.8.1 雲服務提供商資源調度126
3.8.2 混合雲資源生產調度127
3.9 單機資源調度131
3.10 調度評測134
3.10.1 設計和實施135
3.10.2 開源模擬器139

第4章資源調度架構設計和實踐141
4.1 資源視圖下的架構劃分144
4.2 集群調度基本構件147
4.3 集群資源管理角度150
4.3.1 面向過程的調度架構設計和實踐151
4.3.2 面向終態的調度架構設計和實踐151
4.3.3 面向服務的調度架構設計和實踐152
4.4 分層與垂直化分工協同152
4.5 中心調度與單機調度定位155
4.6 規模化、平台化與個性化、場景化156
4.7 解決問題優先與架構設計改進157

第2部分集群管理
第5章集群資源管理含義159
5.1 集群資源管理解決什麼問題159
5.2 集群資源管理和資源調度的關係160
5.3 集群資源管理一般怎麼做163

第6章集群資源管理核心指標166
6.1 集群資源管理效能指標166
6.2 集群資源軟硬件故障率167
6.3 集群資源可用率168
6.4 集群資源分配率169
6.5 集群資源利用率170

第7章集群資源管理常用策略172
7.1 基礎設施鏡像化172
7.2 統一資源池173
7.3 標籤化管理174
7.3.1 標籤設計原則176
7.3.2 標籤運用178
7.3.3 案例：Kubernetes的Label設計與使用管理179
7.4 面向終態巡檢和一致性修復180
7.4.1 面向終態巡檢180
7.4.2 一致性修復182
7.4.3 案例：Kubernetes的一致性修復183
7.5 數據驅動184
7.5.1 調度體係數據脈絡185
7.5.2 數據體系構建185
7.5.3 案例：Kubernetes Insight 193
7.6 集群資源計收費194
7.6.1 計收費流程196
7.6.2 計費模式196

附錄A 199