Kubeflow : 雲計算和機器學習的橋梁

何金池

高級軟件工程師，負責IBM Data & AI系統研發，Kubeflow社區Maintainer。

李峰

高級軟件工程師，負責IBM 認知系統研發，Kubeflow社區Maintainer。

劉光亞

IBM Cloud Pak for Multicloud Management的STSM（Senior Technical Staff Member），
資深架構師，負責IBM多雲管理的研發與AI集成。

劉侯剛

高級軟件工程師, 負責IBM私有云研發，Kubeflow社區Maintainer，Katib聯合創始人。

目錄
第1篇IT兩大“高速列車”：雲計算和機器學習
第1章云計算和KUBERNETES 2
1．1雲計算2
1．1．1雲計算的歷史和發展2
1．1．2為什麼雲計算會“飄”起來5
1．2虛擬化使雲計算輕鬆落地6
1．2．1虛擬化為雲計算“鋪上了輕軌” 6
1．2．2 Docker的“燎原之火” 7
1．2 ．3 Docker的hello-world應用9
1．3 KUBERNETES――雲計算的新標杆11
1．3．1 Kubernetes的橫空出世11
1．3．2 Kubernetes的基本概念和架構12
1．3．3 Kubernetes集群的部署16
1．3．4 Kubernetes的“Hello World”應用18

第2章機器學習24
2．1人工智能的第三次“衝擊波” 24
2．2機器學習在生活中的應用28
2．3機器學習的主流框架30
2．3．1 TensorFlow 30
2．3．2 PyTorch 32
2．3．3 scikit-learn 33
2．3．4 XGBoost 34
2．3．5 ONNX 35
2．4機器學習的“ HELLO WORLD” 36
2．4．1 MNIST數據集36
2．4．2 MNIST模型訓練37

第2篇KUBEFLOW：連接雲計算和機器學習的“橋樑”
第3章KUBEFLOW概述40
3．1 KUBEFLOW是什麼40
3．2 KUBEFLOW的發展42
3．3 KUBEFLOW的核心組件44

第4章KUBEFLOW的部署與應用48
4．1 KUBEFLOW的安裝與部署48
4．1．1 Kubeflow的部署工具Kfctl 48
4．1．2 Kubeflow Manifests與kustomize 49
4．1．3 Kubeflow與Kubernetes版本的兼容性51
4．1．4 Kubeflow的安裝過程52
4．1．5安裝後檢查54
4．2 KUBEFLOW的用戶故事56
4．3 KUBEFLOW端到端的用戶案例58
4．4 KUBEFLOW對IBM POWER平台的支持67

第5章KUBEFLOW PIPELINES流水線式機器學習69
5．1 KUBEFLOW PIPELINES是什麼69
5．2 KUBEFLOW PIPELINES的基本概念71
5．3 KUBEFLOW PIPELINES的架構73
5．4 PIPELINES SDK 74
5．4．1安裝Pipelines SDK 75
5．4．2 Pipelines SDK代碼分析75
5．5動手構建自己的PIPELINES 79
5．6 KUBEFLOW PIPELINES的實際應用82

第6章KUBEFLOW OPERATOR自定義資源94
6．1 KUBERNETES CRD簡述94
6．2 TENSORFLOW OPERATOR 96
6．2．1 TFJob的前世今生96
6．2．2 TFJob CRD 96
6．2．3故障定位102
6．2．4 TFJob Python SDK 103
6．2．5 TFJob的應用實例105
6．3 PYTORCH OPERATOR 107
6．3．1 PyTorchJob簡介108
6．3．2 PyTorchJob的實際應用109
6．4其他OPERATOR 111
6．4．1 XGBoost Operator 111
6．4．2 Caffe2 Operator 113
6．4．3 MPI Operator 114
6．4．4 MXNet Operator 115
6．4．5 Chainer Operator 116

第7章KUBEFLOW KATIB超參調優118
7．1機器學習中的超參調優118
7．2什麼是KATIB 120
7．3 KATIB的安裝方法120
7．4 KATIB的架構121
7．5 KATIB的業務流程123
7．6使用KATIB進行一次超參調優125

第8章KFSERVING解決機器學習“最後一公里”的問題133
8．1 KFSERVING是什麼133
8．2 ISTIO簡介135
8．2．1 Service Mesh的概念135
8．2．2 Istio的架構137
8．2．3 Istio的安裝方法138
8．3 KNATIVE簡介139
8． 3．1 Knative的架構139
8．3．2 Knative Serving 140
8．3．3 Knative Serving的安裝方法142
8．4 KFSERVING的架構分析142
8．4．1 KFServing的架構142
8．4．2 KFServing Data Plane 144
8．4．3 KFServing Control Plane 146
8．5 KFSERVING PYTHON SDK 148
8．5．1 KFServing Python SDK的安裝方法149
8．5．2 KFServing Python SDK Client支持的API 149
8．5．3 KFServing Python SDK的應用153
8．6 KFSERVING的應用實例156
8．6．1使用PVC訓練模型並發布服務156
8．6．2 InferenceService Transformer的應用157

第9章KUBEFLOW FAIRING帶機器學習“飛” 160
9．1 KUBEFLOW FAIRING是什麼160
9．2 KUBEFLOW FAIRING的安裝方法162
9．2．1本地安裝162
9．2．2在Kubeflow Jupyter Notebook中更新Kubeflow Fairing SDK 163
9．3 KUBEFLOW FAIRING的架構分析165
9．4 KUBEFLOW FAIRING的源碼分析165
9．4．1 Kubeflow Fairing的入口程序文件Config．py 165
9．4．2 Kubeflow Fairing Preprocessor 166
9．4．3 Kubeflow Fairing Builder 168
9．4．4 Kubeflow Fairing Deployer 169
9．4．5 Kubeflow Fairing支持的High Level API 171
9．5 KUBEFLOW FAIRING的應用實例171

第10章KUBEFLOW METADATA 176
10．1 KUBEFLOW METADATA簡述176
10．2 KUBEFLOW METADATA的架構與設計177
10．3 METADATA支持的元數據和數據表180
10．4 KUBEFLOW METADATA實戰183
10．4．1安裝Kubeflow Metadata組件183
10．4．2 Kubeflow Metadata的應用實例184
10．4．3 Metadata的展示186

第11章KUBEBENCH機器學習哪家強188
11．1先從BENCHMARK說起188
11．2 KUBEBENCH的安裝方法190
11．3 KUBEBENCH的架構190
11．4 KUBEBENCH的實踐193

第12章KUBEFLOW中的JUPYTER NOTEBOOK HUB 195
12．1 JUPYTER NOTEBOOK簡述195
12．2 JUPYTER NOTEBOOK的架構及其運行原理196
12．3 KUBEFLOW JUPYTER NOTEBOOK的組件及其使用方法197

第3篇KUBEFLOW的應用和展望
第13章KUBEFLOW的應用實戰205
13．1在雲平台上進行機器學習205
13．2基於KUBEFLOW的SEQ2SEQ機器學習案例220
13．2．1 Seq2Seq模型簡介220
13．2．2在Kubeflow平台上運行Seq2Seq案例222

第14章KUBEFLOW前景展望和AI HUB 233
14．1 KUBEFLOW 1．0的功能和計劃233
14．2基於KUBEFLOW的AI HUB新模式234
14．3智能雲中的AIAAS（AI服務） 237