Python數據分析實例精解

目    錄

第1章  生成匯總統計數據 1

　　1.1  技術要求 1

　　1.2  分析數據集的平均值 1

　　1.2.1  準備工作 2

　　1.2.2  實戰操作 2

　　1.2.3  原理解釋 3

　　1.2.4  擴展知識 4

　　1.3  檢查數據集的中位數 4

　　1.3.1  準備工作 4

　　1.3.2  實戰操作 5

　　1.3.3  原理解釋 5

　　1.3.4  擴展知識 6

　　1.4  識別數據集的眾數 6

　　1.4.1  準備工作 6

　　1.4.2  實戰操作 6

　　1.4.3  原理解釋 7

　　1.4.4  擴展知識 7

　　1.5  檢查數據集的方差 8

　　1.5.1  準備工作 8

　　1.5.2  實戰操作 8

　　1.5.3  原理解釋 9

　　1.5.4  擴展知識 9

　　1.6  識別數據集的標準差 9

　　1.6.1  準備工作 9

　　1.6.2  實戰操作 9

　　1.6.3  原理解釋 10

　　1.6.4  擴展知識 10

　　1.7  生成數據集的全距 10

　　1.7.1  準備工作 11

　　1.7.2  實戰操作 11

　　1.7.3  原理解釋 12

　　1.7.4  擴展知識 12

　　1.8  識別數據集的百分位數 12

　　1.8.1  準備工作 12

　　1.8.2  實戰操作 12

　　1.8.3  原理解釋 13

　　1.8.4  擴展知識 13

　　1.9  檢查數據集的四分位數 14

　　1.9.1  準備工作 14

　　1.9.2  實戰操作 14

　　1.9.3  原理解釋 15

　　1.9.4  擴展知識 15

　　1.10  分析數據集的四分位距 15

　　1.10.1  準備工作 15

　　1.10.2  實戰操作 15

　　1.10.3  原理解釋 16

第2章  為探索性數據分析準備數據 17

　　2.1  技術要求 17

　　2.2  數據分組 17

　　2.2.1  準備工作 18

　　2.2.2  實戰操作 18

　　2.2.3  原理解釋 19

　　2.2.4  擴展知識 20

　　2.2.5  參考資料 20

　　2.3  追加數據 20

　　2.3.1  準備工作 21

　　2.3.2  實戰操作 21

　　2.3.3  原理解釋 23

　　2.3.4  擴展知識 23

　　2.4  連接數據 23

　　2.4.1  準備工作 24

　　2.4.2  實戰操作 24

　　2.4.3  原理解釋 26

　　2.4.4  擴展知識 26

　　2.4.5  參考資料 26

　　2.5  合並數據 26

　　2.5.1  準備工作 28

　　2.5.2  實戰操作 28

　　2.5.3  原理解釋 29

　　2.5.4  擴展知識 29

　　2.5.5  參考資料 30

　　2.6  數據排序 30

　　2.6.1  準備工作 30

　　2.6.2  實戰操作 30

　　2.6.3  原理解釋 32

　　2.6.4  擴展知識 32

　　2.7  數據分類 32

　　2.7.1  準備工作 33

　　2.7.2  實戰操作 33

　　2.7.3  原理解釋 34

　　2.7.4  擴展知識 35

　　2.8  刪除重復數據 35

　　2.8.1  準備工作 35

　　2.8.2  實戰操作 35

　　2.8.3  原理解釋 36

　　2.8.4  擴展知識 37

　　2.9  刪除數據行和列 37

　　2.9.1  準備工作 37

　　2.9.2  實戰操作 37

　　2.9.3  原理解釋 38

　　2.9.4  擴展知識 39

　　2.10  替換數據 39

　　2.10.1  準備工作 39

　　2.10.2  實戰操作 39

　　2.10.3  原理解釋 40

　　2.10.4  擴展知識 41

　　2.10.5  參考資料 41

　　2.11  更改數據格式 41

　　2.11.1  準備工作 41

　　2.11.2  實戰操作 42

　　2.11.3  原理解釋 43

　　2.11.4  擴展知識 43

　　2.11.5  參考資料 43

　　2.12  處理缺失值 44

　　2.12.1  準備工作 44

　　2.12.2  實戰操作 44

　　2.12.3  原理解釋 45

　　2.12.4  擴展知識 46

　　2.12.5  參考資料 46

第3章  在Python中可視化數據 47

　　3.1  技術要求 47

　　3.2  為可視化做準備 47

　　3.2.1  準備工作 48

　　3.2.2  實戰操作 48

　　3.2.3  原理解釋 49

　　3.2.4  擴展知識 50

　　3.3  使用matplotlib可視化數據 50

　　3.3.1  準備工作 50

　　3.3.2  實戰操作 51

　　3.3.3  原理解釋 54

　　3.3.4  擴展知識 55

　　3.3.5  參考資料 56

　　3.4  使用seaborn可視化數據 56

　　3.4.1  準備工作 56

　　3.4.2  實戰操作 57

　　3.4.3  原理解釋 60

　　3.4.4  擴展知識 61

　　3.4.5  參考資料 61

　　3.5  使用ggplot可視化數據 61

　　3.5.1  準備工作 62

　　3.5.2  實戰操作 62

　　3.5.3  原理解釋 65

　　3.5.4  擴展知識 66

　　3.5.5  參考資料 66

　　3.6  使用bokeh可視化數據 66

　　3.6.1  準備工作 67

　　3.6.2  實戰操作 67

　　3.6.3  原理解釋 71

　　3.6.4  擴展知識 73

　　3.6.5  參考資料 73

第4章  在Python中執行單變量分析 75

　　4.1  技術要求 75

　　4.2  使用直方圖執行單變量分析 75

　　4.2.1  準備工作 76

　　4.2.2  實戰操作 76

　　4.2.3  原理解釋 78

　　4.3  使用箱線圖執行單變量分析 79

　　4.3.1  準備工作 80

　　4.3.2  實戰操作 80

　　4.3.3  原理解釋 82

　　4.3.4  擴展知識 82

　　4.4  使用小提琴圖執行單變量分析 83

　　4.4.1  準備工作 84

　　4.4.2  實戰操作 84

　　4.4.3  原理解釋 86

　　4.5  使用匯總表執行單變量分析 87

　　4.5.1  準備工作 87

　　4.5.2  實戰操作 87

　　4.5.3  原理解釋 89

　　4.5.4  擴展知識 89

　　4.6  使用條形圖執行單變量分析 89

　　4.6.1  準備工作 89

　　4.6.2  實戰操作 89

　　4.6.3  原理解釋 91

　　4.7  使用餅圖執行單變量分析 92

　　4.7.1  準備工作 92

　　4.7.2  實戰操作 92

　　4.7.3  原理解釋 94

第5章  在Python中執行雙變量分析 97

　　5.1  技術要求 97

　　5.2  使用散點圖分析兩個變量 97

　　5.2.1  準備工作 99

　　5.2.2  實戰操作 99

　　5.2.3  原理解釋 101

　　5.2.4  擴展知識 102

　　5.2.5  參考資料 102

　　5.3  基於雙變量數據創建交叉表/雙向表 102

　　5.3.1  準備工作 103

　　5.3.2  實戰操作 103

　　5.3.3  原理解釋 104

　　5.4  使用數據透視表分析兩個變量 104

　　5.4.1  準備工作 104

　　5.4.2  實戰操作 105

　　5.4.3  原理解釋 106

　　5.4.4  擴展知識 106

　　5.5  生成兩個變量的配對圖 107

　　5.5.1  準備工作 107

　　5.5.2  實戰操作 107

　　5.5.3  原理解釋 108

　　5.6  使用條形圖分析兩個變量 109

　　5.6.1  準備工作 109

　　5.6.2  實戰操作 109

　　5.6.3  原理解釋 111

　　5.6.4  擴展知識 112

　　5.7  生成兩個變量的箱線圖 112

　　5.7.1  準備工作 112

　　5.7.2  實戰操作 112

　　5.7.3  原理解釋 114

　　5.8  創建兩個變量的直方圖 115

　　5.8.1  準備工作 115

　　5.8.2  實戰操作 115

　　5.8.3  原理解釋 118

　　5.9  使用相關性分析分析兩個變量 118

　　5.9.1  準備工作 118

　　5.9.2  實戰操作 119

　　5.9.3  原理解釋 121

第6章  在Python中執行多變量分析 123

　　6.1  技術要求 123

　　6.2  使用Kmeans實現多個變量的聚類分析 124

　　6.2.1  準備工作 124

　　6.2.2  實戰操作 125

　　6.2.3  原理解釋 127

　　6.2.4  擴展知識 128

　　6.2.5  參考資料 128

　　6.3  在Kmeans中選擇最佳聚類數 129

　　6.3.1  準備工作 129

　　6.3.2  實戰操作 129

　　6.3.3  原理解釋 132

　　6.3.4  擴展知識 133

　　6.3.5  參考資料 133

　　6.4  分析Kmeans聚類 133

　　6.4.1  準備工作 134

　　6.4.2  實戰操作 134

　　6.4.3  原理解釋 137

　　6.4.4  擴展知識 138

　　6.5  對多個變量實施主成分分析 138

　　6.5.1  準備工作 139

　　6.5.2  實戰操作 139

　　6.5.3  原理解釋 141

　　6.5.4  擴展知識 142

　　6.5.5  參考資料 142

　　6.6  選擇主成分的數量 142

　　6.6.1  準備工作 142

　　6.6.2  實戰操作 142

　　6.6.3  原理解釋 145

　　6.7  分析主成分 146

　　6.7.1  準備工作 146

　　6.7.2  實戰操作 146

　　6.7.3  原理解釋 149

　　6.7.4  擴展知識 150

　　6.7.5  參考資料 150

　　6.8  對多個變量實施因子分析 150

　　6.8.1  準備工作 150

　　6.8.2  實戰操作 151

　　6.8.3  原理解釋 154

　　6.8.4  擴展知識 154

　　6.9  確定因子的數量 155

　　6.9.1  準備工作 155

　　6.9.2  實戰操作 155

　　6.9.3  原理解釋 158

　　6.10  分析因子 159

　　6.10.1  準備工作 159

　　6.10.2  實戰操作 159

　　6.10.3  原理解釋 163

第7章  在Python中分析時間序列數據 167

　　7.1  技術要求 168

　　7.2  使用折線圖和箱線圖可視化時間序列數據 168

　　7.2.1  準備工作 169

　　7.2.2  實戰操作 169

　　7.2.3  原理解釋 172

　　7.3  發現時間序列數據中的模式 173

　　7.3.1  準備工作 173

　　7.3.2  實戰操作 173

　　7.3.3  原理解釋 176

　　7.4  執行時間序列數據分解 177

　　7.4.1  準備工作 179

　　7.4.2  實戰操作 179

　　7.4.3  原理解釋 184

　　7.5  執行平滑—移動平均 185

　　7.5.1  準備工作 186

　　7.5.2  實戰操作 186

　　7.5.3  原理解釋 190

　　7.5.4  參考資料 191

　　7.6  執行平滑—指數平滑 191

　　7.6.1  準備工作 192

　　7.6.2  實戰操作 192

　　7.6.3  原理解釋 196

　　7.6.4  參考資料 196

　　7.7  對時間序列數據執行平穩性檢查 197

　　7.7.1  準備工作 197

　　7.7.2  實戰操作 198

　　7.7.3  原理解釋 199

　　7.7.4  參考資料 200

　　7.8  差分時間序列數據 200

　　7.8.1  準備工作 200

　　7.8.2  實戰操作 201

　　7.8.3  原理解釋 203

　　7.9  使用相關圖可視化時間序列數據 204

　　7.9.1  準備工作 205

　　7.9.2  實戰操作 205

　　7.9.3  原理解釋 208

　　7.9.4  參考資料 209

第8章  在Python中分析文本數據 211

　　8.1  技術要求 211

　　8.2  準備文本數據 212

　　8.2.1  準備工作 213

　　8.2.2  實戰操作 213

　　8.2.3  原理解釋 217

　　8.2.4  擴展知識 218

　　8.2.5  參考資料 218

　　8.3  處理停用詞 218

　　8.3.1  準備工作 219

　　8.3.2  實戰操作 219

　　8.3.3  原理解釋 224

　　8.3.4  擴展知識 225

　　8.4  分析詞性 225

　　8.4.1  準備工作 226

　　8.4.2  實戰操作 226

　　8.4.3  原理解釋 230

　　8.5  執行詞乾提取和詞形還原操作 231

　　8.5.1  準備工作 232

　　8.5.2  實戰操作 232

　　8.5.3  原理解釋 238

　　8.6  分析n-gram 239

　　8.6.1  準備工作 240

　　8.6.2  實戰操作 240

　　8.6.3  原理解釋 244

　　8.7  創建詞雲 244

　　8.7.1  準備工作 245

　　8.7.2  實戰操作 245

　　8.7.3  原理解釋 247

　　8.8  檢查詞頻 248

　　8.8.1  準備工作 249

　　8.8.2  實戰操作 249

　　8.8.3  原理解釋 252

　　8.8.4  擴展知識 253

　　8.8.5  參考資料 254

　　8.9  執行文本中的情感分析 254

　　8.9.1  準備工作 254

　　8.9.2  實戰操作 255

　　8.9.3  原理解釋 259

　　8.9.4  擴展知識 259

　　8.9.5  參考資料 260

　　8.10  執行主題建模 260

　　8.10.1  準備工作 262

　　8.10.2  實戰操作 262

　　8.10.3  原理解釋 266

　　8.11  選擇最佳主題數量 267

　　8.11.1  準備工作 267

　　8.11.2  實戰操作 267

　　8.11.3  原理解釋 271

第9章  處理異常值和缺失值 273

　　9.1  技術要求 273

　　9.2  識別異常值 274

　　9.2.1  準備工作 275

　　9.2.2  實戰操作 275

　　9.2.3  原理解釋 277

　　9.3  發現單變量異常值 278

　　9.3.1  準備工作 278

　　9.3.2  實戰操作 278

　　9.3.3  原理解釋 281

　　9.4  尋找雙變量異常值 282

　　9.4.1  準備工作 282

　　9.4.2  實戰操作 282

　　9.4.3  原理解釋 285

　　9.5  識別多變量異常值 285

　　9.5.1  準備工作 286

　　9.5.2  實戰操作 286

　　9.5.3  原理解釋 290

　　9.5.4  參考資料 292

　　9.6  對異常值執行封頂和封底操作 292

　　9.6.1  準備工作 292

　　9.6.2  實戰操作 292

　　9.6.3  原理解釋 295

　　9.7  刪除異常值 296

　　9.7.1  準備工作 296

　　9.7.2  實戰操作 297

　　9.7.3  原理解釋 299

　　9.8  替換異常值 299

　　9.8.1  準備工作 300

　　9.8.2  實戰操作 300

　　9.8.3  原理解釋 302

　　9.9  識別缺失值 303

　　9.9.1  準備工作 304

　　9.9.2  實戰操作 305

　　9.9.3  原理解釋 307

　　9.10  刪除缺失值 308

　　9.10.1  準備工作 309

　　9.10.2  實戰操作 309

　　9.10.3  原理解釋 310

　　9.11  替換缺失值 311

　　9.11.1  準備工作 312

　　9.11.2  實戰操作 312

　　9.11.3  原理解釋 314

　　9.12  使用機器學習模型插補缺失值 315

　　9.12.1  準備工作 316

　　9.12.2  實戰操作 316

　　9.12.3  原理解釋 317

第10章  在Python中執行自動化探索性數據分析 319

　　10.1  技術要求 319

　　10.2  使用pandas profiling執行自動化探索性數據分析 320

　　10.2.1  準備工作 321

　　10.2.2  實戰操作 321

　　10.2.3  原理解釋 327

　　10.2.4  參考資料 328

　　10.3  使用D-Tale執行自動化探索性數據分析 329

　　10.3.1  準備工作 329

　　10.3.2  實戰操作 329

　　10.3.3  原理解釋 333

　　10.3.4  參考資料 334

　　10.4  使用AutoViz執行自動化探索性數據分析 334

　　10.4.1  準備工作 335

　　10.4.2  實戰操作 335

　　10.4.3  原理解釋 338

　　10.4.4  參考資料 339

　　10.5  使用Sweetviz執行自動化探索性數據分析 339

　　10.5.1  準備工作 340

　　10.5.2  實戰操作 340

　　10.5.3  原理解釋 342

　　10.5.4  參考資料 343

　　10.6  使用自定義函數實現自動化探索性數據分析 343

　　10.6.1  準備工作 343

　　10.6.2  實戰操作 343

　　10.6.3  原理解釋 350

　　10.6.4  擴展知識 351

　　

·XVI·

Python數據分析實例精解

　　

·XVII·

目    錄