Python數據分析與可視化應用

本書結合作者多年工程和實踐經驗，從Python 基礎編程語法入手，系統介紹了基於Python 語言進行數據處理、分析與可視化展示所需的各項知識和技術。讀者無須特別的數學或統計方面的理論知識，只需理解數據分析的思路，就可以參考示例學會針對實際問題進行有效數據分析的步驟和方法。 本書分4 篇共20 章，主要內容涉及Python 基本語法、程序控制結構、函數、面向對象基礎、文件操作、標準庫、正則表達式、numpy 庫、pandas 庫、數據預處理、matplotlib 可視化圖表、seaborn可視化圖表、pyecharts 可視化圖表、SciPy 科學計算、共享自行車案例及在線銷售案例。

一篇Python基礎

1章Python概述2

1.1Python簡介2

1.1.1Python的起源2

1.1.2Python的發展2

1.2Python解釋器3

1.2.1安裝Python解釋器3

1.2.2交互運行模式4

1.2.3命令行運行模式4

1.3集成開發環境PyCharm5

1.3.1安裝PyCharm5

1.3.2創建項目7

1.3.3創建並運行Python文件8

2章Python編程基礎10

2.1常量和變量10

2.1.1常量和變量的定義10

2.1.2變量命名規則10

2.2簡單數據類型11

2.2.1數值類型11

2.2.2字符串12

2.2.3ne13

2.2.4布爾類型14

2.2.5數據類型轉換14

2.3算術運算15

2.4賦值運算符16

2.5字符串相關運算17

2.5.1字符串連接運算17

2.5.2字符串截取18

2.6輸出18

2.6.1print函數的基本用法19

2.6.2print函數格式化輸出20

2.7輸入23

2.8程序註釋23

3章程序控制結構25

3.1選擇結構25

3.1.1條件表達式25

3.1.2單分支結構if語句27

3.1.3二分支結構if-else語句27

3.1.4多分支結構if-elif-else語句29

3.2循環結構31

3.2.1for語句實現遍歷循環31

3.2.2while語句實現條件循環33

3.2.3循環結構中的else語句35

3.2.4break語句和continue語句36

4章組合數據類型39

4.1列表39

4.1.1列表的表示與訪問列表元素39

4.1.2遍歷列表40

4.1.3添加列表元素42

4.1.4刪除列表元素44

4.1.5列表排序45

4.2元組46

4.3字典47

4.3.1創建字典48

4.3.2添加和刪除鍵值對49

4.3.4遍歷字典49

4.3.5字典嵌套50

5章函數52

5.1函數的定義和調用52

5.2函數參數傳遞54

5.3列表作為函數參數57

5.3.1簡單數據類型參數傳遞值57

5.3.2組合數據類型參數公用存儲空間57

5.3.3組合數據類型的數據作為函數參數的應用58

5.4模塊59

5.4.1創建模塊59

5.4.2導入模塊60

6章類和對象63

6.1類和對象的概念63

6.2定義只具有方法的類和對象64

6.2.1定義類64

6.2.2實例化對象65

6.3對像初始化方法及屬性66

6.3.1對像初始化方法_init_()66

6.3.2定義類的屬性66

6.3.3訪問對象屬性67

6.3.4輸出對象的描述信息68

6.3.5封裝性69

6.4類和對象應用實例69

6.5類的繼承70

6.5.1繼承的定義70

6.5.2_init_()方法的繼承72

6.5.3重寫父類方法73

7章文件作74

7.1基本作74

7.2打開文件75

7.2.1文件指針75

7.2.2打開方式76

7.3讀取文件77

7.4寫入文件78

7.4.1使用write()方法向文件中寫入內容78

7.4.2使用write()方法向文件中追加內容79

7.5讀寫CSV文件80

7.5.1讀取數據80

7.5.2寫入數據81

8章常用Python標準庫83

8.1datetime模塊83

8.1.1date類83

8.1.2time類86

8.1.3datetime類86

8.1.4timedelta類87

8.1.5時間轉化88

8.1.6設置日期時間格式88

8.2math模塊89

8.3random模塊90

8.4os模塊92

二篇數據分析

9章正則表達式98

9.1正則表達式中的元字符98

9.1.1主要元字符98

9.1.2對字符進行轉義99

9.1.3標記開始與結束99

9.2匹配一組字符100

9.2.1定義一組字符100

9.2.2對一組字符取反100

9.2.3使用區間簡化一組字符的定義100

9.3使用量詞進行多次匹配101

9.3.1常用量詞101

9.3.2貪婪和非貪婪匹配101

9.3.3分組102

9.4使用re模塊處理正則表達式102

9.4.1Python正則表達式的語法102

9.4.2匹配字符串102

9.4.3替換字符串106

9.4.4分割字符串107

10章使用numpy進行數值計算108

10.1使用numpy生成數組108

10.1.1常用數組生成函數108

10.1.2ndarray對象屬性109

10.1.3數組變換110

10.1.4numpy的隨機數函數112

10.2數組的索引和切片112

10.2.1數組的索引112

10.2.2數組的切片113

10.3數組的運算114

10.3.1數組和標量間的運算114

10.3.2通用函數114

10.3.3統計運算115

10.4數組的存儲與讀取116

10.4.1數組的存儲116

10.4.2數組的讀取116

11章pandas數據分析模塊118

11.1pandas數據結構118

11.1.1創建Series數據118

11.1.2創建DataFrame數據120

11.2添加、修改和刪除數據121

11.2.1添加數據122

11.2.2修改數據123

11.2.3刪除數據124

11.3索引作126

11.3.1重設索引126

11.3.2將已有列設置為索引126

11.3.3重新命名索引127

11.3.4層次化索引128

11.4選取數據130

11.4.1Series數據的選取130

11.4.2DataFrame數據的選取131

11.5數據運算133

11.5.1算術運算133

11.5.2函數應用和映134

11.5.3匯總與統計135

11.5.4值和值計數138

12章使用pandas獲取和寫入數據140

12.1文本數據的讀取與存儲140

12.1.1CSV文件的讀取140

12.1.2TXT文件的讀取142

12.1.3文本數據的存儲143

12.2Ecel與JSON數據143

12.2.1Ecel數據143

12.2.2JSON數據144

12.3數據庫的讀取與寫入145

12.3.1SQLAlchemy包的安裝和數據庫的鏈接145

12.3.2SQLite數據庫寫入和讀取數據145

13章數據預處理147

13.1數據清洗147

13.1.1處理缺失值147

13.1.2刪除重複數據150

13.1.3替換值151

13.1.4利用函數或映進行數據轉換152

13.2對數據進行排序和排名153

13.2.1數據排序153

13.2.2數據排名155

13.3數據合併和重塑156

13.3.1數據合併156

13.3.2數據連接157

13.3.3數據轉置159

13.4字符串處理159

13.4.1字符串方法159

13.4.2使用正則表達式160

14.1數據分組161

14.1.1認識GroupBy161

14章數據的分組與聚合161

14.1.2按照列名進行分組162

14.1.3按照Series數據進行

分組163

14.2數據聚合164

14.2.1聚合函數164

14.2.2使用aggregate()方法

進行數據聚合165

14.3長表變寬表166

14.3.1什麼是長表和寬表166

14.3.2使用pivot函數將長表變為寬表167

14.3.3使用pivot_table函數進行數據透視分析167

三篇數據可視化

15章使用matplotlib可視化數據170

15.1創建圖表的基本方法170

15.1.1圖表的基本組成元素170

15.1.2建立畫布和坐標系171

15.1.3設置坐標軸175

15.1.4設置網格線177

15.1.5設置圖例178

15.1.6設置圖表標題179

15.1.7設置數據標籤180

15.1.8設置數據表181

15.1.9繪製常用幾何圖形182

15.2常用圖表的創建186

15.2.1折線圖186

15.2.2柱形圖188

15.2.3餅圖和圓環圖191

15.2.4散點圖和氣泡圖191

15.2.5直方圖193

15.2.6箱形圖194

15.2.7等高線圖196

15.2.8階梯圖196

16章使用seaborn可視化數據198

16.1seaborn的樣式198

16.1.1基本樣式198

16.1.2自定義樣式199

16.2繪製分佈圖200

16.2.1單變量分佈圖200

16.2.2多變量分佈圖202

16.3繪製分類圖204

16.3.1分類散點圖204

16.3.2箱形圖與琴形圖204

16.3.3回歸圖205

17章使用pyecharts動態可視化數據207

17.1pyecharts的版本與特點207

17.2pyechats可視化的流程及選項設置207

17.2.1pyecharts可視化的一般流程207

17.2.2pyecharts選項設置209

17.2.3pyecharts常用的圖表設置方法211

17.3使用pyecharts創建圖表214

17.3.1餅圖和圓環圖214

17.3.2折線圖和麵積圖216

17.3.3散點圖和氣泡圖218

17.3.4直方圖和箱形圖219

17.3.5詞云圖221

17.3.6數據地圖222

17.3.7雷達圖224

17.3.8儀錶盤和水球圖225

18章使用SciPy進行科學計算和統計分析227

18.1使用SciPy進行科學計算227

18.1.1獲取基本科學常量227

18.1.2線性代數和微積分228

18.1.3插值與擬合229

18.2使用SciPy進行統計分析230

18.2.1正態分佈有關計算230

18.2.2通過樣本推斷總體參數231

18.2.3檢驗均值232

18.2.4檢驗均值差233

18.2.5卡方檢驗234

18.2.6回歸分析235

篇實例應用

19章共享自行車大數據分析239

19.1數據預處理239

19.1.1讀取數據239

19.1.2數據清洗與轉換240

19.2探索數據規律241

19.2.1年份數據比較241

19.2.2月份趨勢比較241

19.2.3每日高峰時段分析243

19.2.4不同季度差異分析244

19.2.5週末和工作日差異分析245

20章在線銷售數據分析與建模246

20.1獲取和清洗數據246

20.1.1獲取數據246

20.1.2了解數據的基本特徵247

20.1.3清洗與整理數據248

20.2分析與可視化銷售數據249

20.2.1查看銷量的描述統計結果249

20.2.2按產品對銷量進行匯總249

20.2.3按城市匯總產品250

20.2.4對產品和城市進行交分析251

20.3銷量趨勢分析251

20.3.1日期格式轉換252

20.3.2時間和季節趨勢分析252

20.3.3比較不同城市季節趨勢的差異253