Python基礎與大數據應用（第2版）（微課版）

丁輝教授，長期從事教學工作，主講過C語言程序設計、Python程序設計、數據結構、數據分析與挖掘等課程。主持省級教改課題1項，市級2項；主編教材3部，其中“十四五”職業教育國家規劃教材1部；發表論文10多篇；主持橫向課題多項；指導學生“藍橋杯”程序設計競賽獲多個省一等獎，大數據技術與應用省賽三等獎；獲省“青藍工程”骨幹教師稱號；常州市優秀共產黨員；教師教學能力大賽省二等獎。

目錄

單元1　Python環境搭建 / 1

1.1　Python版本概述與Python安裝文件的下載 / 2

1.1.1　Python版本概述 / 2

1.1.2　下載Python安裝文件 / 3

1.2　安裝Python / 5

1.2.1　解壓下載的文件 / 5

1.2.2　運行Python安裝文件 / 6

1.3　Python交互模式 / 8

1.4　IPython 3和PyCharm概述 / 9

1.4.1　IPython 3概述 / 9

1.4.2　PyCharm概述 / 10

【項目實戰】Python開發環境的安裝與使用 / 14

【單元小結】 / 17

【練習】 / 17

【拓展訓練項目】PyCharm集成開發環境的使用 / 17

單元2　Python編程基礎 / 18

2.1　變量 / 20

2.2　數值 / 21

2.2.1　整型 / 21

2.2.2　浮點型 / 22

2.2.3　復數型 / 22

2.2.4　布爾型 / 22

2.3　字符串 / 22

2.3.1　轉義字符 / 23

2.3.2　字符串運算 / 23

2.3.3　字符串操作方法 / 23

2.4　列表 / 25

2.4.1　列表的創建與刪除 / 25

2.4.2　列表操作方法 / 25

2.4.3　列表切片操作 / 26

2.5　元組 / 28

2.6　字典 / 29

2.6.1　字典的創建與訪問 / 29

2.6.2　字典元素的修改 / 29

2.6.3　字典操作方法 / 30

2.7　運算符 / 31

2.7.1　算術運算符 / 31

2.7.2　位運算符 / 31

2.7.3　邏輯運算符 / 32

2.7.4　比較運算符 / 32

2.7.5　賦值運算符 / 33

2.7.6　其他運算符 / 33

2.8　Python代碼編寫規範 / 34

2.9　控制流 / 36

2.9.1　順序結構程序 / 36

2.9.2　分支結構程序 / 40

2.9.3　循環結構程序 / 45

【項目實戰】個人所得稅年度匯算計算器 / 52

【單元小結】 / 55

【練習】 / 56

【拓展訓練項目】驗證哥德巴赫猜想 / 58

單元3　函數與異常 / 61

3.1　自定義函數 / 62

3.1.1　函數定義格式 / 62

3.1.2　函數設計 / 63

3.1.3　lambda表達式 / 63

3.2　函數調用 / 63

3.3　函數參數 / 64

3.3.1　位置參數 / 64

3.3.2　默認參數 / 65

3.3.3　可變長度參數 / 66

3.3.4　關鍵參數 / 68

3.4　變量作用域 / 68

3.4.1　局部變量 / 68

3.4.2　全局變量 / 69

3.5　異常 / 70

3.5.1　Python標準異常類 / 70

3.5.2　異常處理 / 71

【項目實戰】用函數實現哥德巴赫猜想 / 74

【單元小結】 / 76

【練習】 / 76

【拓展訓練項目】猜數遊戲 / 77

單元4　面向對象編程基礎 / 79

4.1　類和對象 / 80

4.1.1　類 / 80

4.1.2　對象 / 80

4.2　屬性與方法 / 81

4.2.1　屬性 / 81

4.2.2　方法 / 83

4.3　繼承 / 84

4.4　多態 / 85

【項目實戰】簡單學生成績管理系統 / 87

【單元小結】 / 90

【練習】 / 91

【拓展訓練項目】銀行存取款系統 / 92

單元5　模塊與包 / 94

5.1　模塊的創建和命名空間 / 95

5.1.1　模塊的創建 / 95

5.1.2　命名空間 / 96

5.2　模塊的導入和路徑 / 96

5.2.1　模塊的導入 / 96

5.2.2　模塊的路徑 / 97

5.3　包 / 99

5.4　Python內置模塊 / 100

5.4.1　math模塊 / 100

5.4.2　random模塊 / 100

5.4.3　time模塊 / 101

5.4.4　datetime模塊 / 102

5.4.5　calendar模塊 / 103

5.4.6　sys模塊 / 104

5.4.7　zipfile模塊 / 105

【項目實戰】日歷 / 107

【單元小結】 / 109

【練習】 / 109

【拓展訓練項目】查看模塊的屬性與內置函數（方法） / 110

單元6　Python文件和數據庫 / 112

6.1　文件的基本操作 / 113

6.1.1　內置函數open() / 113

6.1.2　文件對象常用的屬性和方法 / 114

6.1.3　文件操作案例 / 116

6.2　文件系統的基本操作 / 118

6.3　MySQL數據庫的使用 / 120

6.3.1　MySQL簡介 / 120

6.3.2　安裝MySQL / 121

6.3.3　使用Python連接MySQL數據庫 / 127

6.3.4　MySQL的基本操作 / 127

【項目實戰】使用Python編程完成課程表和學生信息表的創建 / 129

【單元小結】 / 131

【練習】 / 132

【拓展訓練項目】安裝MySQL數據庫和Python連接數據庫 / 133

單元7　Python爬蟲基礎 / 134

7.1　網絡爬蟲概述及其結構 / 135

7.1.1　網絡爬蟲概述 / 135

7.1.2　網絡爬蟲結構 / 136

7.1.3　使用八爪魚工具爬取網頁信息 / 137

7.2　urllib庫 / 142

7.2.1　urllib.request模塊 / 142

7.2.2　urllib.parse模塊 / 143

7.2.3　urllib.error模塊 / 145

7.2.4　robots.txt文件 / 146

7.3　使用urllib爬取網頁 / 148

7.4　瀏覽器的模擬與實戰 / 148

7.5　正則表達式 / 150

7.6　圖片爬蟲實戰 / 153

7.7　使用requests庫爬取數據 / 155

7.8　lxml和XPath解析庫 / 158

【項目實戰】爬取“人郵教育社區”→“圖書”板塊的網頁內容 / 161

【單元小結】 / 164

【練習】 / 165

【拓展訓練項目】使用urllib庫爬取新華網 / 165

單元8　Python爬蟲框架 / 166

8.1　常見爬蟲框架簡介 / 167

8.2　Scrapy爬蟲框架的安裝 / 168

8.3　Scrapy爬蟲框架簡介 / 170

8.4　Scrapy常用工具命令 / 171

8.4.1　創建一個Scrapy項目 / 171

8.4.2　Scrapy全局命令 / 172

8.4.3　Scrapy項目命令 / 173

8.5　Scrapy爬蟲實戰 / 175

【項目實戰】用Scrapy爬取古詩詞網站“名句”網頁信息 / 179

【單元小結】 / 184

【練習】 / 184

【拓展訓練項目】在PyCharm環境中使用Scrapy框架爬取數據 / 184

單元9　數據分析基礎 / 186

9.1　numpy庫 / 188

9.1.1　ndarray類型數組 / 188

9.1.2　matrix類型矩陣 / 195

9.1.3　matrix類型和array類型的區別 / 196

9.2　pandas庫 / 196

9.2.1　pandas庫基礎 / 197

9.2.2　pandas數據清洗 / 200

9.2.3　pandas數據預處理 / 204

9.2.4　pandas數據提取 / 210

9.2.5　pandas數據匯總 / 213

9.2.6　pandas數據統計 / 214

9.2.7　pandas綜合應用示例 / 216

【項目實戰】水果數據分析 / 220

【單元小結】 / 228

【練習】 / 228

【拓展訓練項目】患者中風風險預警 / 230

單元10　pandas數據分析 / 232

10.1　pandas文件讀寫基礎 / 233

10.1.1　CSV文件的讀寫 / 233

10.1.2　Excel文件的讀寫 / 236

10.2　pandas與MySQL數據庫的交互 / 238

10.2.1　pandas與MySQL連接的步驟 / 238

10.2.2　pandas與MySQL交互 / 239

10.3　pandas字符串處理 / 240

10.4　pandas數據分組與聚合 / 246

10.4.1　使用內置的聚合函數進行聚合運算 / 246

10.4.2　分組與聚合過程 / 247

10.4.3　agg()和apply()聚合函數 / 247

【項目實戰】電影數據統計 / 250

【單元小結】 / 253

【練習】 / 253

【拓展訓練項目】某地房屋銷售信息分析 / 253

單元11　Python可視化與可視化工具 / 256

11.1　Python可視化與可視化工具介紹 / 257

11.2　pandas基本圖形繪制 / 259

11.2.1　折線圖 / 259

11.2.2　柱形圖 / 263

11.2.3　直方圖 / 265

11.2.4　散點圖 / 266

11.2.5　面積圖 / 267

11.2.6　餅圖 / 268

11.2.7　密度圖 / 270

11.3　matplotlib繪圖 / 271

11.3.1　matplotlib繪圖基礎 / 271

11.3.2　matplotlib交互繪圖 / 271

11.4　matplotlib.pyplot的使用 / 274

11.4.1　pyplot繪圖基礎 / 274

11.4.2　多種類型圖的繪制 / 276

【項目實戰】電影數據分析 / 285

【單元小結】 / 288

【練習】 / 289

【拓展訓練項目】就業人員信息分析 / 289

參考文獻 / 294