Python 網絡爬蟲技術手冊：基礎·實戰·強化

明日科技

吉林省明日科技有限公司，工作室，明日科技是一家以軟件開發和教育為主的高科技公司，為國家高新技術企業和雙軟認證企業。
開發的系統有鐵路多媒體查詢系統、長春電子地圖、天氣預報系統、礦山瓦斯報警系統等軟件產品。
開發的圖書有《程序開發範例寶典》、《軟件開發視頻大講堂》、《軟件開發1200例》、
《零基礎學系列》、《項目開發實戰入門》等多個系列圖書，《軟件開發視頻大講堂》、
《零基礎學系列》系列是目前市場上暢銷的專業基礎編程類叢書。

目錄
第1篇 基礎篇 
第1章 爬蟲基礎 
1.1 什麼是網絡爬蟲 2 
1.2 網絡爬蟲的分類 3 
1.3 網絡爬蟲的原理 3 
1.4 HTTP基本原理 3 
1.4.1 什麼是URL 3 
1.4.2 HTTP協議 4 
1.4.3 HTTP與Web服務器 4 
1.4.4 瀏覽器中的請求和響應 5 
1.5 網頁的基本結構 6 
1.5.1 了解HTML 6 
1.5.2 了解CSS 6 
1.5.3 了解JavaScript 8 

第2章 搭建網絡爬蟲開發環境 
2.1 Anaconda的安裝 10 
2.2 下載與安裝PyCharm 13 
2.3 配置PyCharm 16 
2.4 測試PyCharm 18 

第3章 網絡請求urllib模塊 
3.1 了解urllib 20 
3.2 發送網絡請求 20 
3.2.1 發送GET請求 21 
實例3.1 演示常用的方法與屬性 21 
3.2.2 發送POST請求 22 
實例3.2 發送POST請求 22 
3.2.3 請求 時 22 
實例3.3 處理網絡 時 23 
3.2.4 設置請求頭 23 
實例3.4 設置請求頭 24 
3.2.5 獲取與設置Cookie 25 
實例3.5 模擬登錄 25 
實例3.6 獲取Cookie 27 
實例3.7 保存Cookie文件 27 
實例3.8 獲取登錄後頁面中的信息 28 
3.2.6 代理IP的設置 29 
實例3.9 設置代理IP 29 
3.3 處理請求異常 29 
實例3.10 處理URLError異常 29 
實例3.11 使用HTTPError類捕獲異常 30 
實例3.12 雙重異常的捕獲 31 
3.4 解析URL 31 
3.4.1 URL的拆分（urlparse、urlsplit） 31 
實例3.13 使用urlparse()方法拆分URL 32 
實例3.14 使用urlsplit()方法拆分URL 32 
3.4.2 URL的組合（urlunparse、urlunsplit） 33 
實例3.15 使用urlunparse()方法組合URL 33 
實例3.16 使用urlunsplit()方法組合URL 34 
3.4.3 URL的連接（urljoin） 34 
實例3.17 使用urljoin()方法連接URL 34 
3.4.4 URL的編碼與解碼（urlencode、quote、unquote） 35 
實例3.18 使用urlencode()方法編碼請求參數 35 
實例3.19 使用quote()方法編碼字符串參數 35 
實例3.20 使用unquote()方法解碼請求參數 36 
3.4.5 URL的參數轉換 36 
實例3.21 使用parse_qs()方法將參數轉換為字典類型 36 
實例3.22 使用parse_qsl()方法將參數轉換為元組所組成的列表 36 
3.5 綜合案例——爬取“百度熱搜” 37 
3.5.1 分析數據 37 
3.5.2 實現網絡爬蟲 37 
3.6 實戰練習 39

第4章 網絡請求urllib3模塊 
4.1 了解urllib3 40 
4.2 發送網絡請求 41 
4.2.1 發送GET請求 41 
實例4.1 發送GET請求 41 
實例4.2 發送多個請求 41 
4.2.2 發送POST請求 42 
實例4.3 發送POST請求 42 
4.2.3 重試請求 43 
實例4.4 重試請求 43 
4.2.4 獲得響應內容 43 
實例4.5 獲取響應頭信息 43 
實例4.6 處理服務器返回的JSON信息 44 
實例4.7 處理服務器返回二進制數據 44 
4.2.5 設置請求頭 45 
實例4.8 設置請求頭 45 
4.2.6 設置 時 46 
實例4.9 設置 時 46 
4.2.7 設置代理IP 47 
實例4.10 設置代理IP 47 
4.3 上傳文件 47 
實例4.11 上傳文本文件 47 
實例4.12 上傳圖片文件 48 
4.4 綜合案例——爬取**應壁紙 48 
4.4.1 分析數據 48 
4.4.2 實現網絡爬蟲 49 
4.5 實戰練習 51 

第5章 網絡請求requests模塊 
5.1 基本請求方式 52 
5.1.1 發送GET請求 53 
實例5.1 發送GET請求不帶參數 53 
5.1.2 設置編碼 53 
實例5.2 獲取網頁源碼 53 
5.1.3 二進制數據的爬取 54 
實例5.3 下載百度logo圖片 54 
5.1.4 發送GET（帶參數）請求 54 
5.1.5 發送POST請求 55 
實例5.4 發送POST請求 55 
5.2 高級請求方式 56 
5.2.1 設置請求頭 56 
實例5.5 設置請求頭 56 
5.2.2 Cookie的驗證 57 
實例5.6 模擬豆瓣登錄 57 
5.2.3 會話請求 58 
實例5.7 會話請求 58 
5.2.4 驗證請求 58 
實例5.8 驗證請求 59 
5.2.5 網絡 時與異常 59 
實例5.9 網絡 時與異常 59 
實例5.10 判斷網絡異常 60 
5.2.6 文件上傳 60 
實例5.11 上傳圖片文件 60 
5.2.7 代理的應用 61 
實例5.12 使用代理IP發送請求 61 
5.3 綜合案例——爬取糗事百科（視頻） 62 
5.3.1 分析數據 62 
5.3.2 實現爬蟲 63 
5.4 實戰練習 64 

第6章 requests模塊的兩大擴展 
6.1 安裝requests-cache模塊 65 
6.2 爬蟲緩存的應用 66 
6.3 多功能requests-html模塊 68 
6.3.1 發送網絡請求 68 
6.3.2 提取數據 70 
實例6.1 爬取即時新聞 70 
6.3.3 獲取動態渲染的數據 73 
實例6.2 獲取動態渲染的數據 73 
6.4 綜合案例——爬取百度天氣 75 
6.4.1 分析數據 75 
6.4.2 實現爬蟲 76 
6.5 實戰練習 77 

第7章 正則表達式解析 
7.1 通過search()匹配字符串 78 
7.1.1 匹配指定開頭的字符串 79 
實例7.1 搜索 個以“mr_”開頭的字符串 79 
7.1.2 可選匹配字符串中的內容 79 
實例7.2 可選匹配字符串中的內容 79 
7.1.3 使用“\b”匹配字符串的邊界 80 
實例7.3 使用“\b”匹配字符串的邊界 80 
7.2 通過findall()匹配字符串 80 
7.2.1 匹配所有以指定字符開頭的字符串 81 
實例7.4 匹配所有以“mr_”開頭的字符串 81 
7.2.2 貪婪匹配法 81 
實例7.5 使用“.*”實現貪婪匹配字符串 81 
7.2.3 非貪婪匹配法 82 
實例7.6 使用“.*？”實現非貪婪匹配字符串 82 
7.3 處理字符串 83 
7.3.1 使用sub()方法替換字符串 83 
實例7.7 使用sub()方法替換字符串 83 
7.3.2 使用split()方法分割字符串 84 
實例7.8 使用split()方法分割字符串 84 
7.4 綜合案例——爬取**音樂熱歌榜 85 
7.4.1 分析數據 85 
7.4.2 實現爬蟲 85 
7.5 實戰練習 86 

第8章 lxml解析模塊 
8.1 了解XPath 87 
8.2 XPath的基本操作 88 
8.2.1 HTML的解析 88 
實例8.1 解析本地的HTML文件 88 
實例8.2 解析字符串類型的HTML代碼 88 
實例8.3 解析服務器返回的HTML代碼 89 
8.2.2 獲取所有標籤 90 
實例8.4 獲取HTML代碼的所有標籤 90 
8.2.3 獲取子標籤 91 
實例8.5 獲取一個標籤中的子標籤 91 
實例8.6 獲取子孫標籤 92 
8.2.4 獲取父標籤 92 
實例8.7 獲取一個標籤的父標籤 92 
8.2.5 獲取文本 93 
實例8.8 獲取HTML代碼中的文本 93 
8.2.6 屬性匹配 94 
實例8.9 使用“[@...]”實現標籤屬性的匹配 94 
實例8.10 屬性多值匹配 94 
實例8.11 一個標籤中多個屬性的匹配 95 
8.2.7 獲取屬性值 96 
實例8.12 獲取屬性所對應的值 96 
實例8.13 使用索引按序獲取屬性對應的值 97 
8.2.8 使用標籤軸獲取標籤內容 98 
實例8.14 使用標籤軸的方式獲取標籤內容 98 
8.3 綜合案例——爬取豆瓣新書速遞 99 
8.3.1 分析數據 99 
8.3.2 實現爬蟲 99 
8.4 實戰練習 100 

第9章 BeautifulSoup解析模塊 
9.1 BeautifulSoup的基礎應用 101 
9.1.1 安裝BeautifulSoup 101 
9.1.2 解析器的區別 102 
9.1.3 解析HTML 103 
實例9.1 解析HTML代碼 103 
9.2 獲取標籤內容 103 
9.2.1 獲取標籤對應的代碼 104 
實例9.2 獲取標籤對應的代碼 104 
9.2.2 獲取標籤屬性 105 
實例9.3 獲取標籤屬性 105 
9.2.3 獲取標籤內的文本 106 
9.2.4 嵌套獲取標籤內容 106 
實例9.4 嵌套獲取標籤內容 106 
9.2.5 關聯獲取 107 
實例9.5 獲取子標籤 107 
實例9.6 獲取子孫標籤 108 
實例9.7 獲取父標籤 109 
實例9.8 獲取兄弟標籤 109 
9.3 利用方法獲取內容 111 
9.3.1 find_all()方法 111 
實例9.9 find_all(name)通過標籤名稱獲取內容 111 
實例9.10 find_all(attrs)通過指定屬性獲取內容 112 
實例9.11 find_all(text)獲取標籤中的文本 112 
9.3.2 find()方法 113 
實例9.12 獲取 個匹配的標籤內容 113 
9.3.3 其他方法 114 
9.4 CSS選擇器 114 
實例9.13 使用CSS選擇器獲取標籤內容 115 
9.5 綜合案例——爬取百度貼吧（熱議榜） 116 
9.5.1 分析數據 116 
9.5.2 實現爬蟲 116 
9.6 實戰練習 117 

第10章 爬取動態渲染的數據 
10.1 selenium模塊 118 
10.1.1 配置selenium環境 118 
10.1.2 下載瀏覽器驅動 119 
10.1.3 selenium的應用 119 
實例10.1 獲取京東商品信息 119 
10.1.4 selenium的常用方法 120 
10.2 Splash服務 121 
10.2.1 搭建Splash環境 122 
10.2.2 Splash的API接口 123 
實例10.2 獲取百度首頁logo圖片的鏈接 123 
實例10.3 獲取百度首頁截圖 124 
實例10.4 獲取請求頁面的json信息 125 
10.2.3 自定義lua腳本 125 
實例10.5 獲取百度渲染後的HTML代碼 125 
10.3 綜合案例——爬取豆瓣閱讀（連載榜） 127 
10.3.1 分析數據 127 
10.3.2 實現爬蟲 128 
10.4 實戰練習 128 

第11章 數據清洗與文件存儲 
11.1 使用pandas進行數據清洗 130 
11.1.1 常見的兩種數據結構 130 
11.1.2 pandas數據的基本操作 134 
11.1.3 處理NaN數據 138 
11.1.4 重複數據的篩選 140 
11.2 常見文件的基本操作 142 
11.2.1 存取TXT文件 142 
實例11.1 TXT文件存儲 143 
實例11.2 讀取message.txt文件中的前9個字符 143 
實例11.3 從文件的第14個字符開始讀取8個字符 144 
實例11.4 讀取一行 144 
實例11.5 讀取全部行 145 
11.2.2 存取CSV文件 146 
11.2.3 存取Excel文件 148 
11.3 綜合案例——爬取豆瓣小組（討論精選） 148 
11.3.1 分析數據 149 
11.3.2 實現爬蟲 149 
11.4 實戰練習 149 

第12章 數據庫存儲 
12.1 SQLite數據庫 151 
12.1.1 創建數據庫文件 151 
12.1.2 操作SQLite 152 
12.2 MySQL數據庫 153 
12.2.1 下載MySQL 153 
12.2.2 安裝MySQL服務器 154 
12.2.3 配置MySQL 158 
12.2.4 安裝PyMySQL數據庫操作模塊 159 
12.2.5 數據庫的連接 160 
實例12.1 連接數據庫 160 
12.2.6 數據表的創建 160 
實例12.2 創建數據表 161 
12.2.7 數據表的基本操作 161 
實例12.3 操作數據表 161 
12.3 綜合案例——爬取下廚房（家常菜單） 162 
12.3.1 分析數據 162 
12.3.2 實現爬蟲 162 
12.4 實戰練習 164

第13章 App抓包 
13.1 下載與安裝Charles抓包工具 165 
13.2 PC端證書的安裝 167 
13.3 設置SSL代理 169 
13.4 網絡配置 169 
13.5 手機證書的安裝 170 
13.6 綜合案例——抓取手機**新聞的地址 172 
13.7 實戰練習 173 

第14章 驗證碼識別 
14.1 字符驗證碼 174 
14.1.1 配置OCR 174 
14.1.2 下載驗證碼圖片 175 
實例14.1 下載驗證碼圖片 175 
14.1.3 識別圖片驗證碼 176 
實例14.2 識別圖片驗證碼 176 
14.2 第三方驗證碼識別 178 
實例14.3 第三方打碼平台 178 
14.3 滑動拼圖驗證碼 181 
實例14.4 滑動拼圖驗證碼 181 
14.4 綜合案例——識別隨機生成的驗證碼 182 
14.5 實戰練習 183 

第15章 Scrapy爬蟲框架的基本應用 
15.1 了解Scrapy爬蟲框架 184 
15.2 配置Scrapy爬蟲框架 185 
15.2.1 使用Anaconda安裝Scrapy 185 
15.2.2 Windows系統下配置Scrapy 186 
15.3 Scrapy的基本用法 187 
15.3.1 創建項目 187 
15.3.2 創建爬蟲 188 
實例15.1 爬取網頁代碼並保存HTML文件 188 
15.3.3 提取數據 190 
實例15.2 使用XPath表達式獲取多條信息 191 
實例15.3 翻頁提取數據 191 
實例15.4 包裝結構化數據 192 
15.4 綜合案例——爬取NBA得分排名 192 
15.4.1 分析數據 193 
15.4.2 實現爬蟲 193 
15.5 實戰練習 194 

第16章 Scrapy爬蟲框架的高級應用 
16.1 編寫Item Pipeline 195 
16.1.1 Item Pipeline的核心方法 195 
16.1.2 將信息存儲到數據庫中 196 
實例16.1 將京東數據存儲至數據庫 196 
16.2 文件下載 199 
實例16.2 下載京東外設商品圖片 200 
16.3 自定義中間件 201 
16.3.1 設置隨機請求頭 201 
實例16.3 設置隨機請求頭 202 
16.3.2 設置Cookies 203 
實例16.4 通過Cookies模擬自動登錄 204 
16.3.3 設置代理IP 205 
實例16.5 隨機代理中間件 206 
16.4 綜合案例——爬取NBA球員資料 207 
16.4.1 分析數據 207 
16.4.2 實現爬蟲 208 
16.5 實戰練習 211 

第2篇 實戰篇 
第17章 基於正則表達式爬取編程e學網視頻(requests+re) 
17.1 案例效果預覽 213 
17.2 案例準備 214 
17.3 業務流程 214 
17.4 實現過程 214 
17.4.1 查找視頻頁面 214 
17.4.2 分析視頻地址 215 
17.4.3 實現視頻下載 215 

第18章 基於正則表達式爬取免費代理IP(requests+pandas+re+random) 
18.1 案例效果預覽 217 
18.2 案例準備 218 
18.3 業務流程 218 
18.4 實現過程 219 
18.4.1 分析請求地址 219 
18.4.2 確認數據所在位置 219 
18.4.3 爬取代理IP並保存 220 
18.4.4 檢測代理IP 221 

第19章 基於beautifulsoup4爬取酷狗TOP500音樂榜單(requests+bs4+time+random) 
19.1 案例效果預覽 224 
19.2 案例準備 225 
19.3 業務流程 225 
19.4 實現過程 225 
19.4.1 分析每頁的請求地址 225 
19.4.2 分析信息所在標籤位置 226 
19.4.3 編寫爬蟲代碼 227 

第20章 基於beautifulsoup4爬取段子網(requests+beautifulsoup4+time+random) 
20.1 案例效果預覽 229 
20.2 案例準備 230 
20.3 業務流程 230 
20.4 實現過程 230 
20.4.1 分析每頁請求地址 230 
20.4.2 分析詳情頁請求地址 231 
20.4.3 確認段子各種信息的HTML代碼位置 232 
20.4.4 編寫爬蟲代碼 232 

第21章 基於beautifulsoup4爬取汽車之家圖片(beautifulsoup4+Pillow+PyQt5+urllib) 
21.1 案例效果預覽 234 
21.2 案例準備 235 
21.3 業務流程 235 
21.4 實現過程 236 
21.4.1 登錄窗體 236 
21.4.2 設計主窗體 237 
21.4.3 編寫爬蟲 237 
21.4.4 啟動爬蟲 239 
21.4.5 查看原圖 241 

第22章 使用多進程爬取電影資源(requests+bs4+multiprocessing +re+time) 
22.1 案例效果預覽 242 
22.2 案例準備 242 
22.3 業務流程 243 
22.4 實現過程 243 
22.4.1 分析請求地址 243 
22.4.2 爬取電影詳情頁地址 244 
22.4.3 爬取電影信息與下載地址 245 

第23章 基於多進程實現二手房數據查詢(requests_html+pandas+matplotlib+multiprocessing) 
23.1 案例效果預覽 248 
23.2 案例準備 249 
23.3 業務流程 249 
23.4 實現過程 250 
23.4.1 確認二手房數據位置 250 
23.4.2 二手房數據的爬取 251 
23.4.3 數據可視化顯示 253 

第24章 基於動態渲染頁面爬取京東圖書銷量排行榜(requests_html+sqlite3+os) 
24.1 案例效果預覽 256 
24.2 案例準備 257 
24.3 業務流程 257 
24.4 實現過程 257 
24.4.1 分析請求地址 257 
24.4.2 確認數據在網頁HTML代碼中的位置 257 
24.4.3 編寫爬蟲程序 258 

第25章 爬取中關村在線中的手機數據(requests_html+pymysql+random+time) 
25.1 案例效果預覽 260 
25.2 案例準備 260 
25.3 業務流程 261 
25.4 實現過程 261 
25.4.1 分析手機主頁中每頁地址 261 
25.4.2 分析每個手機的詳情頁地址 262 
25.4.3 確認詳情頁手機數據位置 262 
25.4.4 創建MySQL數據表 262 
25.4.5 編寫爬蟲程序 263 

第26章 基於異步請求爬取北、上、廣、深租房信息(requests+lxml+pandas+aiohttp+asyncio) 
26.1 案例效果預覽 267 
26.2 案例準備 267 
26.3 業務流程 268 
26.4 實現過程 268 
26.4.1 獲取租房信息總頁數 268 
26.4.2 確認數據所在的HTML代碼位置 271 
26.4.3 編寫爬蟲提取數據 272 

第27章 基於XPath爬取豆瓣電影Top250(requests+lxml+time+random) 
27.1 案例效果預覽 274 
27.2 案例準備 275 
27.3 業務流程 275 
27.4 實現過程 275 
27.4.1 分析請求地址 275 
27.4.2 分析信息位置 276 
27.4.3 爬蟲代碼的實現 277 

第28章 分佈式爬取新聞數據(scrapy+ pymysql+scrapy-redis正則表達式) 
28.1 案例效果預覽 279 
28.2 案例準備 280 
28.3 業務流程 280 
28.4 實現過程 280 
28.4.1 Redis數據庫的安裝 280 
28.4.2 安裝scrapy-redis模塊 281 
28.4.3 分析請求地址 282 
28.4.4 創建數據表（MySQL） 282 
28.4.5 創建Scrapy項目 283 
28.4.6 分佈式爬蟲的啟動 286 

第29章 **智能機器人(Flask+小米球ngrok) 
29.1 案例效果預覽 290 
29.2 案例準備 291 
29.3 業務流程 291 
29.4 **公眾平台開發**備 291 
29.4.1 註冊訂閱號 291 
29.4.2 公眾號基本配置 292 
29.5 內網穿透工具 293 
29.5.1 內網穿透工具簡介 293 
29.5.2 下載安裝 293 
29.5.3 測試外網域名 294 
29.6 爬取糗事百科笑話 295 
29.6.1 頁面分析 295 
29.6.2 隨機爬取一條笑話 295 
29.7 爬取天氣信息 296 
29.7.1 頁面分析 296 
29.7.2 爬取天氣信息 297 
29.8 **智能機器人的實現 298 
29.8.1 校驗簽名 298 
29.8.2 填寫配置信息 299 
29.8.3 接收文本消息 299 
29.8.4 整合笑話和天氣功能 300 

第3篇 強化篇 
第30章 電商管家(PyQt5+pyqt5-tools+requests+pymysql+matplotlib) 
30.1 系統需求分析 303 
30.1.1 系統概述 303 
30.1.2 系統可行性分析 304 
30.1.3 系統用戶角色分配 304 
30.1.4 功能性需求分析 304 
30.1.5 非功能性需求分析 304 
30.2 系統設計 304 
30.2.1 系統功能結構 304 
30.2.2 系統業務流程 305 
30.2.3 系統預覽 305 
30.3 系統開發**備 306 
30.3.1 開發工具準備 306 
30.3.2 文件夾組織結構 306 
30.4 主窗體的UI設計 306 
30.4.1 主窗體的佈局 306 
30.4.2 主窗體顯示效果 308 
30.5 設計數據庫表結構 308 
30.6 爬取數據 309 
30.6.1 獲取京東商品熱賣排行信息 309 
30.6.2 獲取價格信息 313 
30.6.3 獲取評價信息 314 
30.6.4 定義數據庫操作文件 316 
30.7 主窗體的數據展示 319 
30.7.1 顯示前10名熱賣榜圖文信息 319 
30.7.2 顯示關注商品列表 322 
30.7.3 顯示商品分類比例餅圖 327 
30.8 外設產品熱賣榜 330 
30.9 商品預警 332 
30.9.1 關注商品中、差評預警 332 
30.9.2 關注商品價格變化預警 334 
30.9.3 更新關注商品信息 336 
30.10 系統功能 337 

第31章 火車票智能分析工具(PyQt5+matplotlib +requests+json+sys+time)? 
31.1 系統需求分析 339 
31.1.1 系統概述 339 
31.1.2 系統可行性分析 340 
31.1.3 系統用戶角色分配 340 
31.1.4 功能性需求分析 340 
31.1.5 非功能性需求分析 340 
31.2 系統設計 341 
31.2.1 系統功能結構 341 
31.2.2 系統業務流程 341 
31.2.3 系統預覽 341 
31.3 系統開發**備 342 
31.3.1 開發工具準備 342 
31.3.2 文件夾組織結構 342 
31.4 主窗體的UI設計 343 
31.4.1 主窗體的佈局 343 
31.4.2 主窗體顯示效果 347 
31.5 爬取數據 347 
31.5.1 獲取請求地址與參數 347 
31.5.2 下載數據文件 348 
31.5.3 查詢所有車票信息 352 
31.5.4 臥舖票的查詢與分析 354 
31.5.5 查詢車票起售時間 356 
31.6 主窗體的數據顯示 358 
31.6.1 車票查詢區域的數據顯示 358 
31.6.2 臥舖售票分析區域的數據顯示 364 
31.6.3 臥舖車票數量走勢圖的顯示 366 
31.6.4 查詢車票起售時間的數據顯示 369 
附錄 
附錄1 數據解析速查表 371 
附錄2 PyCharm 常用快捷鍵 377 
附錄3 PyCharm 常用設置 378