Python 網絡爬蟲技術與實戰

趙國生

哈爾濱師範大學教授，工學博士，碩士生導師，黑龍江省網絡安全技術領域特殊人才。
主要從事可信網絡、入侵容忍、認知計算、物聯網安全等方向的教學與科研工作。
擔任中國計算機學會容錯專委會委員、黑龍江省計算機學會網絡專委會委員、中國青年博士論壇網絡專委會委員、
國家自然科學基金委項目評審專家、黑龍江省國資採購專家組成員、黑龍江省財政廳及黑龍江省高等法院信息化資訊專家、
黑龍江省教育廳行業信息系統安全專題培訓講師、中國計算機學會高級會員、中國計算機學會YOCSEF哈爾濱副主席。
榮獲哈爾濱師範大學“先進工作者”“五四青年獎章”“寧齊堃”教學名師等榮譽。
主持國家自然科學基金、黑龍江省自然科學基金、黑龍江省科技廳科技攻關等項目10項，發表SCI/EI檢索論文50餘篇，
發明專利2項、實用新型專利6項，擁有軟件著作權6項，獲省/部級科技進步一等獎2項、三等獎1項，
撰寫《Linux操作系統原理與應用》《Matlab數學建模與模擬》《Matlab完全學習手冊》《精通Labivew》等編著6部。
目前擔任《電子學報》《通信學報》《系統模擬學報》等期刊審稿專家。

目錄
前言
第1章Python環境搭建及基礎學習
1．1 Python 3．6的安裝與配置
1．1．1 Windows下的安裝
1．1．2 Linux下的安裝
1．1．3 macOS下的安裝
1． 2 IDE工具：PyCharm的安裝
1．3基礎語法
1．3．1第一個Python程序
1．3．2 Python命名規範
1．3．3行和縮進
1．3．4註釋和續行
1． 3．5 Python輸出
1．4字符串
1．4．1字符串運算符
1．4．2字符串內置函數
1．5數據結構
1．5．1列表
1．5．2元組
1．5． 3集合
1．5．4字典
1．6控制語句
1．6．1條件表達式
1．6．2選擇結構
1．6．3循環結構
1．7函數、模塊和包
1．7．1函數
1 ．7．2模塊
1．7．3包
1．8文件的讀寫操作
1．8．1文件讀寫步驟與打開模式
1．8．2文件的基本操作
1．8．3文件寫入操作
1 ．9面向對象
1．9．1類和對象
1．9．2封裝性
1．9．3繼承性
1．9．4多態性
1．10本章小結
練習題

第2章爬蟲原理和網絡基礎
2．2爬蟲的意義
2．3爬蟲的原理
2 ．4爬蟲技術的類型
2．4．1聚焦爬蟲技術
2．4．2通用爬蟲技術
2．4．3增量爬蟲技術
2．4．4深層網絡爬蟲技術
2．5爬蟲抓取策略
2．5 ．1深度優先遍歷策略
2．5．2廣度優先遍歷策略
2．5．3 PartialPageRank策略
2．5．4大站優先策略
2．5．5反向鏈接數策略
2．5．6 0PIC策略
2． 6反爬蟲和反反爬蟲
2．6．1反爬蟲
2．6．2反反爬蟲
2．7網絡基礎
2．7．1網絡體系結構
2．7．2網絡協議
2．7．3 Socket編程
2 ．8本章小結
練習題

第3章Python常用庫
3．1 Python庫的介紹
3．1．1常用標準庫
3．1．2安裝使用第三方庫
3．2 urllib庫
3．2．1 urlopen（）函數用法
3．2．2 urlretrieve（）函數用法
3．2．3 URL編碼和URL解碼
3．2．4 urlparse0和urlsplit（）數用法
3．3 request庫
3．3．1 request庫的基本使用
3．3 ．2 request庫的高級用法
3．4 lxml庫
3．4．1 lxml庫的安裝和使用
3．4．2 XPath介紹
3．4．3 XPath語法
3．4．4 lxml和XPath的結合使用
3． 5 BeautifuISoup庫
3．5．1 Beautiful Soup庫的安裝和使用
3．5．2提取數據
3．5．3 CSS選擇器
3．6實戰案例
3．6．1使用Beautiful Soup解析網頁
3．6．2微信公眾號爬蟲
3．6．3爬取豆瓣讀書TOP500
3．6．4使用urllib庫爬取百度貼吧
3．7本章小結
練習題
……
第4章正則表達式
第5章驗證碼
第6章抓包利器Fiddler
第7章數據存儲
第8章Scrapy爬蟲框架
第9章多線程爬蟲
第10章動態網頁爬蟲
第11章分佈式爬蟲
第12章電商站商品信息爬蟲項目
第13章生活娛樂點評類信息爬蟲項目
第14章圖片信息類爬蟲項目
練習題答案