Python 網絡爬蟲 (Scrapy框架)

肖睿 陳磊

Python 網絡爬蟲 (Scrapy框架) 預覽內頁
  • 出版商: 人民郵電
  • 出版日期: 2020-01-01
  • 定價: $270
  • 售價: 7.9 折 $213
  • 語言: 簡體中文
  • 頁數: 199
  • ISBN: 7115527296
  • ISBN-13: 9787115527295
  • 相關分類: Web-crawler 網路爬蟲

    • 立即出貨

  • Python 網絡爬蟲 (Scrapy框架)-preview-1
  • Python 網絡爬蟲 (Scrapy框架)-preview-2
Python 網絡爬蟲 (Scrapy框架)-preview-1

買這商品的人也買了...

中文年末書展｜繁簡參展書2書75折 詳見活動內容 »

相關主題

商品描述

因特網上存在著大量值得收集的公共信息，而爬蟲技術就是獲取這些公共信息的主要工具。本書以主流的Scrapy爬蟲框架為例，介紹了Python網絡爬蟲的組成、爬蟲框架的使用以及分佈式爬蟲等內容。本書運用了大量案例和實踐，融入了含金量十足的開發經驗，使得內容緊密結合實際應用。在此基礎上，本書還通過豐富的練習和操作實踐，幫助讀者鞏固所學的內容。本書配以多元的學習資源和支持服務，包括視頻、案例素材、學習社區等，為讀者提供全方位的學習體驗。

本書適合作為電腦、大數據等相關專業的教材，也適合具有一定Linux或Python開發基礎的人員閱讀，還可以作為爬蟲工程師的學慣用書。

目錄大綱

第1章 使用第三方庫實現信息抓取
任務1 使用第三方庫實現北京公交站點頁面信息抓取
1.1.1 介紹爬蟲
1.1.2 HTTP
1.1.3 HTML
1.1.4 使用第三方庫實現爬蟲功能
1.1.5 技能實訓
任務2使用第三方庫實現北京公交站點詳細信息抓取
1.2.1 lxml庫
1.2.2 第三方庫數據抓取及保存
1.2.3 技能實訓
本章小結
本章作業
第2章 初探Scrapy爬蟲框架
任務1 安裝Scrapy爬蟲框架並創建爬蟲工程
2.1.1 根據使用場景劃分爬蟲種類
2.1.2 開發基於Scrapy爬蟲框架的工程
任務2學習並掌握Scrapy爬蟲框架各模塊的功能
2.2.1 Scrapy爬蟲工程組成
2.2.2 Scrapy爬蟲框架架構
本章小結
本章作業
第3章 提取網頁數據
任務1 使用Scrapy的選擇器提取豆瓣電影信息
3.1.1 Response對象
3.1.2 css選擇器
3.1.3 多層級網頁爬取
3.1.4 技能實訓
任務2使用正則表達式從電影介紹詳情中提取指定信息
3.2.1 正則表達式
3.2.2 技能實訓
本章小結
本章作業
第4章 Scrapy數據保存(文件、MySQL、MongoDB)
任務一 使用Feed exports將爬取的電影信息保存到常見數據格式文件中
4.1.1 Feed exports
4.1.2 技能實訓
任務2使用pipeline將爬取的電影信息數據保存到數據庫中
4.2.1 Python操作MySQL數據庫
4.2.2 pipeline模塊
4.2.3 將數據保存到MongoDB中
4.2.4 技能實訓
本章小結
本章作業
第5章 Scrapy反反爬技術
任務1 學習反爬蟲和反反爬蟲策略
5.1.1 反爬蟲方法和反反爬蟲策略
5.1.2 Scrapy設置實現反反爬
5.1.3 技能實訓
任務2學習Scrapy框架中更多常用的設置
5.2.1 抓取需要登錄的網站
5.2.2 Scrapy常用擴展設置
本章小結
本章作業
第6章 Selenium+瀏覽器加載動態數據
任務一使用Selenium和第三方瀏覽器驅動完成搜狐網頁信息爬取
6.1.1 靜態網頁與動態網頁
6.1.2 爬蟲抓取動態網頁的常用方法
6.1.3 Selenium+Chrome driver
6.1.4 技能實訓
任務二使用Selenium+Chrome+Scrapy完成京東商品信息爬取
6.2.1 Selenium的使用
6.2.2 Selenium提高效率的方法
6.2.3 技能實訓
本章小結
本章作業
第7章 App數據爬取
任務一使用Scrapy爬蟲框架爬取雪球App基金頻道新聞列表數據
7.1.1 App數據爬取介紹
7.1.2 App數據接口分析方法
7.1.3 使用Scrapy爬取App數據
7.1.4 技能實訓
任務2使用Scrapy爬巴蟲框架爬取知乎App推薦欄目列表數據
7.2.1 爬取使用證書校驗技術的App數據
7.2.2 技能實訓
本章小結
本章作業
第8章 分布式爬蟲Scrapy-Redis
任務1搭建分布式爬蟲運行環境
8.1.1 分布式爬蟲框架介紹
8.1.2 搭建分布式爬蟲運行環境
任務2 使用分布式爬蟲完成對火車信息的爬取
8.2.1 Scrapy-Redis分布式爬蟲
8.2.2 技能實訓
本章小結
本章作業
第9章 Python數據分析
任務1 使用：Pandas統計招聘信息中城市名稱出現的次數
9.1.1 Python數據分析
9.1.2 NumPy
9.1.3 Pandas
9.1.4 技能實訓
任務2使用Matplotlib實現招聘信息中城市名稱出現次數的可視化展示
9.2.1 數據可視化
9.2.2 技能實訓
本章小結
本章作業
第10章 項目實訓——爬取招聘網站數據
10.1 項目準備
lO.2 難點分析
10.3 項目實現思路
本章小結
本章作業

類似商品