Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略, 2/e
林子軒 著
- 出版商: 深智
- 出版日期: 2023-08-20
- 定價: $780
- 售價: 7.9 折 $616
- 語言: 繁體中文
- 頁數: 592
- ISBN: 6267273733
- ISBN-13: 9786267273739
-
相關分類:
Python、程式語言、大數據 Big-data
銷售排行:
🥉 2023/8 繁體中文書 銷售排行 第 3 名
立即出貨(限量)
買這商品的人也買了...
-
無瑕的程式碼－敏捷軟體開發技巧守則 (Clean Code: A Handbook of Agile Software Craftsmanship)$580$452 -
無瑕的程式碼 番外篇－專業程式設計師的生存之道 (The Clean Coder: A Code of Conduct for Professional Programmers)$360$281 -
重新認識 Vue.js：008天絕對看不完的 Vue.js 3 指南$600$468 -
Python 網路爬蟲：大數據擷取、清洗、儲存與分析 -- 王者歸來, 2/e$750$495 -
OpenCV 影像創意邁向 AI 視覺王者歸來 (全彩印刷)$890$587 -
全中文自然語言處理：Pre-Trained Model 方法最新實戰$880$695 -
ASP.NET Core 6 框架揭秘：跨平台 Web 開發全面解析 (上冊)$820$640 -
ASP.NET Core 6 框架揭秘：跨平台 Web 開發全面解析 (下冊)$860$671 -
最速網頁開發：用 Go Web 一手建立高能效網站系統, 2/e$880$695 -
快速學會 Python 架站技術：活用 Django 4 建構動態網站的 16堂課$780$608 -
Python - 最強入門 ChatGPT 助攻邁向數據科學之路 - 王者歸來 (全彩印刷第四版)$1,200$792 -
精通無瑕程式碼：工程師也能斷捨離！消除複雜度、提升效率的 17個關鍵技法 (The Art of Clean Code: Best Practices to Eliminate Complexity and Simplify Your Life)$600$468 -
一本精通 - PyQt5 & PyQt6 軟體介面開發$890$703 -
SRE 實踐與開發平台指南：從團隊協作、原則、架構和趨勢掌握全局，做出精準決策$620$484 -
機器學習最強入門 - 基礎數學／機率／統計邁向AI真實數據專題實作 - 王者歸來$980$647 -
一本精通 - Python 範例應用大全：Python 詳細語法教學 & 100+ 個 Python 範例$880$695 -
ASP.NET Core 6 零基礎建立自己的部落格$790$624 -
遊戲設計 X 演算法 X TypeScript：出版社對我說「把祕笈通通交出來!」(iThome鐵人賽系列書)【軟精裝】$720$562 -
Docker 實戰 6堂課：56個實驗動手做，掌握 Linux 容器核心技術（iThome鐵人賽系列書）【軟精裝】$720$562 -
流暢的 Python｜清晰、簡潔、高效的程式設計, 2/e (Fluent Python: Clear, Concise, and Effective Programming, 2/e)$1,200$948 -
Python 設計模式與開發實務 (Python Programming with Design Patterns)$580$435 -
史上最強 Python 入門邁向頂尖高手之路王者歸來, 3/e (全彩印刷)$1,200$792 -
跟 NVIDIA 學深度學習！從基本神經網路到 ......、GPT、BERT...，紮穩機器視覺與大型語言模型 (LLM) 的建模基礎$880$695 -
AI 神助攻！程式設計新境界 – GitHub Copilot 開發 Python 如虎添翼 : 提示工程、問題分解、測試案例、除錯$560$442 -
LangChain 開發手冊 -- OpenAI × LCEL 表達式 × Agent 自動化流程 × RAG 擴展模型知識 × 圖形資料庫 × LangSmith 除錯工具$680$537
相關主題
商品描述
★☆★☆★ 獨家解析知名大數據專案，FinMind，帶你一窺大數據產品的發展過程，打造專屬個人的大數據 Side Project、作品、產品 ★☆★☆★
本書承襲第一版的精彩內容，分享在 Github 獲得 1,900 stars 的大數據 Side Project，並幫助讀者從 0 開始，打造專屬個人的大數據 Side Project。
精彩收錄：
【資料工程】
○ 使用分散式技術，RabbitMQ、Flower、Celery，收集證交所、櫃買中心、期交所等股市資訊。
○ 使用 Docker、FastAPI 架設 RESTful API 服務。
○ 使用 Docker Swarm 架設分散式服務，包含爬蟲、RESTful API、資料庫 MySQL、RabbitMQ 等服務。
○ 使用雲端服務，一個月 5 美金，且免費提供 100 美金額度。
○ 一站式管理多台分散式機器。
○ 使用業界等級的，分散式 Airflow。
【產品迭代】
○ 單元測試 Unit Test 介紹，包含爬蟲、API 測試範例。
○ 使用 CICD 做持續性整合、部屬，並以 Gitlab-CI 搭配 API 服務做為範例。
【API 產品上線】
○ 免費網址申請教學，No-IP。
○ 免費 SSL 憑證教學，Let's Encrypt。
○ 一站式管理多服務網址，容器化反向代理工具 Traefik。
【業界資料視覺化工具】
○ 使用 Redash 建立個人化、股市分析儀錶板。
【監控系統】
○ 使用最知名的監控工具，Prometheus、Grafana，同時監控所有服務。
讀完本書，你將學會分散式爬蟲、RESTful API、MySQL 資料庫、壓力測試、Docker Swarm、CICD、雲端、Traefik、Redash 視覺化、分散式 Airflow、監控系統 Prometheus、Grafana 等，本書是一本集大成的作品。
※本書程式實例可至深智官網下載http://deepwisdom.com.tw
作者簡介
林子軒
Sam，目前任職 17 LIVE 資料工程師。擅長資料工程、資料分析，希望對Python 社群、大數據領域，提供一份心力。
【經歷】
● 17 LIVE 資深資料工程師。
● 曾任職永豐金證券，軟體工程師。
● 曾於 Open UP Summit 2019，擔任 Speaker。
● 曾任職 Tripresso，資料工程師。
● 東華研究所，應用數學碩士。
【FinMind】
● https://github.com/FinMind/FinMind
● https://finmindtrade.com/
【個人 GitHub】
● https://github.com/linsamtw
【Email】
● samlin266118@gmail.com
如對本書有疑問，歡迎寄信到以上信箱。筆者除了本書內容外，GitHub 上也有寫文章介紹，兩篇 Kaggle 競賽經驗，分別是生產線分析、庫存需求預設，如對以上有興趣，也可寄信到以上信箱。
目錄大綱
【第1 篇 資料工程 ETL】
01 本書介紹
02 開發環境
2.1 開發環境重要性
2.2 Linux 作業系統
2.3 Windows 作業系統
2.4 Mac 作業系統
2.5 Python 開發工具 VS Code
03 Docker
3.1 為什麼先介紹 Docker ？
3.2 什麼是 Docker ？
3.3 安裝 Docker
3.4 安裝 Docker-Compose
04 雲端
4.1 為什麼要用雲端？
05 資料收集
5.1 Python 環境設置
5.2 爬蟲
5.3 資料庫架設
5.4 上傳資料到資料庫
5.5 分散式爬蟲
5.6 定時爬蟲
06 資料提供—RESTful API 設計
6.1 什麼是 API ？
6.2 輕量 API --- Flask
6.3 高效能 API --- FastAPI
07 容器管理工具 Docker
7.1 為什麼要用 Docker
7.2 建立第一個Docker Image --- Dockerfile
7.3 發布 Docker Image
7.4 雲端部屬
7.5 Docker Swarm
7.6 部屬服務
【第2 篇 產品迭代-- 測試運維】
08 自動化測試
8.1 單元測試 Unit Test
09 CICD 持續性整合、部屬
9.1 什麼是 CICD ？
9.2 CI 持續性整合
9.3 Gitlab-CI、以爬蟲專案為例
9.4 Gitlab-CI，建立 Docker Image
9.5 Gitlab-CI，部屬新版本
9.6 Gitlab-CI、以 API 專案為例
9.7 總結
【第3 篇 API 產品上線】
10 API 服務網址
10.1 為什麼需要網址？
10.2 No-Ip 免費的網址申請
10.3 Let's Encrypt 免費的 SSL 憑證
10.4 Traefik
10.5 API 結合Traefik
10.6 總結
【第4 篇 資料視覺化】
11 視覺化工具
11.1 什麼是視覺化？
11.2 Redash
11.3 Redash 帳號設定
11.4 資料庫連接
11.5 匯入資料
11.6 製作第一個圖表
11.7 第一個 Dashboard
11.8 設定下拉式選單
11.9 其他 BI 工具
【第5 篇 排程管理工具】
12 排程管理工具 - Apache Airflow
12.1 事前準備
12.2 什麼是排程管理工具？
12.3 為什麼選擇 Airflow ？
12.4 什麼是 Airflow ？
12.5 架設第一個 Airflow
12.6 DAG 介紹
12.7 常見 Operator 介紹
12.8 Airflow 結合爬蟲 - CeleryExecutor
12.9 結論
13 Redis 介紹
13.1 什麼是 Redis ？
13.2 使用Docker 架設Redis - 結合 Celery
【第6 篇 監控系統】
14 監控工具介紹
14.1 為什麼需要監控系統？
14.2 最知名的開源監控系統之一
14.3 架設個人化監控儀表板
14.4 總結
15 結論
