大數據處理技術及案例應用

隨著雲計算、大數據、物聯網、人工智能和區塊鍊等IT 技術的發展與應用，
信息技術不斷驅動社會生產方式的變革，人類進入機器智能時代。
近年來，大數據處理技術已經廣泛地滲透到各行各業，
大數據分析與應用的教學工作也逐漸成為高校中的重中之重，這是大數據時代下的必然趨勢。
本書從實際應用出發，結合具體案例及應用場景，深入淺出地介紹大數據處理預備知識、Python 技術基礎、
大數據處理常用模塊、大數據採集技術、大數據處理算法以及文本挖掘與應用等。
從環境搭建到數據採集可視化，從數據預處理到特徵選擇與模型訓練，再從模型調優到測試評估。
通過本書，讀者可掌握大數據處理中必備的知識體系和技能，在各領域開展大數據處理與研究工作。
本書實例短小精練，便於學習，讀者能夠在短時間內掌握相關知識點及其應用。
本書主要面向高等學校從事大數據處理和分析的本科生和研究生，
亦可作為高等學校大數據處理相關課程的教材。
此外，本書提供配套的軟件包、實例代碼和數據文件，
歡迎使用本書作為教材的老師登錄www.cmpedu.com 進行下載。

第1 章大數據處理預備知識.1
1.1 人類的驕傲 1
1.2 大數據思維 1
1.3 大數據的關鍵技術 2
1.4 機器學習 3
1.5 訓練集與測試集 4
1.6 特徵表示 4
1.7 文檔的相似度計算 5
1.8 貝葉斯定理 6
1.9 信息熵 7
1.10 正確率、精確率與召回率 7
1.11 ROC 曲線.8
1.12 大數據隱私與安全 9
1.13 練習10

第2 章Python 技術基礎11
2.1 Python 開發環境的搭建11
2.2 常用操作符12
2.3 語句規範13
2.4 變量與數據13
2.5 控制語句14
2.6 數據結構16
2.7 函數21
2.8 可變對象與不可變對象23
2.9 面向對象程序設計24
2.10 練習31

第3 章大數據處理常用模塊.32
3.1 NumPy 32
3.2 Pandas.36
3.3 Matplotlib .41
3.4 練習50

第4 章大數據採集技術53
4.1 網絡爬蟲概述53
4.2 Requests 基礎.54
4.3 XPath 與Lxml57
4.4 網頁採集60
4.5 分頁採集61
4.6 練習63

第5 章大數據處理算法及應用64
5.1 回歸64
5.2 決策樹73
5.3 K 近鄰.80
5.4 支持向量機84
5.5 神經網絡87
5.6 樸素貝葉斯91
5.7 聚類94
5.8 關聯規則98
5.9 PCA 降維.102
5.10 機器學習流程106
5.11 練習118

第6 章文本挖掘與應用121
6.1 文本挖掘流程121
6.2 NLTK121
6.3 TextBlob .130
6.4 Jieba134
6.5 SnowNLP139
6.6 正則表達式..143
6.7 詞云150
6.8 LDA 主題模型.152
6.9 練習156

第7 章大數據應用案例157
7.1 泰坦尼克生存預測157
7.2 基於用戶評論的智能音箱市場分析166 
7.3 有事找政府12345 .171
7.4 基於網貸評論的用戶輿情挖掘172參考文獻.178