大數據和大分析 大数据和大分析

<內容簡介>

本書首先參闡述大數據出現的背景，解釋數據資產、數據驅動等基本概念，剖析數據分析的重要性，介紹了大分析的內容和範圍、關鍵點等；其次，闡述了大數據建設的基本內容和有關應用領域等，涉及收集、存儲、標準、技術選擇等內容，重點介紹了數據質量、安全管理等數據管控的內容；結尾，給出了大數據建設配套的人才、管理結構等方面的內容和經驗，分享如何引入因特網思維，開闢新視野的理念。

<章節目錄>

第1章 背景 ／／1
1.1 大數據的引出和影響 ／／3
1.1.1 “大數據，大商機” ／／3
1.1.2 “數據資產”的引出 ／／6
1.1.3 數據量龐大 ／／9
1.1.4 數據結構覆雜 ／／10
1.1.5 數據價值有待挖掘 ／／11
1.1.6 “數據驅動”的變革 ／／12
1.1.7 因特網發展中的“數聯網” ／／15
1.2 為何需要大分析 ／／16
1.2.1 數據價值評估 ／／16
1.2.2 “數據資產”變現問題 ／／18
1.2.3 大分析的技術基礎 ／／20
1.2.4 大分析面臨的問題 ／／26
1.3 大分析的應用案例 ／／29
1.3.1 新的“啤酒和尿布” ／／29
1.3.2 KPI信息地圖 ／／30
1.3.3 “大數據、超細分、微營銷” ／／32
1.4 小結 ／／34
第2章 大數據基礎 ／／35
2.1 大數據的基本理念 ／／36
2.1.1 概念和定義探索 ／／36
2.1.2 大數據的技術基礎 ／／37
2.1.3 沒有大分析，大數據就是大垃圾 ／／38
2.1.4 大數據如何借鑒“數據倉庫”的經驗 ／／38
2.1.5 企業級數據中心 ／／41
2.2 大數據與數據倉庫的關系 ／／42
2.2.1 大數據擴展數據倉庫理論架構 ／／42
2.2.2 大數據繼承數據倉庫數據管理的經驗 ／／43
2.2.3 大數據開啟了非結構化數據的處理 ／／43
2.2.4 大數據要借鑒數據倉庫的生態圈 ／／43
2.2.5 大數據應繼承數據分析技術 ／／44
2.2.6 與數據庫的關系 ／／44
2.2.7 數據倉庫借鑒大數據的營銷模式 ／／44
2.3 大數據的基本特點 ／／45
2.3.1 “4V”特點 ／／45
2.3.2 大分析角度的大數據特徵 ／／45
2.4 大數據的價值和意義 ／／46
2.4.1 圍繞客戶信息，提供全方位服務 ／／46
2.4.2 構築“虛擬團隊”，提升團隊管理水平 ／／46
2.4.3 讓“智慧城市”“智能交通”等變為可能 ／／47
2.4.4 構築“理性社會”終於成為可能 ／／47
2.4.5 中國前所未有的一次“彎道超車”機遇 ／／47
2.5 大數據的問題和挑戰 ／／48
2.5.1 數據質量問題越發突出 ／／48
2.5.2 數據分析技術尚缺實質突破 ／／48
2.5.3 大數據應用水平需要逐步演進、逐步深化 ／／48
2.5.4 大數據技術架構面臨突破 ／／49
2.5.5 數據理念與國外仍然相距甚遠 ／／49
2.5.6 大數據是一項系統工程 ／／49
2.6 小結 ／／50
第3章 大數據的管理 ／／51
3.1 數據如何收集 ／／52
3.1.1 能獲取哪些數據 ／／52
3.1.2 基於數據價值，決定數據的收集、存放策略 ／／53
3.1.3 沒有應用時，是否收集數據 ／／53
3.2 數據的標準 ／／53
3.2.1 數據接口 ／／53
3.2.2 數據模型 ／／55
3.3 大數據的ETL過程 ／／57
3.4 大數據如何存儲 ／／58
3.4.1 數據庫／數據倉庫 ／／58
3.4.2 分佈式文件系統（HDFS） ／／59
3.4.3 混搭模式 ／／63
3.4.4 Hive ／Hbase等 ／／63
3.4.5 MPP ／／65
3.5 數據如何估值和計費 ／／65
3.5.1 什麼數據最好賣 ／／66
3.5.2 市場價格 ／／66
3.5.3 數據的開放 ／／67
3.6 大數據的“數據資產”管理 ／／67
3.7 數據如何保障安全 ／／68
3.8 小結 ／／71
第4章 大數據的技術架構 ／／73
4.1 大數據處理架構 ／／74
4.1.1 大數據處理層級和域 ／／75
4.1.2 哪些計算適合並行 ／／78
4.2 為何是混搭架構 ／／78
4.2.1 大數據混搭架構的利弊分析 ／／79
4.2.2 架構是否去IOE ／／80
4.2.3 大數據混搭架構實例 ／／80
4.3 數據集市的模式 ／／83
4.3.1 數據沙盒模式 ／／85
4.3.2 貼近角色的平臺及應用 ／／85
4.3.3 文件集市 ／／89
4.4 數據管控模塊 ／／89
4.4.1 元數據 ／／89
4.4.2 數據質量 ／／91
4.5 大數據的“爬蟲”技術 ／／93
4.5.1 定製爬蟲Nutch ／／94
4.5.2 分詞技術—庖丁分詞 ／／94
4.5.3 索引及全文檢索—Splunk ／／95
4.5.4 上網數據解析流程 ／／97
4.6 大數據安全管理框架 ／／99
4.6.1 安全管控技術架構 ／／99
4.6.2 管理制度建設 ／／101
4.6.3 去隱私化技術舉例 ／／103
4.7 小結 ／／108
第5章 大數據的數據質量管控 ／／111
5.1 數據質量概念 ／／113
5.1.1 基本概念 ／／113
5.1.2 大數據就不考慮質量了嗎 ／／117
5.2 元數據 ／／118
5.2.1 數據的數據 ／／118
5.2.2 元數據的CWM標準 ／／120
5.2.3 元數據分類 ／／122
5.3 數據質量管控 ／／123
5.3.1 數據質量管控目標 ／／123
5.3.2 數據質量子系統架構 ／／124
5.4 如何建立數據質量管理制度 ／／129
5.4.1 數據質量分工管理流程 ／／129
5.4.2 及時監控和告警 ／／136
5.5 數據質量管控產品的客戶體驗 ／／139
5.5.1 降低技術門檻 ／／139
5.5.2 產品的手機App化 ／／140
5.6 小結 ／／141
第6章 大數據如何帶來大分析 ／／143
6.1 沒有應用的數據是垃圾數據 ／／145
6.1.1 應用的廣度 ／／145
6.1.2 應用的深度 ／／145
6.1.3 應用的實時性／融合性 ／／146
6.2 大分析（BA）的概念 ／／147
6.2.1 “大分析”的發展變化 ／／147
6.2.2 大分析的“群眾路線” ／／150
6.3 大分析（BA）的產品開發 ／／151
6.3.1 基於數據分析，解決實際問題 ／／152
6.3.2 BA產品和分析工具產品的區隔 ／／154
6.3.3 自助分析 ／／158
6.3.4 導航式分析 ／／161
6.4 應用推廣問題 ／／170
6.4.1 市場的“冬天”就是大分析的“春天” ／／170
6.4.2 為何需要應用推廣 ／／170
6.4.3 如何證明分析的獨特價值 ／／171
6.4.4 如何解決員工實際的問題 ／／172
6.4.5 電信和因特網行業應用推廣對比 ／／172
6.4.6 不同的企業用不同的推廣方法 ／／172
6.5 大分析的“閉環”問題 ／／173
6.5.1 分析和執行的閉環執行 ／／173
6.5.2 營銷流程的設計—營銷管理平臺 ／／173
6.6 小結 ／／176
第7章 大分析應用案例 ／／179
7.1 大分析的應用階段 ／／180
7.2 非結構化數據的分析 ／／181
7.2.1 客戶投訴內容分析 ／／181
7.2.2 因特網輿情監控分析 ／／183
7.3 客戶分析 ／／184
7.3.1 客戶生命周期 ／／184
7.3.2 客戶內容屬性 ／／197
7.3.3 客戶行為屬性 ／／203
7.3.4 客戶新業務分析 ／／218
7.3.5 客戶滿意度分析 ／／220
7.3.6 客戶流失分析 ／／223
7.4 產品分析 ／／234
7.4.1 建設背景和目的 ／／235
7.4.2 整體流程 ／／235
7.4.3 建設中涉及的模型 ／／235
7.5 內容營銷分析 ／／240
7.5.1 手機視頻產品營銷觸發 ／／240
7.5.2 手機視頻內容分析 ／／240
7.5.3 目標客戶篩選和細分 ／／240
7.5.4 方案設計 ／／241
7.5.5 營銷腳本設計 ／／242
7.5.6 營銷方式選擇 ／／243
7.5.7 營銷方式使用效果 ／／243
7.5.8 效益評估 ／／244
7.6 網格化管理分析 ／／245
7.7 社會渠道欺詐分析 ／／247
7.7.1 概述 ／／247
7.7.2 模型方法 ／／248
7.7.3 模型定義 ／／250
7.7.4 業務應用 ／／255
7.7.5 優化方法 ／／256
第8章 大數據中的因特網思維 ／／257
8.1 因特網思維介紹 ／／258
8.1.1 九大特徵 ／／258
8.1.2 大數據為何需要因特網思維 ／／260
8.1.3 大數據如何借助因特網思維 ／／260
8.2 BA產品定義 ／／260
8.3 BA產品的客戶體驗 ／／263
8.3.1 客戶是誰 ／／263
8.3.2 客戶的體驗是什麼 ／／264
8.3.3 提升客戶體驗的展示形式 ／／266
8.3.4 提升客戶體驗的解決問題能力 ／／270
8.4 BA產品疊代開發 ／／280
8.4.1 如何構建共享方式 ／／280
8.4.2 提供API接口 ／／282
8.4.3 提供類似App Store開發環境 ／／284
8.5 BA產品的“客戶入口”把控 ／／286
8.5.1 抓住客戶的入口 ／／286
8.5.2 讓客戶參與BA產品開發 ／／287
8.5.3 BA產品的內部客戶營銷 ／／287
第9章 大數據的管理架構及探索 ／／289
9.1 BA產品生態圈的建設 ／／290
9.1.1 生態圈組成 ／／290
9.1.2 生態圈盈利模式 ／／292
9.1.3 生態圈的“共贏” ／／293
9.2 管理架構舉例 ／／294
9.2.1 因特網企業架構 ／／294
9.2.2 運營公司的架構 ／／295
9.2.3 架構的特點分析 ／／295
9.3 人才的培養 ／／296
9.3.1 知識結構要求 ／／296
9.3.2 交際（團隊）能力要求 ／／297
9.3.3 耐壓能力要求 ／／297
9.4 團隊的構建及激勵 ／／298
9.4.1 技術人員轉型業務人員 ／／298
9.4.2 業務經驗的培養和積累 ／／298
9.4.3 待遇激勵 ／／298
第10章 後記 ／／299