文本數據挖掘與 Python 應用

教材系統地介紹文本數據挖掘的相關概念，利用Python作為工具進行相關試驗，其內容主要包括：文本挖掘產生的背景及發展；文本挖掘的概念、文本模型表示、文本內容的預處理，包括分詞、去停用詞以及特徵抽取；文本相似度的概念等。介紹文本分類的概念及常用方法，如KNN算法、SVM算法等，並對分類結果進行評價；在介紹文本聚類聚類的概念時是，同樣介紹聚類常用算法，如K均值算法、層次聚類法、密度聚類法等，作為有文本分類、文本聚類的應用，最後給出了信息抽取、社會網絡中的實體關系抽取和事件抽取。

劉金岭，教授，碩士生導師。
至2007年以來進行文本數據挖掘的研究，在專業核心期刊發表相關論文30多篇，EI檢索4篇，SCCSI檢索3篇。
在2010-2013年與江蘇移動公司合作進行垃圾短信處理研究，2009-2011完成市級科研課題“基於語義的垃圾短信分類器設計與實現（HAG09061）”。

目錄

源碼下載

第1章緒論
1.1文本挖掘的研究背景及意義
1.2文本挖掘的國內外研究現狀
1.3文本挖掘概述
1.3.1文本挖掘的概念
1.3.2文本挖掘的任務
1.3.3文本挖掘與數據挖掘的聯系與區別
1.4文本挖掘的過程
1.5文本挖掘的主要研究領域
1.5.1文本特徵選擇
1.5.2文本結構分析
1.5.3文本摘要
1.5.4文本分類
1.5.5文本聚類
1.5.6文本關聯分析
1.5.7分佈分析與趨勢預測
1.6文本挖掘在制藥行業的應用案例
習題1

第2章文本切分及特徵詞選擇
2.1文本數據採集
2.1.1軟件接口對接方式
2.1.2開放數據庫方式
2.1.3基於底層數據交換的數據直接採集方式
2.1.4網絡爬蟲採集網頁數據
2.2語料庫與詞典簡介
2.2.1語料庫
2.2.2詞典
2.3文本切分
2.3.1句子切分
2.3.2詞匯切分
2.4文本特徵詞選擇
2.4.1文本特徵詞選擇概述
2.4.2常用的文本特徵詞選擇方法
2.5Python jieba分詞模塊及其用法
2.5.1jieba方法
2.5.2基於規則的中文分詞
2.5.3關鍵詞提取
習題2

第3章文本表示模型
3.1文本預處理
3.1.1原始數據處理
3.1.2文本預處理簡述
3.2向量空間模型
3.2.1向量空間模型的概念
3.2.2文本向量的相似度
3.2.3向量模型的Python實現
3.3概率模型
3.3.1概率模型概述
3.3.2概率建模方法
3.3.3文本信息檢索中的概率模型
3.3.4概率模型的Python實現
3.4概率主題模型
3.4.1概率主題模型概述
3.4.2PLSA概率主題模型
3.4.3LDA概率主題模型
3.4.4LDA概率主題模型的Python實現
習題3

第4章文本分類
4.1文本分類概述
4.1.1研究的意義
4.1.2國內外研究現狀與發展趨勢
4.1.3文本分類的定義
4.1.4文本分類流程
4.1.5文本分類預處理
4.2常用文本分類器
4.2.1KNN分類器
4.2.2SVM分類器
4.2.3Rocchio分類器
4.2.4樸素貝葉斯分類器
4.2.5決策樹分類器
4.3分類模型的性能評估
4.3.1分類評價方法
4.3.2分類性能評價指標
習題4

第5章文本聚類
5.1文本聚類概述
5.1.1研究的意義
5.1.2國內外研究現狀與發展趨勢
5.1.3文本聚類的定義
5.1.4文本聚類流程
5.1.5對聚類算法的性能要求
5.2文本聚類原理與方法
5.2.1基於劃分的方法
5.2.2基於層次的方法
5.2.3基於密度的方法
5.2.4基於網格的方法
5.2.5基於模型的方法
5.3文本聚類評估
5.3.1估計聚類趨勢
5.3.2確定簇數
5.3.3測定聚類質量
習題5

第6章文本關聯分析
6.1關聯規則挖掘概述
6.2文本關聯規則
6.2.1關聯規則的基本概念
6.2.2關聯規則分類
6.3關聯規則挖掘算法
6.3.1Apriori算法
6.3.2FPGrowth算法
習題6

第7章利用Python處理文本數據簡單應用
7.1情感分析
7.1.1情感分析原理
7.1.2算法設計
7.1.3算法實現
7.2自動生成關鍵詞和摘要
7.2.1TextRank算法
7.2.2生成關鍵詞和摘要
7.3使用SnowNLP進行商品評價
7.3.1SnowNLP庫簡介
7.3.2SnowNLP商品評價
7.4生成“詞雲”
7.4.1“詞雲”的概念
7.4.2Python“詞雲”圖的生成
習題7

參考文獻