●第1章 概述11.1 網絡運營與文本分析11.1.1 互聯網運營的戰略思維11.1.2 網絡運營與大數據文本分析21.2 文本分析的4V特征41.2.1 Volume特征41.2.2 Variety特征51.2.3 Value特征61.2.4 Velocity特征71.3 在線文本分析應用81.3.1 在線文本分析的管理類應用91.3.2 在線文本分析的內容類應用121.4 本章小結16第2章 預備知識182.1 文本挖掘的主要任務182.2 語義分析與語法分析202.3 文本的結構化分析212.4 文本的標準化分析242.5 機器學習的基本概念242.5.1 機器學習與深度學習252.5.2 機器學習的基本要素332.6 機器學習的重要問題362.6.1 概率圖模型362.6.2 判別式模型和產生式模型392.6.3 機器學習模型求解402.6.4 模型過擬合432.7 本章小結45第3章 文本建模463.1 文本建模的基本概念463.2 文本建模的應用場景483.2.1 主體角色識別483.2.2 語言風格分析493.2.3 智能繫統493.2.4 文本表示503.2.5 文本降維503.2.6 話題分析503.3 語言學建模概述513.4 詞標注分析523.5 句法分析553.5.1 轉換生成語法563.5.2 依存句法563.6 知識庫與語義網583.7 統計學建模概述593.8 向量空間模型613.9 LSI模型643.9.1 SVD643.9.2 基於SVD的降維分析663.10 Unigram模型673.11 pLSI模型673.11.1 pLSI的模型結構673.11.2 pLSI的參數估計683.12 LDA主題模型703.12.1 LDA的模型結構703.12.2 LDA的參數估計723.13 主題模型拓展753.13.1 相關主題模型763.13.2 層次主題模型773.13.3 動態主題模型803.13.4 句子主題模型823.14 基於詞彙的統計學建模方法833.15 本章小結86第4章 文本分類884.1 文本分類的基本概念884.2 文本分類的應用場景894.2.1 文檔有用性判斷894.2.2 口碑情感分析904.2.3 負面信息識別904.2.4 信息檢索904.3 樸素貝葉斯模型914.3.1 貝努利模型914.3.2 多項式模型934.3.3 模型參數平滑944.4 向量空間模型954.4.1 Rocchio方法954.4.2 KNN方法964.5 SVM模型974.5.1 硬間隔SVM974.5.2 軟間隔SVM1004.6 文本分類的評價1024.6.1分類評價1024.6.2 多類問題評價1044.6.3 分類測試集1054.7 分類特征優化1064.7.1 分類特征提取1064.7.2 分類特征轉化1124.7.3 分類特征擴展1144.8 分類學習策略優化1174.8.1 AdaBoost算法1174.8.2 主動式學習1184.8.3 遷移學習1194.9 本章小結119第5章 文本聚類1215.1 文本聚類的基本概念1215.2 文本聚類的應用場景1225.2.1 探索分析1225.2.2 降維1235.2.3 信息檢索1235.3 扁平式聚類1245.3.1 K-均值算法1255.3.2 基於模型的聚類1285.4 凝聚式聚類1325.4.1 層次聚類1325.4.2 基於簇距離的聚類過程1325.4.3 算法停止條件1355.5 聚類結果分析1365.5.1 聚類算法評估1365.5.2 聚類標簽生成1385.6 聚類特征優化1405.6.1 基於迭代的方法1415.6.2 無監督指標1415.7 半監督聚類1435.7.1 遷移學習1445.7.2 AP算法1455.8 短文本聚類1465.8.1 文本特征補充1465.8.2 TermCut算法1485.8.3 Dirichlet多項式混合模型1495.9 流數據聚類1515.9.1 OSKM算法1515.9.2 可拓展K-means算法1525.10 本章小結153第6章 序列標注1556.1 序列標注的基本概念1556.2 序列標注的應用場景1576.2.1 詞性標注1576.2.2 命名實體識別1576.2.3 分詞1576.3 HMM1586.3.1 HMM的概率計算問題1606.3.2 HMM的學習問題1626.2.3 HMM的預測問題1646.4 優選熵模型和優選熵馬爾可夫模型1666.4.1 優選熵模型1676.4.2 優選熵馬爾可夫模型1706.5 條件隨機場1726.5.1 標注偏置問題1726.5.2 條件隨機場的基本原理1746.6 本章小結176第7章 信息檢索1777.1 信息檢索的基本概念1777.2 信息檢索的應用場景1807.2.1 搜索引擎1807.2.2 內容推薦1827.3 基於空間模型的信息檢索1847.3.1 文檔查找1847.3.2 文檔排序1857.3.3 繫統評價1877.4 基於概率模型的信息檢索1907.4.1 二值獨立模型1917.4.2 模型參數估計1937.5 基於語言模型的信息檢索1967.5.1 語言模型1967.5.2 查詢似然模型1987.6 本章小結201第8章 文本摘要2038.1 文本摘要的基本概念2038.2 文本摘要的應用場景2068.2.1 信息檢索2068.2.2 信息壓縮2078.2.3 用戶畫像2088.2.4 知識管理2098.3 關鍵詞提取的特征設計2108.3.1 詞頻特征2108.3.2 詞彙基礎特征2118.3.3 詞彙位置特征2128.3.4 詞彙標記特征2148.4 關鍵詞提取的有監督算法2148.5 關鍵詞提取的無監督算法2178.5.1 簡單指標設計2178.5.2 復合指標設計2178.6 基於圖模型的關鍵詞提取算法2188.6.1 圖模型靜態指標算法2208.6.2 圖模型動態指標算法2238.7 關鍵詞提取的技術優化2268.7.1 長文本問題優化2278.7.2 短文本問題優化2288.7.3 多主題特征優化2298.7.4 時序特征優化2328.7.5 歧義問題優化2338.8 關鍵短語提取2348.8.1 短語性指標2358.8.2 信息性指標2358.9 關鍵句提取2368.9.1 基於詞彙關鍵性的方法2368.9.2 基於句子特征的方法2378.9.3 基於圖模型的方法2388.10 本章小結240第9章 口碑分析2419.1 口碑分析的基本概念2429.2 口碑分析的應用場景2439.2.1 用戶視角的應用2439.2.2 網站運營者視角的應用2449.2.3 商家視角的應用2449.2.4 其他應用2459.3 基於詞典的評價對像提取2459.4 基於語料的評價對像提取2469.5 評價水平量化2529.5.1 整體粗粒度情感分析2539.5.2 整體細粒度情感分析2549.5.3 局部粗粒度情感分析2589.5.4 局部細粒度情感分析2599.6 基於語言模型的情感分析技術2599.6.1 優選熵LDA主題模型：模型性質2609.6.2 優選熵LDA主題模型：基本結構2609.6.3 優選熵LDA主題模型：參數估計2639.7 本章小結265第10章 社交網絡分析26610.1 社交網絡分析的基本概念26610.2 社交網絡分析的應用場景26910.2.1 虛擬社區發現27010.2.2 用戶影響力分析27110.2.3 情感分析27110.2.4 話題發現與演化27210.2.5 信息檢索27310.3 社交網絡的虛擬社區發現27410.3.1 社區發現的信息基礎27410.3.2 基於隱性位置的聚類模型27510.4 社交網絡的用戶影響力分析27610.4.1 網絡結構與用戶影響力27610.4.2 TwitterRank算法27710.5 社交網絡的情感分析27910.5.1 基於表情符號的訓練集合構建27910.5.2 基於 Tag的特征優化28010.6 社交網絡的話題發現與演化28210.6.1 話題發現分析28210.6.2 Twitter-LDA28410.6.3 基於文檔聚類的話題發現28410.6.4 基於詞彙聚類的話題發現28610.6.5 話題演化分析28710.6.6 基於NMF的主題建模28710.7 社交網絡的信息檢索28910.7.1 信息檢索的內容拓展策略29010.7.2 信息檢索的綜合排序策略29110.8 本章小結293第11章 深度學習與NLP29511.1 基本原理29611.2 詞嵌入模型29911.2.1 詞彙的分布式表示29911.2.2 神經概率語言模型30011.2.3 詞嵌入模型概述30111.3 RNN與NLP30411.3.1 RNN30411.3.2 基於RNN的機器翻譯30511.3.3 RNN的其他應用30811.4 本章小結309第12章 實證研究31112.1 研究框架31112.1.1 研究問題背景31112.1.2 問題分析31312.2 理論與模型31412.2.1 相關理論與假設31412.2.2 模型構建31712.3 文本數據處理31912.3.1 基於文本分析的口碑打分調整31912.3.2 基於文本分析的口碑權重計算32312.3.3 基於文本分析的候選集合構建32412.4 研究結論32612.4.1 實證結果32612.4.2 管理建議32812.5 本章小結329第13章 總結330

本書介紹了互聯網環境下文本類型數據的分析方法，探討了當前主流的文本挖掘技術，以及這些技術在商業環境中的具體應用。本書從算法原理和應用場景兩方面分別對在線文本分析技術進行了介紹：從算法原理的角度，以數據挖掘和機器學習的相關知識為基礎，介紹了以文本建模、文本分類、文本聚類、序列標注為主要任務的文本分析方法，並對當前主流的深度學習方法與文本分析的結合進行了討論。從應用場景的角度，討論了文本分析技術的幾個重要實踐領域，包括信息檢索、內容摘要、口碑分析、社交網絡分析以及智能繫統。

劉通 著

"前言在大數據時代，數據的價值開始被推上各行各業的舞臺。人們更注重從海量的數據中挖掘感興趣的信息，以實現豐富的技術應用，進行科學的管理決策。在互聯網環境中，數據的分析與利用尤為重要，尤其是數值類型數據的分析和文本類型數據的分析。其中，文本類型數據的分析比一般數值類型數據的分析復雜，文本類型數據是大數據4V特征的具體體現，其相關技術也更具難度。盡管如此，文本類型數據在整個網絡中的信息占比仍十分龐大，且對用戶的各種在線交互、活動及購買行為也有著不容小覷的影響。因此，網絡中的文本類型數據具有十分重要的分析價值。本書將重點對當今文本類型數據的重要分析技術進行詳細、繫統的介紹。在應用方面，文本分析技術在大多數互聯網運營工作中具有重要的實踐意義。基於文本分析技術的應用包括管理類應用和技術類應用。在管理類應用中，文本分析可以有效提取用戶在線交互和在線行為的重要信息，幫助管理者更好地掌握用戶、產品等