目錄 章大數據智能概述/1 1.1數據的智能演化過程/1 1.2大數據/2 1.2.1大數據的概念/2 1.2.2大數據的特征/2 1.2.3大數據帶來的決策方式的革命/3 1.2.4大數據面臨的挑戰及其對應的技術概覽/5 1.2.5科學的大數據觀/9 1.2.6大數據架構下的人纔需求及產業結構/10 1.3人工智能/12 1.4自然語言處理/14D2章大數據技術平臺與架構/16 2.1大數據技術概覽/16 2.1.1大數據技術架構/16 2.1.2雲計算/17 2.2Hadoop、Spark生態繫統/20 2.2.1Hadoop生態繫統/20 2.2.2Spark生態繫統/26 2.2.3Spark和Hadoop的性能對比/31 2.3大數據挖掘與可視化工具/34D3章傳統機器學習與數據挖掘/40 3.1機器學習介紹/40 3.2關聯規則挖掘/41 3.2.1Apriori算法/43 3.2.2FPgrowth算法/43〖2〗〖4〗大數據智能分析目錄〖3〗3.3分類/45 3.3.1SVM/45 3.3.2決策樹/52 3.3.3樸素貝葉斯/56 3.3.4K近鄰/59 3.4聚類/60 3.4.1基於劃分的聚類方法/60 3.4.2基於層次的聚類方法/65 3.4.3基於密度的聚類方法/71 3.4.4聚類案例： 用戶細分模型/74 3.5數據挖掘相關工具/74 3.5.1數據獲取工具/75 3.5.2分詞工具/77 3.5.3分類聚類工具/79 3.5.4Python調用方法/79D4章經典深度學習算法與平臺/81 4.1神經網絡基礎/82 4.1./82 4.1.2到神經網絡/82 4.2循環神經網絡/84 4.2.1RNN基本概念/84 4.2.2RNN的長期依賴問題與LSTM/85 4.2.3深度RNN和雙向RNN/88 4.3卷積神經網絡/89 4.4序列到序列模型/90 4.5注意力模型/91 4.6生成對抗網絡/93 4.7TensorFlow計算圖框架/95 4.7.1數據流圖/95 4.7.2TensorFlow的特征/95 4.7.3官方入門教程/96 4.8PyTorch深度學習框架/103 4.8.1PyTorch是什麼/103 4.8.2自動求導: 自動微分/104 4.8.3神經網絡/105D5章信息檢索與大數據搜索/110 5.1概述/110 5.2JZSearch大數據搜索引擎繫統架構/110 5.3大數據精準搜索的基本技術/112 5.3.1索引字段類型/112 5.3.2索引詞項的設計/113 5.3.3索引壓縮技術/113 5.3.4內存交換/115 5.3.5增量索引/116 5.3.6數據庫檢索/117 5.4大數據精準搜索語法/118 5.4.1JZSearch排序算法/118 5.4.2JZSearch結果格式/119 5.4.3JZSearch檢索語法說明/119 5.5JZSearch大數據精準搜索應用案例/123 5.5.1中國郵政集團郵址垂直搜索/124 5.5.2標準文檔搜索引擎/124 5.5.3內網文檔的知識搜索門戶/125 5.5.4商品比價搜索/125 5.5.5維吾爾文搜索/125D6章漢語分詞/127 6.1概述/127 6.2漢語分詞的困難性/129 6.3基於機械匹配的漢語分詞算法/132 6.3.1詞典匹配法/132 6.3.2N短路徑法/136 6.4基於統計語言模型的漢語分詞算法/137 6.4語言模型/138 6.4.2互信息模型/138 6.4.3優選熵模型/140 6.5NLPIRICTCLAS： 基於層疊隱馬爾可夫模型的漢語分詞算法/141 6.5.1層次隱馬爾可夫模型/141 6.5.2基於類的隱馬爾可夫分詞算法/143 6.5.3N短路徑的切分排歧策略/145 6.6基於雙向循環神經網絡與條件隨機場的詞法分析/146 6.6.1概述/146 6.6.2基於雙向循環神經網絡的序列標注/146 6.6.3融合條件隨機場的深度神經網絡模型/148 6.7實驗與分析/149 6.7.1評估方法/149 6.7.2實驗分析1/149 6.7.3實驗分析2/153D7章命名實體識別/157 7.1命名實體識別定義/157 7.2命名實體識別的研究主體/158 7.3命名實體識別的特點及難點/158 7.4命名實體識別的研究技術路徑/159 7.5基於角色標注的命名實體識別/159 7.6實驗與分析/162D8章新詞發現/163 8.1基於規則的研究方法/164 8.1.1規則抽取方法/165 8.1.2規則過濾方法/165 8.2基於統計模型的研究方法/166 8.2.1凝固度/166 8.2.2信息熵/166 8.2.3新詞IDF/167 8.3面向社會媒體的開放領域新詞發現/167 8.3.1引言/167 8.3.2新詞發現/168 8.3.3實驗/171D9章文本分類與聚類/175 9.1文本預處理/175 9.2文本表示模型/176 9.2.1傳統布爾檢索與擴展布爾檢索模型/177 9.2.2向量空間模型/177 9.2.3概率檢索模型/180 9.2.4語言模型/181 9.3文本特征選擇方法/182 9.3.1信息增量/183 9.3.2卡方統計/183 9.3.3交叉熵/183 9.4文本分類概述/184 9.5文本聚類概述/187 9.5.1聚類算法體繫/187 9.5.2半監督聚類/1880章話題發現算法/191 10.1多語語義串自動發現/195 10.2多語語義關鍵特征挖掘/197 10.2.1關鍵特征抽取/197 10.2.2單個文檔Top N關鍵特征挖掘/198 10.3Top N熱點話題發現和關聯歸並/198 10.3.1Top N熱點話題發現/198 10.3.2話題歸並/200 10.4多語文本話題發現與關聯歸類實驗驗證/2011章情感分析/203 11.1概述/203 11.2情感分類/205 11.3應用/208 11.3.1用戶評論分析與決策/208 11.3.2輿情監控/208 11.3.3信息預測/209 11.4情感詞發現與J性權重自動計算算法/209 11.4.1引言/209 11.4.2情感詞典構建模型/211 11.4.3實驗/213 11.5基於樹模型的無監督情感分析繫統/216 11.5.1實現方法/216 11.5.2繫統架構及流程/217 11.5.3實驗分析及結論/219 11.6基於深度神經網絡的短文本情感傾向性分析/221 11.6.1語料庫建設/221 11.6.2詞袋模型與文本建模/223 11.6.3基於Softmax和深度神經網絡的短文本情感分析算法/225 11.6.4實驗設計及實驗結果/2292章自動摘要/234 12.1概述/234 12.2基於關鍵詞提取的自動摘要/238 12.3面向主題的自動摘要/244 12.4基於主題模型與信息熵的中文文檔自動摘要技術研究/247 12.4.1主題模型/248 12.4.2信息熵/250 12.4.3句子信息熵的計算方法/250 12.4.4算法介紹/250 12.4.5實驗結果/251 12.5自動摘要應用場景分析及大數據搜索與挖掘軟件應用示例/2523章大數據智能應用案例/254 13.1公*警情大數據挖掘/254 13.2網絡賭博信息文本挖掘/257 13.2.1Web網頁信息選擇與提取/257 13.2.2中文分詞及詞性標注處理/258 13.2.3特征提取/259 13.2.4基於網絡賭博信息的數據挖掘/260 13.2.5網絡賭博信息可視化展示/262 13.3領導人支持信息挖掘/265 13.4微博博主的特征與行為大數據挖掘/268 13.4.1介紹/268 13.4.2宏觀特征大數據挖掘/270 13.4.3實驗與分析/275 13.4.4微博博主的價值觀自動評估方法/275 13.5看圖說話: 基於MaskRCNN的圖片中文描述生成器/277 13.5.1自下而上的注意力機制在圖像描述中的應用/278 13.5.2BottomUpAttention和TopDownAttention圖像描述模型/280 13.5.3DenseAttention圖像描述模型/281 13.5.4基於語義控制的長短時記憶模型/281 13.5.5模型訓練相關說明及結果分析/283 13.5.6模型測試相關說明及結果分析/284 13.5.7測試結果分析/2864章大數據智能課程經典作業彙編/288 14.1《紅樓夢》前後作者同一性分析/288 14.2黨的SJ大報告語義智能分析/293 14.3文章風格對比: 方文山與汪峰/294 14.4智慧旅遊大數據應用/295 14.5某大廈電力數據挖掘/298 14.6杭州市二手房房價分析/301 14.6.1概述/301 14.6.2房價分析繫統案例介紹/301 14.6.3本例設計與實現/304 14.7數據挖掘在股票分析預測中的應用/306 14.7.1概述/306 14.7.2股票分析預測方法/307 14.7.3神經網絡在股票分析預測應用中的研究現狀/307 14.7.4實驗結果/309 14.8基於TensorFlow的歌詞自動生成/310 14.8.1算法說明/310 14.8.2實驗結果/311 14.9基於LSTM的購物評論分類/312 14.9.1獲取語料庫比分詞/312 14.9.2詞向量的轉換/313 14.9.3建立向量和單詞列表/313 14.9.4將句子轉換成序號矩陣/314 14.9.5模型訓練/314 顯示全部信息