"一本書講透大數據分析知識點，全書通過8個多角度案例，深入講解大數據分析與應用中的疑難點。通過當前 的Python語言，為那些想學習和掌握大數據分析應用的讀者提供一本“看了就能學會”的書。《Python大數據分析與應用實戰》全部通過在實際場景中對大數據的應用，以及使用合適的算法進行應用，並用淺顯易懂的代碼去實現相應的目的，完成數據搭建、分析、文本數據分析、數據集與決策樹，以及垃圾圖片分類、協同過濾和聚類算法等經典知識點的實際應用。"

●第1章 Python語法基礎1
1.1 安裝Anaconda1
1.1.1 代碼提示4
1.1.2 變量瀏覽5
1.1.3 安裝第三方庫5
1.2 語法基礎6
1.2.1 字符串、組、字典和集合6
1.2.2 條件判斷、循環和函數13
1.2.3 異常17
1.2.4 特殊函數20
1.3 Python基礎庫應用入門22
1.3.1 NumPy庫應用入門23
1.3.2 Pandas庫應用入門29
1.3.3 Matplotlib庫應用入門40
1.4 本章小結45
第2章 天氣數據的獲取與建模分析52
2.1 準備工作52
2.2 利用抓取方法獲取天氣數據54
2.2.1 網頁解析54
2.2.2 抓取一個靜態頁面中的天氣數據57
2.2.3 抓取歷史天氣數據60
2.3 天氣數據可視化63
2.3.1 查看數據基本信息63
2.3.2 變換數據格式64
2.3.3 氣溫走勢的折線圖66
2.3.4 歷年氣溫對比圖67
2.3.5 天氣情況的柱狀圖69
2.3.6 使用Tableau制作天氣情況的氣泡雲圖70
2.3.7 風向占比的餅圖72
2.3.8 使用windrose庫繪制風玫瑰圖73
2.4 機器學習在天氣預報中的應用76
2.4.1 線性回歸的基本概念76
2.4.2 線性回歸預測氣溫77
2.4.3 線性回歸預測氣溫84
2.5 本章小結91
第3章 養成遊戲中人物的數據搭建92
3.1 準備工作92
3.2 利用Pyecharts庫進行數據基本情況分析94
3.2.1 感染人數分布圖94
3.2.2 病情分布圖96
3.2.3 病癥情況堆疊圖97
3.2.4 繪制死亡、出院情況折線圖98
3.2.5 病情熱力圖100
3.2.6 病情分布像形圖101
3.2.7 人口流動示意圖103
3.3 感染病例分析105
3.3.1 基本信息統計106
3.3.2 使用直方圖展示感染周期108
3.3.3 使用詞雲圖展示死亡病例情況111
3.4 疫情趨勢預測114
3.4.1 利用邏輯方程預測感染人數115
3.4.2 利用SIR模型進行疫情預測120
3.4.3 Logistic模型和SIR模型的對比128
3.5 本章小結131
第4章 航空數據分析132
4.1 準備工作132
4.2 基本情況統計分析135
4.2.1 查看數據的基本信息135
4.2.2 航空公司、機型分布137
4.2.3 展示各個城市航班數量的3D地圖139
4.2.4 從首都機場出發的桑基圖142
4.2.5 通過關繫圖展示航線145
4.3 利用Floyd算法計算最短飛行時間148
4.3.1 Floyd算法簡介148
4.3.2 Floyd算法的流程150
4.3.3 算法程序實現150
4.3.4 結果分析154
4.4 本章小結158
第5章 市民服務熱線文本數據分析160
5.1 準備工作160
5.2 基本情況分析162
5.2.1 數據分布基本信息162
5.2.2 每日平均工單量分析165
5.2.3 來電時間分析166
5.2.4 工單類型分析167
5.3 利用詞雲圖展示工單內容171
5.3.1 工單分詞171
5.3.2 去除停用詞172
5.3.3 詞頻統計173
5.3.4 市民反映問題詞雲圖175
5.3.5 保存數據176
5.4 基於樸素貝葉斯的工單自動分類轉辦177
5.4.1 需求概述177
5.4.2 樸素貝葉斯模型的基本概念177
5.4.3 樸素貝葉斯文本分類算法的流程181
5.4.4 程序實現182
5.5 基於K-Means算法和PCA方法降維的熱點問題挖掘189
5.5.1 應用場景189
5.5.2 K-Means算法和PCA方法的基本原理189
5.5.3 熱點問題挖掘算法的流程193
5.5.4 程序實現194
5.6 本章小結205
第6章 決策樹信貸風險控制206
6.1 準備工作206
6.2 數據集基本情況分析209
6.2.1 查看數據大小和缺失情況209
6.2.2 繪制直方圖查看數據的分布情況211
6.2.3 繪制直方圖的3種方法212
6.2.4 通過箱型圖查看異常值的情況213
6.2.5 異常值和缺失值的處理217
6.2.6 使用小提琴圖展示預處理後的數據218
6.3 利用決策樹進行信貸數據建模219
6.3.1 決策樹原理簡介219
6.3.2 決策樹信貸建模流程225
6.3.3 利用scikit-learn庫實現決策樹風險控制算法226
6.3.4 模型優化231
6.4 本章小結233
第7章 利用深度學習進行垃圾圖片分類234
7.1 準備工作234
7.2 深度學習的基本原理237
7.2.1 CNN的基本原理237
7.2.2 Keras庫簡介240
7.3 利用Keras庫實現基於CNN的垃圾圖片分類241
7.3.1 算法流程241
7.3.2 數據預處理241
7.3.3 CNN模型實現247
7.4 優化CNN模型252
7.4.1 選擇優化器252
7.4.2 選擇損失函數254
7.4.3 調整模型256
7.4.4 圖片增強259
7.4.5 改變學習率263
7.5 模型應用265
7.6 本章小結268
第8章 協同過濾和矩陣分解推薦算法分析269
8.1 準備工作269
8.2 基於協同過濾算法的短視頻完播情況分析271
8.2.1 基於用戶的協同過濾算法的原理271
8.2.2 算法流程274
8.2.3 程序實現275
8.3 基於矩陣分解算法的短視頻完播情況預測283
8.3.1 算法原理283
8.3.2 利用Surprise庫實現SVD算法286
8.4 幾種方法在測試數據集中的表現289
8.5 本章小結291
第9章 《紅樓夢》文本數據分析292
9.1 準備工作292
9.1.1 編程環境292
9.1.2 數據情況簡介293
9.2 分詞294
9.2.1 讀取數據295
9.2.2 數據預處理298
9.2.3 分詞及去除停用詞306
9.2.4 制作詞雲圖307
9.3 文本聚類分析316
9.3.1 構建分詞TF-IDF矩陣317
9.3.2 K-Means聚類318
9.3.3 MDS降維320
9.3.4 PCA降維321
9.3.5 HC聚類323
9.3.6 t -SNE高維數據可視化325
9.4 LDA主題模型326
9.5 人物社交網絡分析332
9.6 本章小結338
附錄A 抓取數據請求頭查詢339
附錄B GraphViz庫的安裝方法341
附錄C 在Windows 10中安裝TensorFlow的方法343
參考文獻346
致射348

本書主要介紹大數據分析、人工智能的實戰應用。全書共9章，通過8個大型的數據分析案例，繫統地介紹常用的數據分析方法。這8個大型案例涉及數據可視化方法，回歸、聚類、決策樹、樸素貝葉斯等機器學習算法，以及深度學習算法等內容。各章程序在Python3.8.5環境下編寫完成，在案例編寫過程中，涉及Pandas、NumPy、Matplotlib等Python中常用的依賴庫，優選限度地幫助讀者掌握相關知識內容。每個案例之間相互獨立，讀者可以根據自己的興趣選擇相關章節進行學習。本書內容豐富，通俗易懂，以實操為目的幫助用戶快速掌握相關技能。書中案例程序全碼解析，注釋完備，在編程環境下經過簡單的修改便可以使用。本書不僅適合大數據分析、人工智能相關領域的入門讀者使用，也適合有一定基礎的讀者進行實戰時參考，同時適合本科生、研究生及對Python感興趣的讀者閱讀。作、利用深度學習技術對模型進行優化等內容。本書主要分等