●目 錄 第1章 Python大數據開發入門11.1 大數據工程師推薦技能11.2 Python開發環境51.2.1 Windows環境51.2.2 Linux環境71.2.3 Docker環境101.3 Python開發工具161.3.1 Python命令行環境161.3.2 Jupyter環境181.4 Python數據類型231.4.1 數值241.4.2 字符串241.4.3 列表251.4.組261.4.5 集合261.4.6 字典271.5 Python函數和類271.5.1 定義和使用函數281.5.2 lambda匿名函數281.5.3 類和繼承281.6 Python常用庫291.6.1 Python內置庫291.6.2 Python圖形圖像處理301.6.3 Python自然語言處理311.6.4 Python數據分析和處理321.6.5 Python機器學習331.7 Python技巧341.7.1 Python程序調試341.7.2 去掉警告信息351.7.3 制作和導入模塊361.7.4 異常處理371.8 Python常見問題38第2章 科學計算Numpy402.1 多維數組402.1.1 創建數組402.1.2 訪問數組422.1.3 修改數組432.2 素運算442.2.1函數442.2.2函數452.2.3 廣播462.2.4 自定義ufunc函數47 2.3 常用函數482.3.1 分段函數482.3.2 統計函數492.3.3 組合與分割512.3.4 矩陣與二維數組522.3.5 其他常用函數54第3章 數據操作Pandas553.1 數據對像553.1.1 Series對像553.1.2 DataFrame對像573.1.3 Index對像603.2 數據存取633.2.1 訪問素633.2.2 修改素663.3 分組運算683.3.1 分組693.3.2 聚合703.3.3 轉換713.3.4 過濾723.3.5 應用723.4 日期時間處理733.4.1 Python日期時間處理733.4.2 Pandas日期時間處理753.4.3 時間序列操作763.4.4 數據重排84第4章 數據可視化864.1 Matplotlib繪圖庫874.1.1 準備工作874.1.2 散點圖與氣泡圖884.1.3 線圖90 4.1.4 柱圖924.1.5 餅圖954.1.6 箱線圖和小提琴圖964.1.7 三維圖974.1.8 Matplotlib繪圖區域1004.1.9 文字顯示問題1034.1.10 導出圖表1044.1.11 Matplotlib技巧1054.2 Seaborn高級數據可視化1074.2.1 準備工作1074.2.2 連續變量相關圖1084.2.3 分類變量圖1094.2.4 回歸圖1134.2.5 多圖組合1154.2.6 熱力圖1184.2.7 印刷品作圖1194.3 PyEcharts交互圖1194.3.1 ECharts1194.3.2 準備工作1204.3.3 繪制交互圖1204.3.4 在網頁中顯示圖123第5章 獲取數據1255.1 讀寫文件1265.1.1 讀寫文本文件1265.1.2 寫日志文件1275.1.3 讀寫XML文件1285.1.4 讀寫Json文件1305.1.5 讀寫CSV文件1315.1.6 讀寫PKL文件1325.1.7 讀寫HDF5文件1335.1.8 讀寫Excel文件134 5.2 讀寫數據庫1355.2.1 數據庫基本操作1365.2.2 Python存取MySQL數據庫1385.2.3 Python存取SQL Server數據庫1405.2.4 Python存取Sqlite數據庫1435.2.5 Python存取Dbase數據庫1435.3 讀寫數據倉庫1445.3.1 讀取ElasticSearch數據1445.3.2 讀取S3雲存儲數據1465.3.3 讀取Hive數據1485.4 獲取網絡數據1515.4.1 從網絡接口讀取數據1515.4.2 抓取網站數據1525.4.3 使用 T方法抓取數據1535.4.4 轉換HTML文件1535.5 選擇數據存儲方式154第6章 數據預處理1556.1 數據類型識別與轉換1556.1.1 基本類型轉換1566.1.2 數據類型識別1576.2 數據清洗1586.2.1 缺失值處理1586.2.2 異常值處理1606.2.3 去重處理1626.3 數據歸約1636.3.1 經驗篩選特征1636.3.2 統計學方法篩選特征1636.3.3 模型篩選特征1646.3.4 數學方法降維1656.4 數據抽樣1666.4.1 簡單隨機抽樣1676.4.2 繫統抽樣1686.4.3 分層抽樣1686.4.4 整群抽樣1686.5 數據組合1696.5.1 merge函數1696.5.2 concat函數1706.6 特征提取1716.6.1 數值型特征1716.6.2 分類型特征1716.6.3 字符型特征172第7章 數據分析1757.1 入門實例1757.2 假設檢驗1777.2.1 基本概念1777.2.2 假設檢驗的步驟1787.2.3 統計分析工具1787.3 參數檢驗與非參數檢驗1797.3.1 正態性檢驗1797.3.2 方差齊性檢驗1817.3.3 分析檢驗結果1827.4 T檢驗1827.4.1 單樣本T檢驗1827.4.2 獨立樣本T檢驗183 7.4.3 配對樣本T檢驗1837.5 方差分析1847.6 秩和檢驗1857.7 卡方檢驗1867.8 相關性分析1877.8.1 圖形描述相關性1887.8.2 正態資料的相關分析1897.8.3 非正態資料的相關分析1907.9 變量分析1907.9.1 單變量分析1907.9.2 多變量分析1917.10 TableOne工具1937.11 統計方法總結194第8章 機器學習基礎知識1968.1 基本概念1968.1.1 深度學習、機器學習、人工智能1978.1.2 有監督學習、無監督學習、半監督學習1978.1.3 訓練集、驗證集、測試集1988.1.4 過擬合與欠擬合1988.1.5 常用術語1998.2 評價模型1998.2.1 方差、協方差、協方差矩陣2008.2.2 距離與範數2048.2.3 回歸效果評估2078.2.4 分類效果評估210第9章 機器學習模型與工具2169.1 基於距離的算法2179.1.1 K近鄰算法2179.1.2 聚類算法2199.2 線性回歸與邏輯回歸2219.2.1 線性回歸2229.2.2 邏輯回歸2259.3 支持向量機2269.4 信息熵和決策樹2309.4.1 信息量和熵2319.4.2 決策樹2349.5 關聯規則2369.5.1 Apriori關聯規則2379.5.2 FP-Growth關聯分析2409.6 貝葉斯模型2429.6.1 貝葉斯公式2429.6.2 樸素貝葉斯算法2449.6.3 貝葉斯網絡2489.7 隱馬爾可夫模型2509.8 集成算法254第10章 模型選擇與相關技術25910.1 數據準備與模型選擇25910.1.1 預處理25910.1.2 選擇模型26010.2 自動機器學習框架26310.2.1 框架原理26310.2.2 Auto-Sklearn26410.2.3 Auto-ML26610.2.4 Auto-Keras267 10.3 自然語言處理26910.3.1 分詞工具26910.3.2 TF-IDF27110.4 建模相關技術27410.4.1 切分數據集與交叉驗證27410.4.2 模型調參27610.4.3 學習曲線和驗證曲線27910.4.4 保存模型282第11章 大數據競賽平臺28311.1 定義問題28311.1.1 強人工智能與弱人工智能28411.1.2 Datathon競賽28511.2 算法競賽28611.2.1 大數據競賽平臺優勢28711.2.2 Kaggle大數據平臺28811.2.3 實戰泰坦尼克號幸存問題28811.2.4 國內大數據平臺29411.2.5 賽題選擇29411.2.6 比賽注意事項295第12章 決策問題：幸福感挖掘29612.1 賽題解讀29612.2 模型初探29712.3 模型調優29912.3.1 模型粗調29912.3.2 模型精調30012.4 模型輸出30512.4.1 顯示決策樹30512.4.2 特征重要性30612.5 XGBoost模型30712.5.1 XGBoost參數分析30712.5.2 XGBoost原理解析30812.5.3 XGBoost源碼分析312第13章 遷移學習：貓狗圖片分類31713.1 深度學經網絡31713.1.1 深度學習31813.1.2 卷積神經網絡31913.1.3 卷積神經網絡發展史32113.2 使用現有的神經網絡模型32113.3 遷移學習32213.4 解決貓狗分類問題32313.4.1 數據及代碼結構32313.4.2 提取特征32413.4.3 訓練模型和預測32513.4.4 訓練結果分析32613.4.5 代碼下載327第14章 圖像分割：識別圖中物體32814.1 Mask R-CNN算法32914.1.1 R-CNN32914.1.2 SPP Net33014.1.3 Fast R-CNN33014.1.4 Faster R-CNN33114.1.5 Mask R-CNN33214.2 Mask R-CNN源碼解析33214.2.1 安裝工具33214.2.2 源碼結構33314.3 訓練模型與預測33414.3.1 制作訓練數據33514.3.2 訓練模型和預測33814.3.3 建模相關問題344第15章 時間序列分析34615.1 時序問題處理流程34615.1.1 分析問題34615.1.2 解決思路34715.2 趨勢分析工具ARIMA34915.2.1 相關概念34915.2.2 模型示例35315.3 傅裡葉和小波變換35715.3.1 傅裡葉變換35815.3.2 小波變換36015.4 Prophet時序模型36115.4.1 模型介紹36215.4.2 獲取數據36215.4.3 模型示例363第16章 自然語言處理：互動預測36716.1 賽題分析36716.1.1 數據分析36816.1.2 評價函數36916.1.3 目標變量分布37016.1.4 發博用戶統計37116.1.5 特殊用戶分析37116.1.6 整體分析37216.2 中文分析37216.2.1 正則表達式37316.2.2 自動提取關鍵詞376

本書結合作者十餘年軟件開發、繫統架構、算法實戰及培訓經驗，致力於繫統地闡釋Python大數據和機器學習技術。從數據的采集、存儲、清洗；到建立模型、統計分析；最終用前端程序呈現給用戶的數據展示；以及後臺的繫統服務支持。結合了Python數據工具使用、算法原理、以及典型實例各個層面，希望讀者通過對本書的閱讀，少走彎路，以最小的學習成本得到優選的知識收益。

謝彥 著