●章 數據革命 1.1 數據生成 1.2 Spark 1.2.1 Spark Core 1.2.2 Spark組件 1.3 設置環境 1.3.1 Windows 1.3.2 iOS 1.4 小結 第2章 機器學習簡介 2.1 有監督機器學習 2.2 無監督機器學習 2.3 半監督機器學習 2.4 強化學習 2.5 小結 第3章 數據處理 3.1 加載和讀取數據 3.2 添加一個新列 3.3 篩選數據 3.3.1 條件 3.3.2 條件 3.4 列中的非重復值 3.5 數據分組 3.6 聚合 3.7 用戶自定義函數(UDF) 3.7.1 傳統的Python函數 3.7.2 使用lambda函數 3.7.3 Pandas UDF(向量化的UDF) 3.7.4 Pandas UDF(多列) 3.8 去掉重復值 3.9 刪除列 3.10 寫入數據 3.10.1 csv 3.10.2 嵌套結構 3.11 小結 第4章 線性回歸 4.1 變量 4.2 理論 4.3 說明 4.4 評估 4.5 代碼 4.5.1 數據信息 4.5.2 步驟1：創建SparkSession對像 4.5.3 步驟2：讀取數據集 4.5.4 步驟3：探究式數據分析 4.5.5 步驟4：特征工程化 4.5.6 步驟5：劃分數據集 4.5.7 步驟6：構建和訓練線性回歸模型 4.5.8 步驟7：在測試數據上評估線性回歸模型 4.6 小結 第5章 邏輯回歸 5.1 概率 5.1.1 使用線性回歸 5.1.2 使用Logit 5.2 截距(回歸繫數) 5.3 虛變量 5.4 模型評估 5.4.1 正確的正面預測 5.4.2 正確的負面預測 5.4.3 錯誤的正面預測 5.4.4 錯誤的負面預測 5.4.5 準確率 5.4.6 召回率 5.4.7 精度 5.4.8 F1分數 5.4.9 截斷/閾值概率 5.4.10 ROC曲線 5.5 邏輯回歸代碼 5.5.1 數據信息 5.5.2 步驟1：創建Spark會話對像 5.5.3 步驟2：讀取數據集 5.5.4 步驟3：探究式數據分析 5.5.5 步驟4：特征工程 5.5.6 步驟5：劃分數據集 5.5.7 步驟6：構建和訓練邏輯回歸模型 5.5.8 訓練結果 5.5.9 步驟7：在測試數據上評估線性回歸模型 5.5.10 混淆矩陣 5.6 小結 第6章 隨機森林 6.1 決策樹 6.1.1 熵 6.1.2 信息增益 6.2 隨機森林 6.3 代碼 6.3.1 數據信息 6.3.2 步驟1：創建SparkSession對像 6.3.3 步驟2：讀取數據集 6.3.4 步驟3：探究式數據分析 6.3.5 步驟4：特征工程 6.3.6 步驟5：劃分數據集 6.3.7 步驟6：構建和訓練隨機森林模型 6.3.8 步驟7：基於測試數據進行評估 6.3.9 準確率 6.3.10 精度 6.3.11 AUC曲線下的面積 6.3.12 步驟8：保存模型 6.4 小結 第7章 推薦繫統 7.1 推薦 7.1.1 基於流行度的RS 7.1.2 基於內容的RS 7.1.3 基於協同過濾的RS 7.1.4 混合推薦繫統 7.2 代碼 7.2.1 數據信息 7.2.2 步驟1：創建SparkSession對像 7.2.3 步驟2：讀取數據集 7.2.4 步驟3：探究式數據分析 7.2.5 步驟4：特征工程 7.2.6 步驟5：劃分數據集 7.2.7 步驟6：構建和訓練推薦繫統模型 7.2.8 步驟7：基於測試數據進行預測和評估 7.2.9 步驟8：推薦活動用戶可能會喜歡的排名靠前的電影 7.3 小結 第8章 聚類 8.1 初識聚類 8.2 用途 8.2.1 K-均值 8.2.2 層次聚類 8.3 代碼 8.3.1 數據信息 8.3.2 步驟1：創建SparkSession對像 8.3.3 步驟2：讀取數據集 8.3.4 步驟3：探究式數據分析 8.3.5 步驟4：特征工程 8.3.6 步驟5：構建K均值聚類模型 8.3.7 步驟6：聚類的可視化 8.4 小結 第9章 自然語言處理 9.1 引言 9.2 NLP涉及的處理步驟 9.3 語料 9.4 標記化 9.5 移除停用詞 9.6 詞袋 9.7 計數向量器 9.8 TF-IDF 9.9 使用機器學習進行文本分類 9.10 序列嵌入 9.11 嵌入 9.12 小結