目錄


學習目標1

相關知識1

1.大數據分析的概念1

2.大數據分析的產生與發展過程2

3.大數據分析的應用場景3

4.大數據分析流程4

5.傳統的分析統計工具9

6.大數據處理編程語言9

7.大數據分析實用工具10

任務實現11

任務1.1根據業務需求選擇合適的大數據分析技術11

1.1.1業務需求分析11

1.1.2選擇大數據分析技術12

任務1.2使用 pip和Pycharm完成 Python包的管理13

1.2.1了解Python常用庫13

1.2.2使用pip命令安裝、卸載Python包14

1.2.3使用Pycharm平臺安裝、卸載Python包16

思政園地19


課後習題20




學習目標22

相關知識22

1.NumPy與ndarray對像22

2.創建ndarray數組的函數23

3.ndarray對像的數據類型23

4.數組的矢量化運算24

5.廣播機制25

6.數組與標量的運算26

7.NumPy通用函數26

8.NumPy的統計與排序方法27

9.NumPy的numpy.linalg模塊29

任務實現29

任務2.1保存考試成績—創建一個數組29

2.1.1使用函數創建數組29

2.1.2掌握隨機數模塊的使用32

任務2.2查看考試成績數據類型—查看數組的數據類型35

2.2.1查看數據類型35

2.2.2實現數據類型轉換36

任務2.3對兩門課成績進行相加—實現數組運算37

2.3.1實現矢量化運算37

2.3.2實現數組廣播38

2.3.3實現數組與標量間的運算39

任務2.4對考試成績進行計算—使用NumPy通用函數實現數組計算39

2.4.通用函數的使用40

2.4.通用函數的使用40

任務2.5對考試成績進行統計排序—利用NumPy數組進行數據處理42

2.5.1變換數組的形態42

2.5.2實現數組統計44

2.5.3實現數組排序47

任務2.6對多門課成績進行計算—使用NumPy的線性代數模塊處理矩陣49

2.6.1計算素和49

2.6.2實現矩陣乘法49

思政園地50


課後習題51


學習目標53

相關知識53

1.Pandas與Pandas的數據類型53

2.創建Series和DataFrame的函數55

3.索引與切片56

4.排序算法與實現排序的方法56

5.統計學與實現統計的方法56

任務實現57

任務3.1用不同方式創建繫列——創建Series57

3.1.1創建一個空的Series57

3.1.2使用ndarray對像創建一個Series58

3.1.3使用字典創建一個Series58

3.1.4使用標量創建一個Series59

任務3.2用不同方式創建數據幀——創建DataFrame59

3.2.1使用字典創建數據幀59

3.2.2使用csv文件創建DataFrame62

3.2.3在DataFrame中插入列和行63

任務3.3訪問和提取隨機數據——使用DataFrame進行索引與切片65

3.3.1使用索引訪問數據65

3.3.2使用切片提取部分數據66

任務3.4對學生數據進行排序—實現數據排序67

3.4.1使用sort、sort_index、sort_values實現數據排序67

3.4.2控制排序順序69

3.4.3設置排序算法71

任務3.5進行隨機數據統計—實現數據統計72

3.5.1使用Pandas的統計方法進行統計72

3.5.2使用describe方法描述數據76

思政園地77


課後習題78



目錄


學習目標80

相關知識80

1.常用的數據文件類型80

2.文本文件讀取和寫入81

3.Excel文件讀取和寫入83

4.數據庫文件讀取和寫入85

任務實現88

任務4.1讀取並存儲城市經緯度數據-txt文件讀寫88

4.1.1讀取txt文件中數據89

4.1.2將數據寫入txt文件91

任務4.2讀取並存儲招聘數據-csv文件的讀寫92

4.2.1讀取csv文件數據93

4.2.2將數據寫入csv文件94

任務4.3讀取並存儲用戶數據-Excel文件的讀寫96

4.3.1讀取Excel文件工作表數據96

4.3.2將數據寫入Excel文件的工作表中96

任務4.4讀取商品類別數據並存儲賬戶數據-MySQL數據庫讀寫96

4.4.1連接MySQL數據庫96

4.4.2從MySQL數據庫讀取數據96

4.4.3存儲數據到MySQL數據庫96

思政園地96


課後習題96



目錄


學習目標110

相關知識110

1.企業數據管理現狀110

2.數據標準111

3.數據質量的定義111

4.常用的數據質量檢測手段113

5.數據質量管理的必要性113

6.缺失值114

7.重復值115

8.異常值117

任務實現120

任務5.1醫藥銷售數據遺漏檢查-缺失值處理120

5.1.1發現缺失值121

5.1.2處理缺失值123

任務5.2醫藥銷售數據去重校驗-重復值處理125

5.2.1重復值判斷和查看125

5.2.2處理記錄重復值126

5.2.3處理特征重復值127

任務5.3醫藥銷售數據異常值排除-異常值處理130

5.3.1異常值識別131

5.3.2異常值處理132

思政園地133


課後習題134




學習目標136

相關知識136

1.concat()函數136

2.append()方法138

3.merge()函數138

4.join()方法141

5.combine_first()方法142

6.map()方法143

7.cut()函數143

8.qcut()函數144

任務實現145

任務6.1堆疊學生信息和考試成績數據—實現數據堆疊145

6.1.1實現數據橫向堆疊145

6.1.2實現數據縱向堆疊146

任務6.2連接學生信息和考試成績數據—實現數據連接148

6.2.1使用merge()函數實現數據連接148

6.2.2使用join()方法實現數據連接150

6.2.3使用combine_first()方法重疊合並數據151

任務6.3對學生考試成績進行等級轉換—實現數據映射轉換152

6.3.1使用自定義函數映射轉換數據152

6.3.2使用字典映射轉換數據153

6.3.3使用lambda表達式映射轉換數據154

任務6.4對學生考試成績進行離散化—實現數據離散化155

6.4.1實現數據等寬離散化155

6.4.2實現數據等頻離散化156

思政園地157


課後習題158




學習目標160

相關知識160

1.數據分組的概念160

2.GroupBy機制161

3.數據分組的原則和依據161

4.數據分組的方法與體繫162

5.數據聚合的概念163

6.agg和aggregate函數163

7.apply函數163

8.transform函數163

任務實現164

任務7.1簡單數據表處理-數據分組164

7.1.1數據分組方法164

7.1.2實現Pandas 數據分組166

任務7.2人員得分表處理-數據聚合172

7.2.1實現agg聚合172

7.2.2實現apply聚合175

7.2.3實現transform聚合179

思政園地181


課後習題182


學習目標184

相關知識184

1.機器學習的概念184

2.機器學習的基本術語185

3.機器學習的分類與應用185

4.假設空間185

5.歸納偏好186

6.Sklearn187

7.劃分數據集函數188

8.preprocessing模塊189

9.標準化和歸一化190

10.降維190

11.線性回歸191

12.邏輯回歸192

13.K-means算法194

14.樸素貝葉斯195

15.支持向量機算法198

任務實現201

任務8.1使用sklearn處理iris數據集—使用sklearn處理數據201

8.1.1導入數據集201

8.1.2劃分訓練集和測試集202

任務8.2boston數據集預處理和降維—數據集預處理202

8.2.1實現數據標準化202

8.2.2實現數據歸一化202

8.2.3實現PCA降維202

任務8.3構建並評價boston回歸模型—回歸模型分析與預測202

8.3.1實現線性回歸202

8.3.2實現支持向量機算法202

任務8.4構建並評價iris分類模型—分類模型分析與預測202

8.4.1實現邏輯回歸分類202

8.4.2實現樸素貝葉斯算法202

任務8.5構建並評價iris聚類模型—聚類模型分析與評價202

8.5.1實現K-means算法202

8.5.2評價K-means算法202

思政園地202


課後習題202


學習目標225

相關知識225

1.數據可視化的概念225

2.數據可視化設計過程226

3.基本圖表類型及使用場景227

4.pyplot基礎語法229

5.rc參數230

6.繪制線圖的函數plot231

7.繪制柱狀圖的函數bar232

8.繪制直方圖的函數hist232

9.繪制餅圖的函數pie233

10.繪制散點圖的函數scatter233

11.子圖的概念234

12.Seaborn235

任務實現236

任務9.1使用線圖展示水果銷量變化曲線—掌握matplotlib基礎語法236

9.1.1掌握pyplot基礎語法236

9.1.2設置pyplot的動態rc參數237

任務9.2使用常用圖表展示多個品牌汽車銷售額—繪制常見圖表239

9.2.1繪制線圖239

9.2.2繪制柱狀圖241

9.2.3繪制直方圖243

9.2.4繪制餅圖244

9.2.5繪制散點圖246

任務9.3使用子圖展示就業率數據—創建子圖248

9.3.1數據分析與子圖設計249

9.3.2實現子圖的創建250

任務9.4使用Seaborn展示汽車數據的分布與相關性—使用Seaborn繪制圖表252

9.4.1使用Seaborn繪制直方圖252

9.4.2使用Seaborn繪制熱力圖253

思政園地255


課後習題256


任務10.1案例背景概述258

10.1.1項目目標258

10.1.2相關背景業務知識258

10.1.3數據采集和理解258

任務10.2電力數據預處理259

10.2.1按賬戶和日期排序260

10.2.2統計每個賬戶每個月各種賬戶活動發生的數量261

10.2.3計算當月月底的賬戶餘額262

10.2.4計算當月月底賬戶餘額，按下月10日前計算的賬戶餘額263

10.2.5計算每個賬戶每個月的用電量和繳費量264

10.2.6合並整理為新的用戶繳費明細和用電量明細表265

10.2.7數據中空值的處理265

任務10.3模型建立與評估265

10.3.1數據特征的轉換265

10.3.2邏輯回歸模型建立與評估265

10.3.3支持向量機模型建立與評估265


任務11.1案例背景概述275

11.1.1項目目標275

11.1.2相關背景知識275

11.1.3實驗準備276

任務11.2文本數據準備與處理277

11.2.1讀入數據與基本處理277

11.2.2創建停用詞277

11.2.3找出章節的頭部索引和尾部索引277

11.2.4繪制章節段數與字數折線圖278

任務11.3文本分詞與詞雲繪制278

11.3.1全文分詞278

11.3.2統計詞頻與長度279

11.3.3繪制高頻詞圖279

11.3.4詞雲繪制280

任務11.4關繫網絡探索280

11.4.1計算段落權重280

11.4.2繪制人物關繫圖282

任務11.5聚類分析283

11.5.1計算tf-idf得到詞向量矩陣283

11.5.2獲得所有特征項284

11.5.3k均值聚類284

11.5.4聚類結果可視化285

11.5.5層次聚類285


任務12.1案例背景概述287

12.1.1項目目標287

12.1.2相關背景知識287

任務12.2原始數據預處理287

12.2.1數據的載入288

12.2.2站點信息處理289

12.2.3地鐵刷卡記錄處理290

12.2.4合並通勤記錄291

12.2.5虛擬換乘站點數據合並292

任務12.3詞雲圖的繪制295

12.3.1載入數據295

12.3.2設置文字雲圖各項參數296

12.3.3繪制詞雲圖296

任務12.4繪制起終點分布連線圖296

12.4.1載入數據296

12.4.2統計頻數並篩選296

12.4.3完成繪圖296

任務12.5繪制早高峰地鐵刷卡進出站分布圖296

12.5.1載入數據296

12.5.2統計出入站的頻次296

12.5.3設置圖形選項參數並畫圖296

任務12.6職住地識別與城市規劃對比分析296

12.6.1載入數據296

12.6.2統計居住地和工作地的出入站頻次296

12.6.3進行區域中心分析296

任務13.1案例背景概述312

13.1.1項目目標312

13.1.2相關背景知識312

任務13.2網絡數據爬取312

13.2.1查看要爬取的網頁結構312

13.2.2提取此網頁中的新聞標題313

任務13.3中文文本處理314

13.3.1中文分詞315

13.3.2將分詞後得到的詞組轉換為向量316

任務13.4機器學習做情感分析318

13.4.1樣本拆分318

13.4.2模型訓練與評價318

任務13.5作詞雲圖321

13.5.1載入數據321

13.5.2分詞321

13.5.3繪制詞雲圖322