第1章  大數據基本概念及其應用00

1.1  大數據應用概況00

1.1.1  大數據的定義00

1.1.2  大數據的特點00

1.1.3  大數據的結構00

1.1.4  相關技術00

1.1.5  現狀與趨勢00

1.2  大數據處理步驟00

1.2.1  數據獲取00

1.2.2  數據存儲00

1.2.3  數據管理00

1.2.4  數據分析0

1.3  應用案例0

1.3.1  商品推薦服務0

1.3.2  公共信息服務0

1.3.3  數據呈現服務0

第2章  數據獲取0

2.1  格式轉換與數據清洗整理0

2.2  網頁數據獲取0

2.2.1  八爪魚采集原理與安裝0

2.2.2  模板采集任務0

2.2.3  自定義采集模式0

第3章  數據分析入門0

3.1  Weka簡介與數據預處理0

3.1.1  軟件下載 0

3.1.2  文件與數據格式0

3.1.3  Weka程序界面0

3.1.4  數據預處理0

3.2  數據分類0

3.2.1  J48決策樹分類器0

3.2.2  LinearRegression分類器0

3.2.3  M5P分類器0

3.3  數據聚類0

3.3.1  SimpleKMeans聚類器0

3.3.2  EM聚類器0

3.3.3  DBSCAN聚類器0

3.4  數據關聯0

3.4.1  關聯規則相關概念0

3.4.2  Apriori算法介紹0

3.4.3  Weka中Apriori關聯規則挖掘0

3.5  選擇屬性0

3.5.1  屬性選擇概述0

3.5.2  Weka中Select attributes標簽頁0

3.5.3  選擇屬性模式介紹0

3.5.4  Weka中選擇屬性操作示例0

3.6  數據可視化0

3.6.1  Visualize標簽頁0

3.6.2  數值型類別屬性可視化0

第4章  數據分析進階0

4.1  貝葉斯網絡0

4.1.1  貝葉斯公式簡介0

4.1.2  貝葉斯網絡簡介

4.1.3  創建貝葉斯網絡

4.1.4  使用貝葉斯網絡進行推理

4.2  神經網絡

4.2.1  神經網絡介紹

4.2.2  Weka神經網絡選項設置

4.2.3  編輯神經網絡

4.2.4  神經網絡參數調整

4.3  時間序列分析及預測

第5章  Tableau數據可視化

5.1  Tableau概述與入門

5.1.1  概述

5.1.2  下載與安裝

5.1.3  數據類型

5.1.4  Tableau Desktop軟件界面

5.1.5  文件類型

5.2  初級可視化分析

5.2.1  條形圖

5.2.2  直方圖

5.2.3  餅圖

5.2.4  折線圖

5.2.5  壓力圖

5.2.6  樹地圖

5.2.7  氣泡圖

5.3  地圖分析

5.3.1  認識地圖

5.3.2  創建地圖

5.4  高級數據操作

5.4.1  分層結構

5.4.2  組

5.4.3  集

5.4.4  參數

5.4.5  計算字段

5.5  分析圖表整合

5.6  案例一： 無錫市宜居時間分析

5.6.1  創建計算字段

5.6.2  空氣質量

5.6.3  氣溫

5.6.4  宜居時間

5.6.5  制作儀表板

5.7  案例二： 佛山市納稅企業增長情況分析

5.7.1  創建字段

5.7.2  預測

5.7.3  剖析行業

5.7.4  剖析區域

5.7.5  制作儀表板

5.7.6  分析

第6章  數據分析拓展

6.1  數據分析拓展引言

6.1.1  研究背景及實驗數據

6.1.2  研究方法

6.2  k近鄰算法

6.2.1  k近鄰算法的基本原理

6.2.2  Weka中k近鄰算法(kNN)應用實踐

6.3  支持向量機

6.3.1  支持向量機算法基本原理

6.3.2  Weka中SVM算法應用實踐

6.4  邏輯回歸算法

6.4.1  邏輯回歸算法基本原理

6.4.2  Weka中的邏輯回歸算法應用實踐

6.5  隨機森林算法

6.5.1  隨機森林算法基本原理

6.5.2  Weka中的隨機森林算法應用實踐

6.6  模型性能評估(一)

6.7  模型性能評估(二)

第7章  數據思維

7.1  數據分析基礎

7.1.1  相關概念

7.1.2  數據分析可以幫用戶做什麼

7.1.3  如何做有效的數據分析

7.2  數據分析思維、過程和方法

7.2.1  數據分析思維

7.2.2  數據分析過程

7.2.3  數據分析方法

7.2.4  數據分析結果展示

參考文獻

數字時代已經來臨。移動互聯網、雲計算、大數據、人工智能、物聯網等先進信息技術層出不窮，不斷滲透至社會的各個領域，產生了許多新的應用場景，深刻地改變著人們的社交方式、生活方式和工作方式。

數字時代要求有新的教育，新工科、新醫科、新農科、新文科的概念應運而生。*高教司司長吳岩指出，高等教育創新發展勢在必行，要全面推進新工科、新醫科、新農科、新文科建設。在推進新工科、新醫科、新農科、新文科建設中，普及大數據基礎教育非常有必要，但在各個專業的傳統教學體繫中缺乏此類課程和資源。為此，我們於2017年著手開發入門級的
“大數據工具應用”在線開放課程。該課程首期成果於2018年初在智慧樹平臺上線，2018年底面向全國開放共享。經過約兩年的逐步建設和完善，該課程構建了教學視頻、教學PPT、題庫、實驗報告、實驗數據以及補充學習材料等豐富的教學資源。截至2020年4月，使用該課程的高校超過百所，累計學員超過1.6萬人，課程獲得各高校師生的一致好評。為了方便大家學習，達到更好的學習效果，課程教學團隊集中力量編撰了本書，作為“大數據工具應用”課程的配套教材。本書的出版是
“大數據工具應用”課程建設的又一個重要成果。

“大數據工具應用”課程以講授大數據基礎知識和工具應用為使命，力圖構建一門新的大數據入門學習課程。課程包括7章，涵蓋數據獲取、數據挖掘、數據呈現和數據思維等內容。課程立足應用入門，強調工具操作，突出案例教學。通過本課程的學習，學生們能夠掌握一定的數據獲取、分析與呈現技能，初步建立數據思維的概念。具體而言，本課程具有以下特色。
1. 屬於新工科類課程
本課程講授新興的信息技術，圍繞大數據的基礎知識和工具應用進行課程建設和開發。學習本課程，學生將能拓展所學專業的知識邊界，獲得一定的大數據知識與技能，建立數據思維的概念。在大數據時代，向各個專業推出此類新工科課程極富意義。
2. 強調工具應用
本課程是一門工具慕課。在數據獲取部分引入爬蟲工具八爪魚； 數據挖掘部分引入開源工具Weka； 數據呈現部分引入商業工具Tableau。這三個工具皆是易獲取的主流軟件。教學中力圖將理論與實踐相結合，講解和演示如何基於所學理論使用工具去解決實際問題。工具應用是理論與實踐之間的紐帶，強調動手操作是課程學習的關鍵。此外，通過線上教學視頻呈現老師們的演示操作，學生們能夠無限次觀看學習，彌補了線下教學演示難以多次重復的不足。
3. 低門檻學習要求
現有的大數據課程往往要求學生具有一定的編程和算法基礎，門檻較高，很多學生難於入門。為此，本課程盡量降低學習門檻，學習先決條件僅為熟練使用Word和Excel，教學實施期間無編程要求。課程的低門檻使得各類學生能夠容易踏入大數據之門，揭開大數據的神秘面紗，領略大數據的美妙。

本書由鐘雪靈教授和郭藝輝博士擔任主編，與侯昉博士（繫統分析師）、劉曉慶副教授、黃承慧博士（繫統分析師）和彭詩力博士（繫統分析師）一道編撰。各章內容編寫的具體分工如下： 侯昉
編寫第1、2章和3.1節~3.3節； 劉曉慶編寫3.4節~3.6節和第7章； 黃承慧
編寫第4章； 鐘雪靈編寫第5章； 郭藝輝編寫6.1節~6.3節； 彭詩力
編寫6.4節~6.6節。全書由鐘雪靈和郭藝輝定稿。

本課程得到了多方人士的大力支持和幫助。廣東金融學院李建軍書記積極推動具有我校特色的在線工具課程群開發，王醒男副
校長針對應用型人纔能力培養提出工具課程作為抓手。兩位領導作為我校應用型人纔工具課程建設的布局者，為本課程成功上線與持續建設創造了良好的環境。學校實驗教學中心王小燕主任作為工具課程建設的負責人，是我們課程團隊的領路人。在此向各位領導表示衷心的感謝！除了本書的作者外，課程團隊成員溫聰源高級實驗師、朱彪先生、何志鋒博士和謝添德老師為課程的建設和運行積極奉獻自己的智慧。智慧樹網的方一蛟先生、鄧利鵬小姐、秦月小姐、肖茹丹小姐、林鵬飛先生和申文斌先生為課程的建設和運行做了大量的工作。清華大學出版社
為本書的順利出版也付出良多。在此向為“大數據工具應用”課程付出辛勤勞動的朋友們表示衷心的感謝！

鐘雪靈

2020年4月12日於廣州