第 1篇 數據采集 1
項目１ 了解數據采集 2
項目描述 2
知識準備 3
1.1 大數據 3
1.1.1 數據來源 3
1.1.2 數據類型 3
1.2 數據采集 4
1.2.1 數據采集的三大要求 4
1.2.2 數據采集方式 4
1.3 數據采集的應用行業 5
項目實施 “石頭剪刀布”圖像數據采集 6
1.4 實施思路 6
1.5 實施步驟 6
知識拓展 12
課後實訓 12
項目２ 了解網絡數據采集 14
項目描述 14
知識準備 15
2.1 網絡爬蟲的原理及流程 15
2.2 網頁結構：HTML 15
2.3 第三方庫：BeautifulSoup4 16
項目實施 爬取“石頭剪刀布”靜態頁面數據 17
2.4 實施思路 17
2.5 實施步驟 18
知識拓展 21
2.6 urllib 22
2.7 requests 22
課後實訓 23
項目３ 了解端側數據采集 24
項目描述 24
知識準備 24
3.1 端側數據采集概述 24
3.1.1 數據采集繫統 25
3.1.2 數字輸入 輸出模塊 25
3.1.3 模擬輸入 輸出模塊 25
3.1.4 數據采集卡 25
3.2 數據采集端側設備 25
3.2.1 圖像采集設備：CCD傳感器與CMOS傳感器 26
3.2.2 音頻采集設備：麥克風 27
3.3 端側數據采集方式 27
3.3.1 圖像采集 27
3.3.2 語音采集 28
3.4 EasyData智能數據服務平臺 28
項目實施 視頻抽幀數據采集 29
3.5 實施思路 29
3.6 實施步驟 29
知識拓展 31
課後實訓 32
項目４ 數據存儲與加載 33
項目描述 33
知識準備 34
4.1 數據編碼 34
4.1.1 圖像編碼 34
4.1.2 文本編碼 34
4.2 數據存儲格式 35
4.2.1 圖像數據存儲格式 35
4.2.2 文本數據存儲格式 36
4.3 數據加載及存儲 37
4.3.1 圖像數據加載及存儲 37
4.3.2 文本數據加載及存儲 38
項目實施 加載、操作並存儲Excel表格文件 39
4.4 實施思路 39
4.5 實施步驟 39
知識拓展 40
課後實訓 41
第 2篇 數據處理 42
項目５ 了解數據處理 43
項目描述 43
知識準備 43
5.1 數據處理工具 43
5.2 數據處理步驟 44
5.2.1 數據清洗 44
5.2.2 數據分析 45
5.2.3 數據可視化 45
5.3 數據處理行業應用 46
5.3.1 人臉識別 46
5.3.2 工業自動化 46
5.3.3 機器翻譯 46
5.3.4 醫療健康分析 47
項目實施 EasyData處理文本數據 47
5.4 實施思路 47
5.5 實施步驟 47
知識拓展 52
課後實訓 53
項目６ 圖像數據處理 54
項目描述 54
知識準備 54
6.1 圖像基礎知識 54
6.1.1 圖像的概念 55
6.1.2 圖像的存儲方式 55
6.2 圖像數據處理方法 55
6.2.1 圖像數據清洗 55
6.2.2 圖像數據分析 56
6.2.3 圖像數據可視化 56
6.3 Python庫介紹 56
6.3.1 OpenCV庫 56
6.3.2 Matplotlib庫 57
6.3.3 os庫 57
項目實施 “石頭剪刀布”圖像處理 58
6.4 實施思路 58
6.5 實施步驟 58
知識拓展 64
6.6 圖像水平翻轉 64
6.7 圖像垂直翻轉 66
6.8 圖像對角翻轉 66
課後實訓 67
項目７ 文本數據處理 68
項目描述 68
知識準備 68
7.1 文本數據處理的應用 68
7.2 文本數據處理方法 69
7.2.1 文本數據清洗 69
7.2.2 文本數據分析與可視化 72
項目實施 對話情感傾向分析 73
7.3 實施思路 73
7.4 實施步驟 74
知識拓展 80
7.5 正態分布圖法 80
7.6 聚類算法 80
課後實訓 80
第3篇 數據標注 82
項目８ 了解數據標注 83
項目描述 83
知識準備 83
8.1 數據標注的概念 83
8.2 數據標注的類型 84
8.3 數據標注的意義 84
8.4 數據標注在行業中的應用 84
8.4.1 智能交通 84
8.4.2 智能語音 85
8.4.3 智能金融 85
8.4.4 智能家居 86
8.4.5 電子商務 86
項目實施 標注“花卉識別”數據集 87
8.5 實施思路 87
8.6 實施步驟 87
知識拓展 92
8.7 數據標注的難題 92
8.8 數據標注的角色 93
課後實訓 93
項目９ 圖像數據標注 94
項目描述 94
知識準備 94
9.1 常見的圖像數據標注工具 94
9.2 常用的數據標注數據集 95
9.3 圖像數據標注質量標準 96
9.4 圖像數據標注的應用領域 96
9.4.1 自動駕駛領域 96
9.4.2 工業質檢領域 98
9.4.3 智能安防領域 98
項目實施 標注“垃圾分類”數據集 99
9.5 實施思路 99
9.6 實施步驟 99
知識拓展 102
課後實訓 103
項目10 文本數據標注 104
項目描述 104
知識準備 104
10.1 文本實體標注 104
10.2 文本情感分類標注 105
10.3 文本相似度標注 105
項目實施 標注“微博文本情感分類”數據集 105
10.4 實施思路 105
10.5 實施步驟 106
知識拓展 108
課後實訓 108
第4篇 深度學習應用實戰 110
項目11 深度學習圖像分類應用實戰 111
項目描述 111
知識準備 111
11.1 智能垃圾分類的行業背景 111
11.2 智能垃圾分類的流程 112
11.2.1 數據標注 112
11.2.2 模型訓練 114
11.3 智能垃圾分類的應用 115
項目實施 垃圾分類 116
11.4 實施思路 116
11.5 實施步驟 116
知識拓展 138
課後實訓 139
項目12 深度學習情感分析應用實戰 140
項目描述 140
知識準備 140
12.1 情感分析的行業背景 140
12.2 智能情感分析的流程 142
12.2.1 數據準備 142
12.2.2 數據處理 142
12.2.3 數據標注 143
12.2.4 模型訓練 143
項目實施 情感分析 144
12.3 實施思路 144
12.4 實施步驟 144
知識拓展 159
課後實訓 160