本書可以作為本科院校視頻圖像處理技術相關課程的教材，也可以作為相關領域工程技術人員的參考手冊。

視頻圖像技術是人工智能、計算機科學、光學、電子信息等領域的基礎技術，相關的原理知識涉及面較廣，應用性很強。本書基於視頻圖像技術的基本原理、相關設備、算法和應用等內容編寫，主要分為三部分。第一部分為視頻圖像技術原理與設備操作，主要介紹視頻信號“采-傳-存-顯-控”的基本原理；第二部分為視頻圖像智能化分析算法與工程實踐，涵蓋經典算法和基於深度學習的主流算法，包括視頻圖像數據預處理、圖像增強、圖像分割、圖像分類、運動目標檢測、目標檢測與識別、運動目標跟蹤、雙目視覺測距、圖像無縫拼接、圖像三維重建，其中不乏計算機視覺技術的應用；第三部分為視頻圖像技術基礎開發環境的搭建，主要介紹視頻圖像技術常用的編程語言，為讀者實現各種視頻圖像技術提供快速的編程指導和環境配置方法，包括MATLAB編程基礎、OpenCV編程基礎、Python編程基礎和面向深度學習的智能化圖像處理環境搭建。本書每章都按照“學習目的、實踐內容、準備材料、預備知識、實踐步驟”的結構進行編寫，旨在使讀者快速掌握並應用視頻圖像技術，能夠圍繞實際應用場景，循序漸進地使用本書中介紹的方法解決部分實際問題，從而具備面向工程應用的綜合分析與實踐能力。本書可作為高等學校本科生、研究生視頻圖像處理相關課程的教材和參考書，也可為相關領域的工程技術人員提供參考。

李熙瑩，中山大學智能工程學院副教授，碩士生導師，現為視頻圖像智能分析與應用技術公安部重點實驗室目標識別與行為分析研究室主任、視頻圖像智能分析與應用技術公安部重點實驗室學術委員會委員。主要研究視頻圖像車輛檢測與識別、視頻交通信息采集、視頻目標跟蹤與行為分析、視頻大數據處理與分析等技術及其在交通管理、公共安全領域的應用。目前已在車輛識別監控、交通流參數獲取、視頻智能識別與分析等方面取得實質性成果，與企業合作開發多個軟件產品和應用繫統，應用覆蓋上萬路視頻，服務於多個警種，出口到國外，用戶評價很高。主持有綜合交通、計算機視覺、公共安全等領域的國家科技專項、國家自然科學基金重點和面上、國際合作、省部級項目十餘項，經費近千萬。目前已在國內外期刊和會議發表論文60餘篇；申請發明專利30多項，其中11項國內專利與2項美國專利獲得授權。2017年獲公安部科學技術獎一等獎， 2014年獲得中國智能交通協會科學技術獎二等獎（****）。

第一部分 視頻圖像技術原理與設備操作
第1章 視頻采集 2
1．1 學習目的 2
1．2 實踐內容 2
1．3 準備材料 2
1．4 預備知識 3
1．4．1 視頻圖像技術概述 3
1．4．2 光源 7
1．4．3 鏡頭 10
1．4．4 圖像補償與降噪 11
1．4．5 攝像機類型 13
1．4．6 數字示波器 14
1．5 實施步驟 15
1．5．1 觀察攝像機的外觀、形狀、接口，了解其功能 15
1．5．2 連接設備，采集視頻 15
1．5．3 觀察鏡頭參數變化的成像效果 16
1．5．4 觀察光照條件變化的成像效果 16
1．5．5 觀察不同類型攝像機的成像效果 16
1．5．6 調整攝像機參數，觀察視頻效果 16
1．5．7 利用示波器觀察視頻信號 17
第2章 視頻傳輸 18
2．1 學習目的 18
2．2 實踐內容 18
2．3 準備材料 18
2．4 預備知識 19
2．4．1 傳輸介質 19
2．4．2 視頻雙絞線傳輸器 21
2．4．3 視頻光端機 22
2．4．4 交換機和網絡視頻適配器 22
2．4．5 無線網橋 23
2．4．6 PoE供電 23
2．4．7 網絡損傷儀 24
2．5 實施步驟 24
2．5．1 同軸電纜和雙絞器傳輸 24
2．5．2 交換機傳輸 24
2．5．3 無線網橋傳輸 27
2．5．4 網絡損傷環境下不同編碼方式的傳輸 28
第3章 視頻存儲 30
3．1 學習目的 30
3．2 實踐內容 30
3．3 準備材料 30
3．4 預備知識 31
3．4．1 數字存儲技術 31
3．4．2 RAID技術 34
3．4．3 雲存儲 39
3．5 實施步驟 40
3．5．1 高清硬盤錄像機多路視頻輸入 40
3．5．2 高清硬盤錄像機抓拍畫面 41
3．5．3 高清硬盤錄像機錄像存儲 41
3．5．4 高清硬盤錄像機錄像回放 42
3．5．5 高清硬盤錄像機錄像文件導出 43
3．5．6 遠程登錄網絡錄像機 44
3．5．7 設置RAID功能 45
3．5．8 雲存儲設備的基本操作 46
第4章 視頻顯示 47
4．1 學習目的 47
4．2 實踐內容 47
4．3 準備材料 47
4．4 預備知識 48
4．4．1 顯示器的類型 48
4．4．2 液晶顯示器 49
4．4．3 顯示器的技術參數 51
4．4．4 顯示器的常用接口 52
4．4．5 分辨率 54
4．5 實施步驟 56
4．5．1 觀察多種顯示器的外觀 56
4．5．2 熟悉信號輸入接口 56
4．5．3 更改液晶顯示器的參數 57
第5章 中心與雲臺控制 58
5．1 學習目的 58
5．2 實踐內容 58
5．3 準備材料 58
5．4 預備知識 59
5．4．1 中心控制設備 59
5．4．2 雲臺 60
5．4．3 雲臺控制協議 62
5．5 實施步驟 63
5．5．1 將多種視頻設備接入監控中心，並控制視頻信號上電視牆 63
5．5．2 觀察攝像機雲臺及接口 65
5．5．3 利用視頻監控設備實現雲臺控制 65
5．5．4 編程實現雲臺控制（選做） 68
第6章 視頻監控繫統 69
6．1 學習目的 69
6．2 實踐內容 69
6．3 準備材料 69
6．4 預備知識 69
6．4．1 視頻監控繫統介紹 69
6．4．2 視頻監控繫統方案選型指導 72
6．5 實施步驟 76
6．5．1 不同視頻監控繫統的對比 76
6．5．2 室內視頻監控繫統方案設計 76
6．5．3 室內視頻監控繫統方案實現 76
6．5．4 室外視頻監控繫統方案設計 76
6．5．5 室外視頻監控繫統方案實現 77
第7章 機器視覺 78
7．1 學習目的 78
7．2 實踐內容 78
7．3 準備材料 78
7．4 預備知識 79
7．4．1 機器視覺繫統簡介 79
7．4．2 機器視覺繫統的組成 80
7．4．3 機器視覺繫統設備選型 85
7．5 實施步驟 86
7．5．1 觀察、熟悉工業相機 86
7．5．2 工業相機視頻數據的存儲和處理 86
7．5．3 選用合適的工業相機和鏡頭 90
7．5．4 對比成像效果 91
7．5．5 手機屏幕壞點檢測 92
第二部分 視頻圖像智能化分析算法與工程實踐
第8章 視頻圖像數據預處理：數據增強與標注 94
8．1 學習目的 94
8．2 實踐內容 94
8．3 準備材料 94
8．4 預備知識 94
8．4．1 常用的數據增強方法 95
8．4．2 圖像標注工具VGG Image Annotator的使用 100
8．5 實施步驟 104
8．5．1 編程實現批量圖像的預處理 104
8．5．2 對批量圖像進行在線標注 104
第9章 圖像增強 105
9．1 學習目的 105
9．2 實踐內容 105
9．3 準備材料 105
9．4 預備知識 105
9．4．1 灰度變換增強 106
9．4．2 直方圖增強 107
9．4．3 圖像平滑 108
9．4．4 圖像銳化 108
9．4．5 暗通道先驗去霧算法 109
9．4．6 圖像質量評價指標 110
9．5 實施步驟 111
9．5．1 編程實現不同的圖像增強方法 111
9．5．2 編程實現暗通道先驗去霧算法 111
第10章 圖像分割 112
10．1 學習目的 112
10．2 實踐內容 112
10．3 準備材料 112
10．4 預備知識 112
10．4．1 圖像分割算法的研究現狀 112
10．4．2 基於閾值的圖像分割算法 113
10．4．3 基於圖論的圖像分割算法 116
10．4．4 選擇性搜索算法 117
10．5 實施步驟 119
10．5．1 采集並標注數據 119
10．5．2 編程實現基於閾值的圖像分割算法 119
10．5．3 編程實現選擇性搜索算法並進行圖像分割測試 120
第11章 圖像分類 121
11．1 學習目的 121
11．2 實踐內容 121
11．3 準備材料 121
11．4 預備知識 121
11．4．1 CIFAR-10簡介 122
11．4．2 卷積神經網絡簡介 122
11．4．3 經典的網絡模型 124
11．4．4 利用PyTorch構建卷積神經網絡對CIFAR-10進行分類 132
11．5 實施步驟 136
第12章 運動目標檢測 137
12．1 學習目的 137
12．2 實踐內容 137
12．3 實驗準備 137
12．4 預備知識 137
12．4．1 常用的運動目標檢測方法――背景差法 138
12．4．2 常用的運動目標檢測方法――幀差法 140
12．4．3 運動目標檢測的優化策略――形態學處理 141
12．4．4 運動目標檢測的評價指標1――IoU 145
12．4．5 運動目標檢測的評價指標2――檢出率、漏檢率和多檢率 147
12．4．6 運動目標檢測算法流程示例 149
12．5 實施步驟 150
12．5．1 編程實現背景差法 150
12．5．2 編程實現幀差法 150
12．5．3 編程實現目標檢測IoU的計算 150
12．5．4 編程實現目標檢測評價指標的計算 150
第13章 目標檢測與識別 151
13．1 學習目的 151
13．2 實踐內容 151
13．3 準備材料 151
13．4 預備知識 151
13．4．1 傳統目標檢測與識別算法 151
13．4．2 滑動窗口（Sliding Window）法 152
13．4．3 基於深度神經網絡的目標檢測與識別算法 154
13．5 實施步驟 159
13．5．1 訓練集準備 159
13．5．2 將KITTI格式轉化為VOC格式 160
13．5．3 利用PyTorch搭建一個基於YOLO v3的目標檢測與識別網絡 160
13．5．4 利用已有網絡模型及參數實現在線交通目標的檢測與識別 162
第14章 運動目標跟蹤 165
14．1 學習目的 165
14．2 實踐內容 165
14．3 準備材料 165
14．4 預備知識 165
14．4．1 運動目標跟蹤算法 165
14．4．2 運動目標跟蹤數據集 171
14．4．3 運動目標跟蹤算法的評價準則與方法 171
14．5 實施步驟（任意選擇一個算法實現） 173
14．5．1 實現卡爾曼濾波器 173
14．5．2 實現DeepSORT算法 173
第15章 視頻圖像雙目視覺測距 174
15．1 學習目的 174
15．2 實踐內容 174
15．3 準備材料 174
15．4 預備知識 174
15．4．1 雙目立體視覺的成像原理 175
15．4．2 雙目立體視覺的標定和矯正 175
15．4．3 立體匹配算法 179
15．4．4 深度圖計算 181
15．4．5 雙目視覺測距流程 181
15．4．6 Kinect 182
15．5 實施步驟 183
15．5．1 雙目圖像獲取 183
15．5．2 標定 183
15．5．3 編程實現雙目視覺測距算法 183
第16章 圖像無縫拼接 184
16．1 學習目的 184
16．2 實踐內容 184
16．3 準備材料 184
16．4 預備知識 184
16．4．1 圖像拼接的基本原理 184
16．4．2 基於單應性變換的圖像拼接算法 185
16．4．3 APAP算法 192
16．5 實施步驟（任意選擇一個算法實現） 194
16．5．1 采集圖像 194
16．5．2 編程實現基於單應性變換的圖像拼接算法 194
16．5．3 編程實現APAP算法 194
第17章 圖像三維重建 195
17．1 學習目的 195
17．2 實踐內容 195
17．3 準備材料 195
17．4 預備知識 195
17．4．1 圖像三維重建技術 195
17．4．2 基於運動的三維重建算法中關鍵幀的篩選 196
17．4．3 圖像三維重建的基本流程 197
17．4．4 圖像三維重建軟件 203
17．5 實施步驟 205
17．5．1 使用無人機采集視頻並提取關鍵幀 205
17．5．2 編程實現圖像三維重建 206
17．5．3 使用Pix4D Mapper軟件實現圖像三維重建 206
第三部分 視頻圖像技術基礎開發環境的搭建
第18章 MATLAB編程基礎 210
18．1 學習目的 210
18．2 實踐內容 210
18．3 準備材料 210
18．4 預備知識 210
18．4．1 MATLAB簡介 210
18．4．2 MATLAB安裝 211
18．4．3 MATLAB的基本使用 215
18．4．4 MATLAB圖像處理基本操作 218
18．5 實施步驟 219
18．5．1 使用MATLAB 219
18．5．2 MATLAB圖像處理 220
18．5．3 總結 221
第19章 OpenCV編程基礎 222
19．1 學習目的 222
19．2 實踐內容 222
19．3 準備材料 222
19．4 預備知識 222
19．4．1 OpenCV簡介 222
19．4．2 OpenCV安裝 222
19．5 實施步驟 225
19．5．1 圖像直方圖處理 225
19．5．2 空間域濾波與頻域變換 226
第20章 Python編程基礎 230
20．1 學習目的 230
20．2 實踐內容 230
20．3 準備材料 230
20．4 預備知識 230
20．4．1 Python 3．7．3安裝 230
20．4．2 Python常用函數 232
20．5 實施步驟 232
20．5．1 用Python創建一個csv文件 232
20．5．2 用Python寫一個腳本 233
20．5．3 多邊形面積求解 233
20．5．4 ?的計算 233
20．5．5 下載圖像、分類保存並拼接 234
第21章 面向深度學習的智能化圖像處理環境搭建 235
21．1 學習目的 235
21．2 項目內容 235
21．3 準備材料 235
21．4 預備知識 235
21．4．1 Windows 10環境下PyTorch的安裝 235
21．4．2 Ubuntu 18．04環境下PyTorch的安裝 239
21．5 實施步驟 240
21．5．1 編程測試是否有GPU 240
21．5．2 編程實現梯度計算 241
21．5．3 搭建基本的分類神經網絡 241
致 謝 244
參考文獻 245
附錄A 實驗報告 250
附錄B 實驗記錄表 251

近年來，隨著計算機技術、多媒體技術、網絡技術的迅猛發展，視頻圖像信號的采集、傳輸、存儲等方法都發生了較大的變化。當今時代是一個數據爆炸性增長的“大數據”時代，出現了很多視頻圖像處理的新技術。
視頻圖像技術研究視頻信號的“采-傳-存-顯-控”，隻有掌握了一定的視頻圖像技術基礎知識，纔能對一些新概念和新技術有較好的把握。同時，隨著人工智能技術的飛速發展，在很多智能應用領域，人們對視頻圖像處理的需求呈現出不斷增長的趨勢，如物體分類、目標檢測、三維重建等。在這樣的背景下，我們迫切需要一本以全新的視角介紹視頻圖像技術的書。
本書在撰寫過程中充分考慮了專業教學的特點與需求，在內容編排上盡量做到全面、繫統，在理論深度上盡量考慮本科生和研究生的接受能力，讓每章的內容盡可能實用，同時注重本課程與其他課程的銜接。本書不僅考慮到了視頻圖像技術本身的快速發展，而且側重實踐能力的培養，希望在“新工科”背景下培養出具備扎實基礎的學生。
本書基於視頻圖像技術的基本原理、相關設備、算法和應用等內容編寫，主要分為三部分。第一部分為視頻圖像技術原理與設備操作，主要介紹視頻信號“采-傳-存-顯-控”的基本原理；第二部分為視頻圖像智能化分析算法與工程實踐，涵蓋經典算法和基於深度學習的主流算法，包括視頻圖像數據預處理、圖像增強、圖像分割、圖像分類、運動目標檢測、目標檢測與識別、運動目標跟蹤、雙目視覺測距、圖像無縫拼接、圖像三維重建，其中不乏計算機視覺技術的應用；第三部分為視頻圖像技術基礎開發環境的搭建，主要介紹視頻圖像技術常用的編程語言，為讀者實現各種視頻圖像技術提供快速的編程指導和環境配置方法，包括MATLAB編程基礎、OpenCV編程基礎、Python編程基礎和面向深度學習的智能化圖像處理環境搭建。在本書的編寫過程中，參考了國內外許多優秀的教材和論文，並一一列在本書的參考文獻中，在此對所有參考文獻的作者表示衷心的感謝。
本書的編撰分工如下：第一部分由李熙瑩、韓瑜編寫，第二部分由全體作者共同編寫，第三部分由陳俊周、金枝編寫。
由於編寫水平有限，書中難免出現錯誤或不妥之處，歡迎廣大專家和讀者批評指正。