理論篇
第1章前置基礎3
1.1智能多媒體概述3
1.1.1多媒體概述3
1.1.2多媒體與人工智能5
1.1.3智能多媒體關鍵技術與指標7
1.2嵌入式開發基礎9
1.2.1邊緣計算9
1.2.2嵌入式人工智能開發概述14
1.2.3Linux開發基礎16
1.2.4Docker開發簡介21
1.3多媒體編程基礎23
1.3.1視頻文件讀寫23
1.3.2多線程26
1.3.3同步互斥鎖28
1.3.4套接字30
1.4本章小結35
習題36
第2章數字圖像處理技術37
2.1基礎知識37
2.1.1像素37
2.1.2分辨率38
2.1.3位深39
2.1.4幀率40
2.1.5碼率41
2.1.6PSNR422.2彩色圖像及圖像存儲43
2.2.1色彩空間模型43
2.2.2圖像存儲格式47
2.3圖像預處理技術48
2.3.1灰度變換49
2.3.2灰度直方圖變換52
2.4邊緣檢測57
2.4.1邊緣檢測基本概念57
2.4.2噪聲影響下的邊緣檢測58
2.4.3Sobel算子59
2.4.4Canny算子60
2.5本章小結63
習題64
目錄〖3〗第3章圖像與視頻編碼技術65
3.1圖像與視頻編碼基礎65
3.1.1圖像與視頻編碼原理概述65
3.1.2視頻編碼框架與基本概念69
3.1.3視頻編碼標準發展歷程72
3.2JPEG靜止圖像編碼標準75
3.2.1JPEG編碼標準75
3.2.2JPEG工作模式77
3.2.3JPEG編碼實現與算能平臺78
3.3H.264視頻編碼標準78
3.3.1H.264編碼標準概述78
3.3.2H.264編碼方法79
3.3.3H.264的傳輸與存儲84
3.3.4H.264開源編碼器87
3.4H.265視頻編碼標準89
3.4.1H.265編碼標準概述89
3.4.2H.265編碼方法93
3.4.3H.265的碼率控制算法96
3.4.4H.265開源編碼器97
3.5感興趣區域編碼原理99
3.6碼流分析工具簡介100
3.6.1碼流分析概述100
3.6.2常用碼流分析工具100
3.7本章小結104
習題105
第4章智能多媒體通信技術106
4.1多媒體通信基礎106
4.1.1數字視頻接口106
4.1.2IP通信新技術109
4.1.3無線多媒體通信技術112
4.2TCP與UDP119
4.2.1TCP/IP119
4.2.2UDP121
4.2.3TCP122
4.2.4為什麼流媒體通信常用UDP125
4.3RTP與RTCP126
4.3.1RTP簡介126
4.3.2RTP的工作機制126
4.3.3RTP數據包解析127
4.4RTSP128
4.4.1RTSP簡介128
4.4.2RTSP的工作機制130
4.5RTMP131
4.5.1RTMP簡介131
4.5.2RTMP的工作機制131
4.6GB28181協議133
4.6.1GB28181協議簡介133
4.6.2GB28181的工作機制134
4.7本章小結136
習題137
第5章嵌入式人工智能多媒體開發架構138
5.1概述138
5.1.1開發架構139
5.1.2硬件加速140
5.1.3工作模式141
5.1.4設備內存141
5.1.5內存同步的時機142
5.1.6手動內存同步的原因143
5.1.7內存同步示例143
5.2FFmpeg146
5.2.1FFmpeg概述146
5.2.2BM_FFmpeg147
5.3OpenCV152
5.3.1OpenCV簡介152
5.3.2BM_OpenCV簡介153
5.4BMCV156
5.4.1BMCV簡介156
5.4.2BMCV數據結構157
5.4.3BMCV設備內存管理161
5.4.4BMCV API162
5.5本章小結167
習題167
實戰篇
第6章基礎實驗171
6.1開發環境搭建171
6.1.1開發主機準備171
6.1.2下載SDK軟件包172
6.1.3創建Docker開發環境173
6.1.4編寫“Hello,World!”程序174
6.1.5硬件部署176
6.1.6程序上傳與執行176
6.2雲平臺開發環境178
6.2.1雲平臺申請178
6.2.2雲平臺使用178
6.3多媒體開發基礎編程實驗181
6.3.1實驗原理和流程181
6.3.2關鍵代碼解析183
6.4邊緣檢測186
6.4.1BMCV關鍵函數解析186
6.4.2BMCV檢測結果194
6.4.3OpenCV關鍵函數解析195
6.4.4硬件加速性能對比196
6.5圖像裁剪及尺寸變換197
6.5.1bmcv_image_crop()函數197
6.5.2bmcv_image_resize()函數198
6.5.3bmcv_image_draw_rectangle()函數200
6.5.4OpenCV函數介紹201
6.5.5執行結果202
6.6圖像加權融合204
6.6.1bmcv_image_add_weighted()函數205
6.6.2OpenCV下的圖像加權融合方法205
6.6.3執行結果206
6.7圖像灰度直方圖208
6.7.1bmcv_calc_hist()函數208
6.7.2OpenCV的calcHist()函數209
6.7.3畫直方圖210
6.7.4執行結果210
6.8FFmpeg視頻編碼211
6.8.1實驗原理簡介211
6.8.2編碼實驗過程219
6.8.3使用ffprobe分析碼流219
6.8.4使用VLC播放視頻222
6.8.5使用Elecard StreamEye分析碼流222
6.9ROI視頻編碼223
6.9.1實驗原理簡介224
6.9.2關鍵核心代碼講解224
6.9.3實驗過程227
6.9.4Elecard StreamEye分析228
6.10FFmpeg視頻解碼229
6.10.1實驗原理簡介230
6.10.2FFmpeg解碼關鍵函數230
6.10.3實驗過程238
6.11OpenCV視頻解碼240
6.11.1實驗原理簡介241
6.11.2實驗過程241
6.12JPEG圖像編解碼242
6.12.1實驗原理簡介242
6.12.2實驗過程242
6.12.3執行與測試244
6.13RTSP拉流 RTMP推流245
6.13.1實驗步驟245
6.13.2主線程245
6.13.3寫線程247
6.13.4Windows下nginx的安裝與RTMP推流247
6.13.5Wireshark安裝與使用250
第7章嵌入式智能車載終端實戰254
7.1項目背景255
7.2項目需求255
7.2.1需求概述255
7.2.2功能需求256
7.3相關理論257
7.3.1目標檢測257
7.3.2多目標跟蹤258
7.3.3車道線檢測259
7.3.4單目測距260
7.4總體設計261
7.4.1總體架構設計261
7.4.2功能模塊262
7.4.3技術架構263
7.4.4開發環境263
7.5項目實戰263
7.5.1環境搭建與數據準備263
7.5.2程序框架271
7.5.3目標檢測271
7.5.4多目標跟蹤277
7.5.5車道線檢測279
7.5.6測距280
7.5.7本地界面播放281
7.6部署與測試283
7.6.1編譯與部署283
7.6.2測試結果287
第8章基於無人機的建築圖像識別實戰289
8.1項目背景289
8.2項目需求290
8.2.1需求概述290
8.2.2功能需求291
8.3相關理論291
8.4總體設計293
8.4.1總體架構設計293
8.4.2功能模塊294
8.4.3技術架構294
8.4.4開發環境294
8.5項目實戰295
8.5.1環境搭建295
8.5.2模型與數據297
8.5.3目標檢測301
8.5.4ROI編碼305
8.5.5推流和視頻切片306
8.6部署與測試308
8.6.1編譯308
8.6.2運行程序與測試結果309
參考文獻314

習近平總書記在黨的二十大報告中指出: 教育、科技、人纔是全面建設社會主義現代化國家的基礎性、戰略性支撐。必須堅持科技是第一生產力、人纔是第一資源、創新是第一動力，深入實施科教興國戰略、人纔強國戰略、創新驅動發展戰略，這三大戰略共同服務於創新型國家的建設。報告同時強調: 推動戰略性新興產業融合集群發展，構建新一代信息技術、人工智能、生物技術、新能源、新材料、高端裝備、綠色環保等一批新的增長引擎。
當前，人工智能日益成為引領新一輪科技革命和產業變革的核心技術，在制造、金融、教育、醫療和交通等領域的應用場景不斷落地，極大地改變了既有的生產生活方式。多媒體視頻傳輸與人工智能是當下飛速發展的現代科學技術，是信息技術的重要發展方向之一，也是推動計算機新技術發展的強大動力。隨著計算機軟硬件水平的迅速發展，視頻傳輸與人工智能分析是很多行業應用不可分割的兩個環節，在各行各業中發揮著重要作用。在計算機、廣播電視、工業和教育等行業，都需要分析和處理各種視頻圖像信息。
關於多媒體信息的處理及應用方法等，目前國內外已有不少相關的專著和教材出版，但是絕大多數限於介紹視頻圖像的基本原理和處理技術，而關於多媒體數據采集、通信傳輸網絡和後端人工智能分析的開發整體架構的介紹與討論很少。因此，基於編者團隊以及北京算能科技有限公司（簡稱算能公司）的理論研究和實際項目開發經驗，本書全面繫統地介紹多媒體通信、多媒體處理技術及其最新的人工智能分析應用，以滿足理論教學和實踐應用的需要。
本書共分為兩篇。第1～5章為理論篇，著重介紹智能多媒體的前置基礎、數字圖像處理技術、圖像與視頻編碼技術和智能多媒體通信技術以及嵌入式人工智能多媒體開發架構。第6～8章為實戰篇，分為基礎實驗（第6章）和綜合實戰（第7、8章）兩部分。其中，基礎實驗部分主要介紹智能多媒體的基礎實驗如開發環境搭建、圖像處理和視頻編碼相關的基礎實驗；綜合實戰部分通過兩個綜合的實踐案例介紹智能多媒體前端視頻解碼、前處理、人工智能檢測識別、後處理、結果推流、播放等完整的過程。
本書結構安排合理，語言通俗易懂，講述細致，內容豐富，選用典型實例，注重基本技術和基本方法的介紹，具有很強的可操作性。實戰篇將操作方法和實際訓練相結合，著重提高讀者的動手能力，具有很強的實用性。本書適合作為與多媒體制作密切相關的計算機科學與技術、數字媒體技術、網絡工程和電子信息工程等專業本科學生相關課程的教材或參考資料，也可以作為多媒體開發方向的研究生繫統學習的參考書。
本書在編寫過程中得到了算能公司的大力支持，算能公司提供了嵌入式SE5開發平臺、全套的學習和開發資料以及實驗例程編寫的指導。本書第1章、第4章、第5章、第6章由陳鋒、陳平平編寫，第2章由吳麗君編寫，第3章由鄭明魁編寫，第7章和第8章由郭恩特、陳鋒編寫。同時還要感謝周簡心、遲翔、許金源、黃發仁、餘超群、宋道斌、高廷金、林燦輝等同學的幫助。

編者2023年7月16日於福州