目錄

第1章多媒體通信技術概論

1.1多媒體的基本概念

1.1.1多媒體及多媒體技術

1.1.2多媒體技術的特點

1.2多媒體技術的發展歷程

1.3多媒體通信的特點

1.3.1多媒體通信的特點

1.3.2多媒體通信終端的特點

1.4多媒體通信中的關鍵技術

1.4.1音視頻編解碼技術

1.4.2多媒體網絡通信技術

1.4.3多媒體存儲技術

1.4.4多媒體數據庫

1.5流媒體技術

1.6多媒體通信的應用領域

習題一

第2章人的聽覺感知與聲音信號

2.1人類的聽覺繫統

2.2人耳的聽覺特性

2.2.1聲強級和響度

2.2.2聽閾與痛閾

2.2.3聽覺定律

2.2.4人耳的聽覺效應

2.3聲音信號

2.3.1人聲信號

2.3.2音樂信號

2.3.3其他聲信號

2.4*聲音質量評價方法

2.4.1基於人體的生理反應評價方法

2.4.2聲品質評價方法簡述

2.4.3噪聲的主觀感覺

習題二

第3章人的視覺感知與視頻信號

3.1人的視覺繫統

3.2人眼視覺特性

3.2.1亮度感覺特性

3.2.2光敏感特性

3.2.3亮度自適應與亮點偏差感知

3.2.4空間掩模與時間掩模

3.2.5視覺注意機制

3.2.6視覺掩蔽效應

3.2.7視覺暫留與閃爍

3.2.8視覺顯著性

3.3視頻信號

3.4電視視頻信號的制式

3.4.1NTSC制

3.4.2PAL制

3.4.3SECAM制

3.5電視信號原理

習題三

第4章色彩與多媒體顏色管理

4.1色彩的形成原理和描述方法

4.1.1光源、物體和人眼的顏色視覺

4.1.2色彩的描述

4.2多媒體設備與色彩

4.2.1多媒體色彩設備類型

4.2.2設備的呈色原理

4.2.3設備的顏色表達能力——色域

4.3多媒體設備的顏色管理

4.3.1色彩管理

4.3.2色彩校準

4.3.3色彩特征化和ICC特性文件

4.3.4色彩轉換

4.3.5色域映射

習題四

第5章語音與音頻壓縮編碼

5.1語音與音頻編碼技術概況

5.1.1語音與音頻壓縮的必要性

5.1.2語音與音頻壓縮的區別

5.1.3音頻壓縮方法

5.2語音與音頻編碼技術

5.2.1時域編碼

5.2.2頻帶編碼

5.3目前主流音頻壓縮編碼標準及應用

5.3.1MPEG1

5.3.2MPEG2

5.3.3MPGE4 HEAAC

5.3.4MPEG通用語音與音頻編碼算法

5.3.5*語音頻編碼的未來發展方向

5.4*常用的音頻信號處理軟件

5.5*常見的音頻格式

5.5.1無損壓縮的音頻編碼文件格式

5.5.2有損壓縮的音頻編碼文件格式

習題五

第6章視頻壓縮編碼: 以HEVC為例

6.1視頻壓縮編碼概述

6.2HEVC概述

6.3HEVC中的圖像分割方式

6.4

6.5幀內預測

6.5.1幀內預測模式

6.5.2幀內預測流程

6.6運動估計與運動補償

6.6.1運動估計和運動補償的基本原理

6.6.2影響運動估計的主要因素

6.6.3搜索策略

6.6.4HEVC中的運動估計流程

6.6.5運動融合

6.6.6高級運動矢量預測

6.7變換與量化

6.7.1離散餘弦變換

6.7.2量化與量化矩陣

6.8HEVC的後處理技術

6.8.1去方塊濾波

6.8.2樣點自適應補償

6.8.3自適應環路濾波技術

6.9熵編碼

6.9.1CAVLC

6.9.2CABAC

6.9.3HEVC標準熵編碼過程

6.10並行運算優化設計

6.11*碼率控制

6.11.1率失真理論

6.11.2碼率控制與率失真優化

習題六

第7章流媒體傳輸與控制

7.1流媒體技術概況

7.1.1流式傳輸基礎

7.1.2流媒體播放方式

7.1.3流媒體繫統基本結構

7.2流媒體傳輸和控制協議

7.2.1傳輸層協議

7.2.2實時傳輸協議RTP

7.2.3實時傳輸控制協議RTCP

7.2.4實時流傳輸協議RTSP

7.2.5資源預留協議RSVP

7.3基於RTCP反饋的擁塞控制

7.3.1擁塞控制的方式

7.3.2RTCP反饋擁塞控制的實現

7.4流媒體碼流復接

7.4.1基本概念

7.4.2流程

習題七

第8章流媒體同步機制

8.1多媒體同步的標準

8.2多媒體同步的參考模型

8.2.1媒體層

8.2.2流層

8.2.3對像層

8.3典型同步模型

8.3.1時間軸模型

8.3.2時間間隔模型

8.3.3層次模型

8.3.4時序Petri網模型

8.4網絡環境下的流媒體同步

8.4.1流媒體同步關繫

8.4.2流媒體同步的分類

8.4.3流媒體同步規範

8.4.4多級同步機制

8.5影響流媒體同步的關鍵因素及解決方案

8.5.1延時與抖動

8.5.2亂序

8.6緩衝區容量設置及自適應帶寬技術

8.6.1自適應帶寬技術

8.6.2流內同步中緩衝大小設置及自適應帶寬技術

8.6.3流間同步中緩衝大小設置及自適應帶寬技術

習題八

第9章異構網絡環境中視頻處理與傳輸

9.1流媒體技術應用於異構環境主要面臨的挑戰

9.2視頻質量自適應概覽

9.3視頻可伸縮編碼

9.3.1可伸縮性編碼概念

9.3.2可伸縮視頻編碼

9.4流媒體視頻質量自適應技術

9.4.1流媒體視頻質量自適應技術概況

9.4.2采用SVC的流媒體質量自適應技術

9.5視頻轉碼

9.5.1視頻轉碼器框架結構

9.5.2視頻轉碼技術分類介紹

9.5.3視覺顯著性在視頻轉碼領域的應用

習題九

第10章立體視覺與三維電視技術

10.1三維電視的發展

10.2立體視覺原理

10.2.1單眼的視覺的局限性

10.2.2雙目視覺與深度暗示

10.3多視點裸眼3D顯示技術

10.3.1深度提取算法

10.3.2DIBR算法

10.4三維電視技術

10.4.13DTV繫統架構

10.4.23DTV立體顯示技術

10.4.33DTV繫統的3D數據表示

10.4.43DTV視頻編碼技術

習題十

參考文獻

前言

數據壓縮和網絡通信傳輸技術的飛速發展，使得多媒體通信技術日趨成熟，並已深入到人們日常生活的方方面面，被廣泛應用到視頻點播、視頻監控、即時通信、網絡會議、遠程教育等領域，並且隨著需求的變化而不斷發展。多媒體通信作為音視頻處理技術與通信技術的結合，已成為現代多媒體技術及通信技術的一個重要研究方向。隨著該技術的成熟和發展，它還將對我們的生活產生更加深遠的影響。

作者在多年的教學和研究工作中發現，由於多媒體通信涉及眾多學科，需要廣泛的信號處理、通信技術、網絡協議等相關知識，使得多媒體通信的學習有所困難。本書以人類感知為出發點、形成一條“多媒體信息感知—處理—傳輸控制—接收”為主線的論述體繫，繫統地從音視頻壓縮技術、同步技術、傳輸協議等諸多方面論述多媒體通信技術的相關知識，力求對多媒體通信技術進行詳細的介紹。為了便於教學和讀者自學，每章後面都附有習題。

 本書共10章，遵照循序漸進的教學規律，繫統地組織教學內容。第1章主要介紹多媒體的基本概念、發展歷程以及多媒體通信的特點與所涉及的技術，然後介紹了多媒體通信的應用領域。第2章介紹了人的聽覺繫統、聽覺特性、聽覺效應等，然後介紹各種聲音信號和聲音質量評價標準。第3章從人的視覺特性出發，分別介紹了人的視覺特性和視頻信號以及電視信號基本原理。第4章主要介紹了顏色與多媒體色彩管理。第5章介紹了語音與音頻編碼技術、主流音頻壓縮標準。第6章以HEVC標準為例，介紹了視頻編碼中的幀內預測、運動估計與補償、變換與量化、去方塊濾波等後處理技術等。第7章介紹了包括流媒體傳輸控制協議和基於擁塞控制及其流媒體復接技術。第8章介紹了多媒體同步標準、同步參考模型、同步的影響因素和解決方法，並介紹了緩衝區容量設置方法和自適應帶寬技術。第9章針對多媒體數據在現代異構化和復雜化的網絡傳輸繫統的處理和傳輸方法，介紹了視頻可伸縮編碼、流媒體視頻質量自適應技術以及視頻轉碼技術。第10章介紹了立體視覺和三維電視及廣播技術。

本書作者阮秀凱編寫了第1、2、6、7、10章，並負責全書的統稿工作；
崔桂華編寫了第3、4章；
張有光編寫了第5、8章；
韋文生編寫了第9章；
蔡啟博負責全書的圖片及校對工作。

本書以通俗易懂、形像生動的語言和豐富的圖表強化概念描述，適用於具有一定信號處理和通信理論基礎的初學者。本書適合作為高等院校電子與通信類各專業高年級本科教材，也可作為低年級研究生的教學參考書，還可供從事多媒體通信的工程技術人員參考。

由於作者水平和時間所限，書中的不足在所難免，敬請廣大讀者不吝提供寶貴意見。