了得網社會科學_信息論基礎(含習題與解答）

編輯推薦

《信息論基礎：含習題與解答》可作為理工科高等院校電子、信息、通信、計算機和自動化及相關專業的本科生和研究生的教材，也可供有關專業的科技人員參考。

內容簡介

《信息論基礎：含習題與解答》重點介紹由香農理論發展而來的信息論的基本理論，它主要應用概率論、*過程和現代數理統計方法，研究信息提取、傳輸和處理的一般規律，提高信息繫統的有效性和可靠性。《信息論基礎：含習題與解答》共9章，以信息熵為基本概念，以香農的三個基本定理為核心，繫統地講述了香農信息論的基本理論，主要內容包括離散信息和連續信息的度量、離散信道和連續信道的容量、無失真信源編碼定理、有噪信道編碼定理、信息率失真函數、MIMO信道容量和數字噴泉碼等。《信息論基礎：含習題與解答》注重概念，采用通俗的文字描述並聯繫實際，用較多的例題闡述基本概念、基本理論及實現原理。在各章的*後還附有小結和大量習題，便於讀者學習，加深對概念的理解。

作者簡介

目錄
前言
第1章緒論1
1.1信息概念和特性1
1.2熵的概念2
1.3信息論研究的基本問題和主要內容3
1.3.1信息論研究的基本問題3
1.3.2信息論研究內容4
1.4香農簡介5
1.5本書結構7
1.6本章小結7
第2章數學基礎8
2.1概率論基礎8
2.1.1概率空間8目錄

前言

第1章緒論1

1.1信息概念和特性1

1.2熵的概念2

1.3信息論研究的基本問題和主要內容3

1.3.1信息論研究的基本問題3

1.3.2信息論研究內容4

1.4香農簡介5

1.5本書結構7

1.6本章小結7

第2章數學基礎8

2.1概率論基礎8

2.1.1概率空間8

2.1.2隨機變量與分布函數11

2.1.3多維隨機變量及其分布13

2.1.4數字特征18

2.1.5大數定律及中心極限定理21

2.2馬爾可夫鏈24

2.2.1有限狀態馬氏鏈24

2.2.2狀態轉移概率24

2.2.3齊次馬氏鏈25

2.2.4馬氏鏈的平穩分布27

2.3凸函數和常用不等式28

2.3.1凸函數28

2.3.2常用不等式30

2.4本章小結32

習題33

第3章信息度量和熵36

3.1自信息、條件自信息和聯合自信息36

3.1.1自信息36

3.1.2條件自信息38

3.1.3聯合自信息39

3.2互信息和信息散度39

3.2.1互信息定義39

3.2.2互信息的性質40

3.2.3條件互信息41

3.2.4信息散度41

3.3離散集合的平均信息量(熵)43

3.3.1信息熵43

3.3.2條件熵44

3.3.3聯合熵44

3.3.4熵的基本性質45

3.3.5各類熵的關繫49

3.3.6熵函數的**性51

3.3.7通信繫統中熵的意義51

3.4平均互信息53

3.4.1平均互信息定義53

3.4.2平均互信息與熵的關繫54

3.4.3平均互信息的性質56

3.4.4多隨機變量的互信息61

3.5本章小結69

習題70

第4章信源和熵74

4.1信源的分類與數學模型74

4.1.1信源的分類74

4.1.2信源的數學模型74

4.2離散信源75

4.2.1離散無記憶信源和熵75

4.2.2離散平穩信源和熵76

4.2.3馬爾可夫信源79

4.2.4信源的冗餘度84

4.3連續信源86

4.3.1連續信源的熵與平均互信息86

4.3.2連續隨機變量信息散度90

4.3.3幾種特殊分布連續信源熵90

4.3.4**熵定理94

4.3.5熵功率96

4.3.6隨機矢量通過線性繫統後信息的變化96

4.3.7符號持續時間不同信源的熵99

4.4本章小結102

習題104

第5章信道與信道容量107

5.1信道的特性及其分類107

5.1.1信道模型107

5.1.2信道分類107

5.2離散信道及其容量108

5.2.1離散信道數學模型108

5.2.2離散信道容量111

5.2.3多符號離散信道的容量124

5.3連續/波形信道及其容量126

5.3.1加性噪聲信道和容量127

5.3.2加性高斯信道和容量129

5.3.3加性非高斯信道的容量130

5.3.4多維無記憶加性高斯信道133

5.3.5限頻限功率高斯信道的容量136

5.3.6香農信道編碼定理139

5.4本章小結140

習題142

第6章無失真信源編碼145

6.1信源編碼簡介145

6.2離散信源定長編碼147

6.2.1典型序列與信源序列的漸近均分特性148

6.2.2定長編碼定理150

6.2.3定長碼參數151

6.3離散信源變長編碼152

6.3.1變長碼的**可譯性和即時性153

6.3.2Kraft不等式154

6.3.3變長編碼定理156

6.3.4變長碼參數157

6.4平穩信源和Markov信源的編碼158

6.4.1平穩信源的編碼158

6.4.2馬爾可夫信源的編碼159

6.5變長編碼方法161

6.5.1香農編碼161

6.5.2Fano編碼162

6.5.3Huffman編碼162

6.5.4實用的信源編碼方法166

6.6本章小結169

習題170

第7章限失真信源編碼174

7.1繫統模型和失真測度175

7.1.1繫統模型175

7.1.2失真測度175

7.1.3失真函數舉例說明176

7.2信息率失真函數177

7.2.1定義177

7.2.2信息率失真函數的性質177

7.2.3簡單信源的信息率失真函數180

7.3離散信源R(D)計算188

7.3.1離散信源信息率失真函數的參量表示188

7.3.2離散信源R(D)求解矢量/矩陣表示190

7.3.3參量s的意義191

7.3.4離散信源R(D)的迭代計算194

7.4連續信源的信息率失真函數196

7.4.1連續信源的平均失真函數196

7.4.2d(x，y)隻與x？y有關情況下率失真函數的求解198

7.4.3高斯信源的率失真函數199

7.4.4限帶高斯信源的率失真函數201

7.4.5一般信源率失真函數的上限和下限202

7.5限失真信源編碼定理202

7.6本章小結205

習題207

第8章MIMO信道模型及容量210

8.1引言210

8.2無線信道特性210

8.2.1路徑損耗211

8.2.2信道衰落213

8.2.3信道擴展215

8.2.4信道相關性217

8.3MIMO信道模型222

8.3.1常見信道模型222

8.3.2基本信道模型224

8.3.3擴展信道模型226

8.4MIMO信道容量228

8.4.1確定性MIMO信道228

8.4.2隨機性MIMO信道232

8.5本章小結236

習題238

第9章數字噴泉碼240

9.1信道模型241

9.1.1刪除信道241

9.1.2無線信道242

9.2數字噴泉碼的數學描述242

9.2.1數字噴泉碼的定義242

9.2.2數字噴泉碼的Tanner圖243

9.2.3數字噴泉碼的度分布函數244

9.3典型的數字噴泉碼245

9.3.1LT碼245

9.3.2Raptor碼246

9.4數字噴泉碼的譯碼算法247

9.4.1刪除信道中的譯碼算法247

9.4.2無線信道中的譯碼算法248

9.5數字噴泉碼的密度演化分析方法250

9.5.1刪除信道中的密度演化250

9.5.2無線信道中的密度演化253

9.6本章小結256

參考文獻258

前言

媒體評論

在線試讀

第1章緒論
信息論是運用概率論與數理統計的方法研究信息、信息熵、通信繫統、數據傳輸、密碼學、數據壓縮等問題的一門學科。克勞德艾爾伍德香農於1940年開始思考信息論問題。經過多年的努力，香農在《貝爾繫統技術雜志》(BellSystemTechnicalJournal)上發表了具有深遠影響的論文《通信的數學原理》和《噪聲下的通信》。在這兩篇論文中，香農闡明了通信的基本問題，建立了通信繫統的模型，提出了信息量的數學表達式，並解決了信道容量、信源統計特性、信源編碼、信道編碼等一繫列基本技術問題。
1.1信息概念和特性
信息科學是以信息為主要研究對像，以信息的運動規律和應用方法為主要研究內容，以計算機等技術為主要研究工具，以擴展人類的信息功能為主要目標的一門新興的綜合性學科。信息科學由信息論、計算機科學、控制論、繫統工程與人工智能等學科互相滲透、互相結合而形成。“信息”使用的廣泛性使得學者難以給“信息”下一個確切的定義，但是，一般來說，信息可以界定為由信息源發出的被使用者接受和理解的各種信號。作為一個社會概念，信息可以理解為人類共享的一切知識，或社會發展過程中從客觀現像中提煉出來的各種消息之和。信息並非事物本身，而是表征事物之間聯繫的消息、情報、指令、數據或信號[1～5]。一切事物，包括自然界和人類社會，都在發出信息；每個人每時每刻都在接收信息。在人類社會中，信息往往以文字、圖形、語言、圖像、聲音、視頻等形式出現[1～12]。
信息一般具有如下一些特征。
(1)可識別、可轉換。
(2)可傳遞。
(3)可加工處理。
(4)可多次利用。
(5)在流通中擴充。
(6)主客體二重性。信息是物質相互作用的一種屬性，涉及主客體雙方；信息表征信源客體存在方式和運動狀態的特性，所以它具有客體性、**性；但接收者所獲得的信息量和價值的大小，與信宿主體的背景有關，表現了信息的主體性和相對性。
(7)信息的能動性。第1章緒論

信息論是運用概率論與數理統計的方法研究信息、信息熵、通信繫統、數據傳輸、密碼學、數據壓縮等問題的一門學科。克勞德艾爾伍德香農於1940年開始思考信息論問題。經過多年的努力，香農在《貝爾繫統技術雜志》(BellSystemTechnicalJournal)上發表了具有深遠影響的論文《通信的數學原理》和《噪聲下的通信》。在這兩篇論文中，香農闡明了通信的基本問題，建立了通信繫統的模型，提出了信息量的數學表達式，並解決了信道容量、信源統計特性、信源編碼、信道編碼等一繫列基本技術問題。

1.1信息概念和特性

信息科學是以信息為主要研究對像，以信息的運動規律和應用方法為主要研究內容，以計算機等技術為主要研究工具，以擴展人類的信息功能為主要目標的一門新興的綜合性學科。信息科學由信息論、計算機科學、控制論、繫統工程與人工智能等學科互相滲透、互相結合而形成。“信息”使用的廣泛性使得學者難以給“信息”下一個確切的定義，但是，一般來說，信息可以界定為由信息源發出的被使用者接受和理解的各種信號。作為一個社會概念，信息可以理解為人類共享的一切知識，或社會發展過程中從客觀現像中提煉出來的各種消息之和。信息並非事物本身，而是表征事物之間聯繫的消息、情報、指令、數據或信號[1～5]。一切事物，包括自然界和人類社會，都在發出信息；每個人每時每刻都在接收信息。在人類社會中，信息往往以文字、圖形、語言、圖像、聲音、視頻等形式出現[1～12]。

信息一般具有如下一些特征。

(1)可識別、可轉換。

(2)可傳遞。

(3)可加工處理。

(4)可多次利用。

(5)在流通中擴充。

(6)主客體二重性。信息是物質相互作用的一種屬性，涉及主客體雙方；信息表征信源客體存在方式和運動狀態的特性，所以它具有客體性、**性；但接收者所獲得的信息量和價值的大小，與信宿主體的背景有關，表現了信息的主體性和相對性。

(7)信息的能動性。

(8)可共享性。這是信息與物質和能量的主要區別。

(9)信息的產生、存在和流通，依賴於物質和能量，沒有物質和能量就沒有能動作用。信息可以控制和支配物質與能量的流動。

1.2熵的概念

香農的一個重要工作就是引入熵(entropy)的概念，作為不確定性度量。香農理論的重要特征是熵的概念，他證明熵與信息內容的不確定程度有等價關繫。熵曾經是玻爾茲曼在熱力學第二定律引入的概念，可以把它理解為分子運動的混亂度。信息熵也有類似意義。熵指的是體繫的混亂程度，它在控制論、概率論、數論、天體物理、生命科學等領域都有重要應用，在不同的學科中也有引申出的更為具體的定義，是各領域十分重要的參量。熵由魯道夫克勞修斯(RudolfClausius)提出，並應用在熱力學中。香農**次將熵的概念引入到信息論中。

眾所周知，質量、能量和信息量是三個非常重要的量。人們知道用秤或者天平計量物質的質量，而熱量和功的關繫則是到了19世紀中葉，隨著熱功當量的明確和能量守恆定律的建立纔逐漸清楚。“能量”一詞就是它們的總稱，而能量的計量則通過“卡”“焦耳”等新單位的出現而得到解決。然而，關於文字、數字、圖畫、聲音的知識已有幾千年歷史了，但是它們如何統一地計量，直到19世紀末還沒有被正確地提出來，更談不上如何去解決了。20世紀初期，隨著電報、電話、照片、電視、無線電、雷達和通信等的發展，如何計量信號中信息量的問題被提上日程。

1928年哈特萊(Harley)考慮到從D個彼此不同的符號中取出N個符號並且組成一個“詞”的問題。如果各個符號出現的概率相同，而且是完全隨機選取的，就可以得到DN個不同的詞。從這些詞裡取特定的一個就對應一個信息量I。哈特利建議用NlogD這個量表示信息量，即I=NlogD。後來，1949年控制論的創始人維納也研究了度量信息的問題，還把它引向熱力學第二定律。

但是就信息傳輸給出基本數學模型的核心人物還是香農。1948年香農長達數十頁的論文《通信的數學理論》成了信息論正式誕生的裡程碑。在他的通信數學模型中清楚地提出信息的度量問題，他把哈特利的公式擴展到概率不同的情況，得到了著名的計算信息熵H的公式

如果計算中的對數log是以2為底的，那麼計算出來的信息熵就以比特(bit)為單位。今天在計算機和通信中廣泛使用的字節(Byte)、KB、MB、GB等詞都是從比特演化而來的。“比特”的出現標志著人類知道了如何計量信息量。香農的信息論為明確什麼是信息量的概念作出了決定性的貢獻。

香農在進行信息定量計算的時候，明確地把信息量定義為隨機不定性程度的減少。這就表明了他對信息的理解：信息是用來減少隨機不定性的。

雖然香農的信息概念比以往的認識有了巨大的進步，但仍存在局限性；這一概念同樣沒有包含信息的內容和價值，隻考慮了隨機型的不定性，沒有從根本上回答“信息是什麼”的問題。

1.3信息論研究的基本問題和主要內容

1.3.1信息論研究的基本問題

香農指出，通信的基本問題是在一點精確地或近似地恢復另一點所選擇的信息。從這個基本問題出發，對通信繫統指定了3項性能指標：傳輸的有效性、傳輸的可靠性、傳輸的安全性。有效性是指：①信源代碼應盡量短；②信息傳輸應盡量快，即高的傳信率；③信息傳送應該盡量資源，即高的頻譜利用率。可靠性是指傳輸差錯要盡量少，對數字傳輸就是要求低的誤碼率。安全性是指傳輸的信息不能洩露給未授權人。3項性能指標所對應的3項基本技術是：數據壓縮、數據糾錯和數據加密。

香農信息論所研究的通信繫統基本模型見圖1.1[1～13]。

圖1.1通信繫統模型

這個模型主要包括以下5個部分。

(1)信源。信源是信息的發源地。信源消息有多種形式，可以是離散的或連續的，也可以是時間序列，它們分別可用離散型隨機變量、連續型隨機變量及隨機過程等數學模型表示。

(2)編碼器。編碼是對消息符號進行編碼處理的過程。編碼包括信源編碼、保密編碼、信道編碼等。其中，信源編碼是對信源輸出的消息進行適當的變換和處理，以盡可能提高信息傳輸的效率；而信道編碼是為了提高信息傳輸的可靠性而對信息進行的變換和處理。香農信息論分別用幾個重要的定理給出了編碼的理論性能極限，幾十年來鼓舞著一批又一批通信理論工作者為達到這些極限而殫精竭慮、苦苦求索，從而推動了編碼技術研究的空前繁榮。此中編碼還包括調制器。

(3)信道。信道是信息的傳遞媒介。實際的信道有明線、電纜、波導、光纖、無線電波傳播空間等。信息的傳輸不可避免地會引入噪聲和干擾，為了分析方便，通常把繫統所有其他部分的干擾和噪聲都等效地折合成信道干擾，這些干擾被看成是由一個噪聲源產生的，並疊加於所傳輸的信號上。這樣，信道的輸出是已經疊加了干擾的信號。由於干擾和噪聲均具有隨機性，所以信道的特性同樣可以用概率模型來描述，而噪聲源的統計特性又是劃分信道類型的主要依據。

(4)譯碼器。譯碼是把信道輸出的編碼信號進行反變換，以盡可能準確地恢復原始的信源符號。與編碼器相對應的譯碼器也有信源譯碼器和信道譯碼器等。

(5)信宿。信宿即信息傳輸的目的地。

香農信息論在解決了信息的度量問題之後，主要致力於研究如何提高圖1.1所示的通信繫統中信息傳輸的可靠性和有效性。香農編碼定理是信源編碼和信道編碼理論研究的重要指導方針。

信息論解決了通信中的兩個基本問題。首先對於信源編碼，信息論回答了“達到不失真信源壓縮編碼的極限(**)編碼速率是多少”這一問題。香農的答復是這個極限速率等於該信源的熵。事實上，香農認為每個隨機過程，不管音樂、語言還是圖像，都有一個固有的復雜性，該隨機過程不能被無失真地壓縮到該固有復雜性之下，這個固有復雜性就等於該隨機過程的熵。信息論為通信解決的第二個問題是關於信道編碼方面的。它回答了“無差錯傳輸信息的臨界傳輸速率是多少”這一問題。在香農以前，人們都認為增加信道的信息傳輸速率總要引起錯誤概率的增加。但香農卻出人意料地證明，隻要信息傳輸速率小於信道容量，傳輸的錯誤概率就可以任意地小；反過來，如果速率大於信道容量，則傳輸錯誤是不可避免的。

1.3.2信息論研究內容

信息論是研究信息的產生、獲取、變換、傳輸、存儲、處理識別及利用的學科。信息論還研究信道的容量、消息的編碼與調制的問題以及噪聲與濾波的理論等方面的內容。信息論還研究語義信息、有效信息和模糊信息等方面的問題。信息論有狹義和廣義之分。

狹義信息論即香農早期的研究成果，它以編碼理論為中心，主要研究信息繫統模型、信息的度量、信息容量、編碼理論及噪聲理論等。

廣義信息論又稱信息科學，主要研究以計算機處理為中心的信息處理的基本理論，包括評議、文字的處理、圖像識別、學習理論及其各種應用。廣義信息論包括了狹義信息論的內容，但其研究範圍卻比通信領域廣泛得多，是狹義信息論在各個領域的應用和推廣，因此，它的規律也更一般化，適用於各個領域。

信息論主要研究內容如下。

1)信源和熵

信源限制為具有某一先驗概率的隨機過程；熵作為信源平均不確定性的度量。

2)關於無失真信源編碼

無失真信源編碼定理(香農**定理)：如果編碼後的信源序列信息傳輸速率不小於信源的熵，則可實現無失真編碼，反之不存在。例如，英文字母加空格27個符號，不編碼每個符號需5比符號來表示，但根據研究，信源熵約為1.4比特/符號，所以根據香農**定理，存在某種信源編碼方式，使得每個符號僅用1.4個二進制符號就能無失真傳送。

3)關於信道容量與信息的可靠傳輸

有噪信道編碼定理(香農第二定理)：如果信息傳輸速率小於信道容量，則總可找到一種編碼方式使得當編碼序列足夠長時傳輸差錯任意小，反之不存在使得差錯任意小的編碼。

4)信息率失真理論(數據壓縮的理論基礎)

限失真信源編碼定理(香農第三定理)：對任何失真測度D≥0，隻要碼字足夠長，總可以找一種編碼，使得當編碼後的信息傳輸速率大於等於R(D)時，碼的平均失真d≤D。R(D)稱為信息率失真函數。另一種等價描述：對任何失真測度D≥0，碼的平均失真d≤D，那麼編碼後信息傳輸速率大於等於R(D)。所以R(D)是滿足失真準則編碼的*小的平均碼長。

1.4香農簡介

克勞德艾爾伍德香農(ClaudeElwoodShannon，1916年4月30日—2001年2月26日)是美國數學家、信息論的創始人，照片見圖1.2。香農於1916年4月30日出生於美國密歇根州，是愛迪生的遠親。1936年，香農在密歇根大學獲得數學與電氣工程學士學位，然後進入麻省理工學院念研究生。

1938年，香農在麻省理工學院獲得電氣工程碩士學位，碩士論文題目是“ASymbolicAnalysisofRelayandSwitchingCircuits”(繼電器與開關電路的符號分析)。當時他已經注意到電話交換電路與布爾代數之間的類似性，即把布爾代數的“真”與“假”和電路繫統的“開”與“關”對應起來，並用1和0表示。於是他用布爾代數分析並優化開關電路，奠定了數字電路的理論基礎。哈佛大學的HowardGardner教授說，“這可能是本世紀*重要、*著名的一篇碩士論文”。

1940年香農在麻省理工學院獲得數學博士學位，而他的博士論文卻是關於人類遺傳學的，題目是“AnAlgebraforTheoreticalGenetics”(理論遺傳學的代數學)。這說明香農的科學興趣十分廣泛，後來他在不同的學科方面發表過許多有影響的文章。

在讀學位的同時，還跟隨溫尼法布什教授進行微分分析器的研究。這種分析器是早期的機械模擬計算機，用於獲得常微分方程的數值解。1941年，香農發表了“Mathematicaltheoryofthedifferentialanalyzer”(微分分析器的數學理論)。

1941年，香農以數學研究員的身份進入新澤西州的AT&T貝爾電話公司，並在貝爾實驗室工作到1972年，從24歲到55歲，整整31年。1956年他當了麻省理工學院的訪問教授，1958年成為正式教授，1978年退休。

人們描述香農的生活，白天他總是關起門來工作，晚上則騎著他的獨輪車來到貝爾實驗室。他的同事Slepian寫道：“我們大家都帶著午飯來上班，飯後在黑板上玩玩數學遊戲，但香農很少過來。他總是關起門來工作。但

商品搜索

商品分类

【醫學】

【各大出版社】