由張小飛、劉敏、朱秋明、徐大專、邵漢欽編的
《信息論基礎(含習題與解答南京航空天大學研究生
繫列精品教材）》重點介紹由香農理論發展而來的信
息論的基本理論，它主要應用概率論、隨機過程和現
代數理統計方法，研究信息提取、傳輸和處理的一般
規律，提高信息繫統的有效性和可靠性。全書共9章
，以信息熵為基本概念，以香農的三個基本定理為核
心，繫統地講述了香農信息論的基本理論，主要內容
包括離散信息和連續信息的度量、離散信道和連續信
道的容量、無失真信源編碼定理、有噪信道編碼定理
、信息率失真函數、MIMO信道容量和數字噴泉碼等。
本書注重概念，采用通俗的文字描述並聯繫實際，用
較多的例題闡述基本概念、基本理論及實現原理。在
各章的最後還附有小結和大量習題，便於讀者學習，
加深對概念的理解。
本書可作為理工科高等院校電子、信息、通信、
計算機和自動化及相關專業的本科生和研究生的教材
，也可供有關專業的科技人員參考。

前言
第1章 緒論
1.1 信息概念和特性
1.2 熵的概念
1.3 信息論研究的基本問題和主要內容
1.3.1 信息論研究的基本問題
1.3.2 信息論研究內容
1.4 香農簡介
1.5 本書結構
1.6 本章小結
第2章 數學基礎
2.1 概率論基礎
2.1.1 概率空間
2.1.2 隨機變量與分布函數
2.1.3 多維隨機變量及其分布
2.1.4 數字特征
2.1.5 大數定律及中心極限定理
2.2 馬爾可夫鏈
2.2.1 有限狀態馬氏鏈
2.2.2 狀態轉移概率
2.2.3 齊次馬氏鏈
2.2.4 馬氏鏈的平穩分布
2.3 凸函數和常用不等式
2.3.1 凸函數
2.3.2 常用不等式
2.4 本章小結
習題
第3章 信息度量和熵
3.1 自信息、條件自信息和聯合自信息
3.1.1 自信息
3.1.2 條件自信息
3.1.3 聯合自信息
3.2 互信息和信息散度
3.2.1 互信息定義
3.2.2 互信息的性質
3.2.3 條件互信息
3.2.4 信息散度
3.3 離散集合的平均信息量(熵)
3.3.1 信息熵
3.3.2 條件熵
3.3.3 聯合熵
3.3.4 熵的基本性質
3.3.5 各類熵的關繫
3.3.6 熵函數的**性
3.3.7 通信繫統中熵的意義
3.4 平均互信息
3.4.1 平均互信息定義
3.4.2 平均互信息與熵的關繫
3.4.3 平均互信息的性質
3.4.4 多隨機變量的互信息
3.5 本章小結
習題
第4章 信源和熵
4.1 信源的分類與數學模型
4.1.1 信源的分類
4.1.2 信源的數學模型
4.2 離散信源
4.2.1 離散無記憶信源和熵
4.2.2 離散平穩信源和熵
4.2.3 馬爾可夫信源
4.2.4 信源的冗餘度
4.3 連續信源
4.3.1 連續信源的熵與平均互信息
4.3.2 連續隨機變量信息散度
4.3.3 幾種特殊分布連續信源熵
4.3.4 *大熵定理
4.3.5 熵功率
4.3.6 隨機矢量通過線性繫統後信息的變化
4.3.7 符號持續時間不同信源的熵
4.4 本章小結
習題
第5章 信道與信道容量
5.1 信道的特性及其分類
5.1.1 信道模型
5.1.2 信道分類
5.2 離散信道及其容量
5.2.1 離散信道數學模型
5.2.2 離散信道容量
5.2.3 多符號離散信道的容量
5.3 連續／波形信道及其容量
5.3.1 加性噪聲信道和容量
5.3.2 加性高斯信道和容量
5.3.3 加性非高斯信道的容量
5.3.4 多維無記憶加性高斯信道
5.3.5 限頻限功率高斯信道的容量
5.3.6 香農信道編碼定理
5.4 本章小結
習題
第6章 無失真信源編碼
6.1 信源編碼簡介
6.2 離散信源定長編碼
6.2.1 典型序列與信源序列的漸近均分特性
6.2.2 定長編碼定理
6.2.3 定長碼參數
6.3 離散信源變長編碼
6.3.1 變長碼的**可譯性和即時性
6.3.2 Kraft不等式
6.3.3 變長編碼定理
6.3.4 變長碼參數
6.4 平穩信源和Markov信源的編碼
6.4.1 平穩信源的編碼，
6.4.2 馬爾可夫信源的編碼
6.5 變長編碼方法
6.5.1 香農編碼
6.5.2 Fano編碼
6.5.3 Huffman編碼
6.5.4 實用的信源編碼方法
6.6 本章小結
習題
第7章 t限失真信源編碼
7.1 繫統模型和失真測度
7.1.1 繫統模型
7.1.2 失真測度
7.1.3 失真函數舉例說明
7.2 信息率失真函數
7.2.1 定義
7.2.2 信息率失真函數的性質
7.2.3 簡單信源的信息率失真函數
7.3 離散信源R(D)計算
7.3.1 離散信源信息率失真函數的參量表示
7.3.2 離散信源尺(D)求解矢量／矩陣表示
7.3.3 參量s的意義
7.3.4 離散信源R(D)的迭代計算
7.4 連續信源的信息率失真函數
7.4.1 連續信源的平均失真函數
7.4.2 d(x,y)隻與x叫有關情況下率失真函數的求解
7.4.3 高斯信源的率失真函數
7.4.4 限帶高斯信源的率失真函數
7.4.5 一般信源率失真函數的上限和下限
7.5 限失真信源編碼定理
7.6 本章小結
習題
第8章 MIMO信道模型及容量
8.1 引言
8.2 無線信道特性
8.2.1 路徑損耗
8.2.2 信道衰落
8.2.3 信道擴展
8.2.4 信道相關性
8.3 MIMO信道模型
8.3.1 常見信道模型
8.3.2 基本信道模型
8.3.3 擴展信道模型
8.4 MIM0 信道容量
8.4.1 確定性MIMO信道
8.4.2 隨機性MIMO信道
8.5 本章小結
習題
第9章 數字噴泉碼
9.1 信道模型
9.1.1 刪除信道
9.1.2 無線信道
9.2 數字噴泉碼的數學描述
9.2.1 數字噴泉碼的定義
9.2.2 數字噴泉碼的Tanner圖
9.2.3 數字噴泉碼的度分布函數
9.3 典型的數字噴泉碼
9.3.1 LT碼
9.3.2 Raptor碼
9.4 數字噴泉碼的譯碼算法
9.4.1 刪除信道中的譯碼算法
9.4.2 無線信道中的譯碼算法
9.5 數字噴泉碼的密度演化分析方法
9.5.1 刪除信道中的密度演化
9.5.2 無線信道中的密度演化
9.6 本章小結
參考文獻