了得網研究生_隨機信號處理

產品特色

編輯推薦

教學資源配書教學課件（PPT）可到清華大學出版社網站本書頁面下載。本書特色隨機信號處理涉及多個領域，本書對不同領域的共性知識進行總結提煉，力求以簡約的內容概括隨機信號處理的基本理論與方法，為讀者打下堅實基礎。同時，書中摘選了大量具有工程應用背景的例題和習題，培養讀者邏輯思維和創新思維能力，提高分析與解決實際工程問題的能力。? 層次分明全書分基礎理論和基本方法兩大部分，基礎理論部分主要是隨機信號處理的基本概念和定理，基本方法部分則對不同應用領域*常用的算法進行總結。? 前後銜接強調知識內容和分析方法的前後連貫性，將《信號與繫統》《數字信號處理》《概率論》等相關教材知識進行概括與吸收，並作為本書的一部分。? 易教易學繫統闡述理論的同時，注重內容的實用性和可讀性，減少理論公式的繁雜數學推導，為公式賦予明確的物理含義，便於理解和運用。? 聯繫實際將工程應用中的隨機信號處理問題進行歸納總結，轉化為書中的例題和習題，讓讀者在了解工程應用背景的同時培養邏輯思維和解決實際問題的能力。

內容簡介

全書共6章，第1~3章是基礎理論。其中，第1章主要回顧信號的含義及信號處理的三大理論支柱，即采樣定理、變換域分析和線性時不變繫統理論；第2章主要介紹隨機信號的基本概念及數學模型；第3章主要介紹信號檢測及信號參數估計的基礎理論與方法。第4~6章的內容為信號處理的基本方法。其中，第4章介紹線性繫統和線性變換對隨機信號特性的影響，並拓展到隨機信號的線性建模；第5章主要介紹隨機信號的濾波，含維納濾波、卡爾曼濾波、自適應濾波等；第6章介紹隨機信號的功率譜估計，含參數化估計方法和非參數化估計方法。
本書力求以簡約的內容概括隨機信號處理的基本理論與方法，為讀者打下牢固的隨機信號處理知識基礎。本書既可作為電子信息類高年級本科生和相關學科研究生的教材，也可為從事相關領域研究的科研人員提供參考。

作者簡介

陳芳炯華南理工大學電子與信息學院教授，博士生導師。2012年入選*新世紀人纔計劃，2013年獲國家優秀青年基金。兼任“移動超聲探測”國家工程技術研究中心“水下測繪”事業部主任，第十屆中國電子學會通信學分會委員，第四屆中國通信學會青年工作委員會委員，中國電子學會教育工作委員會青年工作組委員，國家自然科學基金同行評議專家，浙江省自然科學基金評議專家。長期從事無線通信、信號與信息處理、水聲通信與網絡等領域的教學和研究工作。先後開設“信號與繫統”、“數字信號處理”“無線通信”“隨機信號處理”“信息論基礎”等多門本科生及研究生課程。發表學術論文90餘篇，其中SCI檢索40餘篇。主持、省部級及企業合作科研項目30餘項。申請國家發明專利20多項。研究成果獲*自然科學一等獎及廣東省自然科學一等獎各一項。

目錄

第1章數字信號處理基本概念

1．1概述

1．2離散時間信號

1．2．1連續時間信號的采樣

第1章數字信號處理基本概念

1．1概述

1．2離散時間信號

1．2．1連續時間信號的采樣

1．2．2采樣定理

1．2．3幾種常見的數字信號

1．2．4信號的能量、功率及周期性

1．2．5信號的基本運算

1．3信號的傅裡葉變換

1．3．1連續時間信號的傅裡葉變換

1．3．2離散時間信號的傅裡葉變換

1．3．3離散傅裡葉變換及其性質

1．4z變換

1．4．1z變換的定義

1．4．2z變換的收斂域

1．4．3z變換的性質

1．4．4逆z變換

1．5離散時間繫統

1．5．1基本概念

1．5．2離散時間繫統的單位衝激響應函數

1．5．3LSI繫統的穩定性和因果性

1．5．4LSI繫統的變換域分析

本章習題

第2章隨機信號分析基礎

2．1概述

2.1.1隨機信號的基本概念

2.1.2隨機信號的分類

2．2隨機信號的概率結構

2．2．1概率論基本概念

2．2．2隨機信號有限維概率密度及數字特征

2．3隨機信號的平穩性

2．4離散隨機信號和復隨機信號

2．4．1離散時間隨機信號及其數字特征

2．4．2復隨機信號

2．5隨機信號的遍歷性

2．5．1總集意義上的數字特征與時間意義上的數字特征

2．5．2平穩隨機信號的遍歷性

2．6平穩隨機信號的功率譜密度

2．6．1維納辛欽定理

2．6．2功率譜密度的性質

2．6．3離散隨機序列的功率譜密度

2．7幾種常見的隨機信號

2.7.1白噪聲

2.7.2高斯隨機信號

2.7.3馬爾可夫隨機信號

本章習題

第3章信號估計與檢測基礎

3．1估計的基本概念

3．2估計算法的性能指標

3．2．1性能指標

3．2．2隨機信號均值及相關函數的估計

3．3估計性能界——CRB

3．3．1單參數實常量估計的CRB

3．3．2多參量估計的CRB

3．3．3參數變換的CRB

3．3．4復參數估計的CRB

3．4似然估計

3．4．1似然估計的基本原理

3．4．2變換參數的似然估計

3．5貝葉斯估計

3．5．1代價函數

3．5．2小均方誤差估計

3．5．3條件中位數估計

3．5．4後驗概率估計

3．5．5貝葉斯估計舉例

3．6線性小均方誤差估計

3．6．1隨機參量的線性小均方誤差估計

3．6．2線性小均方誤差估計的幾何解釋

3．7小二乘估計

3．8信號檢測基礎

3．8．1確定性信號檢測

3．8．2隨機信號檢測

本章習題

第4章隨機信號的更新與建模

4.1隨機信號通過線性繫統

4.1.1基本概念

4.1.2線性繫統輸入輸出信號之間數字特征的關繫

4.2隨機矢量的線性變換

4.3離散時間序列的線性模型

4.3.1離散時間序列的自回歸滑動平均模型

4.3.2ARMA模型的傳遞函數

4.3.3ARMA繫統的等效性

4.4ARMA模型的數字特征

4.4.1互相關函數

4.4.2自相關函數

4.4.3功率譜密度

4.5ARMA、AR、MA模型之間的關繫

4.5.1Wold分解定理

4.5.2柯爾莫可洛夫定理

本章習題

第5章隨機信號的濾波

5.1數字濾波器的基本概念

5.2維納濾波

5.2.1小均方誤差(MMSE)準則與正交性原理

5.2.2WienerHopf正則方程

5.2.3Wiener濾波器的求解

5.3線性預測

5.4卡爾曼濾波

5.5小二乘濾波

5.6匹配濾波器

5.7自適應濾波

5.7.1自適應濾波器的基本概念

5.7.2LMS自適應濾波器

5.7.3RLS自適應濾波

本章習題

第6章功率譜估計

6.1概述

6.2經典譜估計的基本方法

6.2.1經典譜估計法一——周期圖法

6.2.2經典譜估計法二——間接法(相關圖法、BT譜估計)

6.2.3經典譜估計方法的改進

6.3功率譜估計的參數模型法

6.3.1AR譜估計的相關函數法

6.3.2LevinsonDurbin算法

6.3.3AR譜估計的性質

6.3.4MA譜估計、ARMA譜估計

6.4特征分解法譜估計

6.4.1Pisarenko諧波分解與相關矩陣的特征分解

6.4.2子空間法功率譜估計

本章習題

前言

前言隨機信號處理涉及多媒體信號、生物醫學信號、通信信號、控制信號等方面，有非常廣闊的研究範圍。本書力圖以有限的篇幅對隨機信號處理的基本理論和方法進行概括，使學生對隨機信號概念和數學建模有必要的了解，掌握隨機信號理論和分析處理的基本方法。全書參考學時為36學時，如需補充相關學科的前沿知識，可拓展到48學時。本書需要“概率論”“信號與繫統”“數字信號處理”課程作為預備知識。在內容編排上，本書兼顧實信號和復信號，所以還需要一定的復變函數知識。作者在編寫本教材的過程中，參考了大量的國內外學者文獻，在此對相關作者表示衷心的感謝。同時，本書的編寫也得到清華大學出版社的大力支持，在此表示誠摯的感謝。由於作者水平有限，本書在內容的選擇、體繫的安排以及文字敘述上難免有疏漏，懇請讀者批評指正。編者2018年4月

在線試讀

第3章CHAPTER 3

信號估計與檢測基礎

3．1估計的基本概念信號處理的很多問題以參數估計的形式存在，例如在雷達及聲吶信號處理中，需要估計目標(飛機或船隻)的距離和到達角度，這些參數可以通過對發射信號和回波信號的處理獲得。又如在現代的高保真錄制繫統中，需要精確保持錄音基準電平，這一般通過電平自動控制繫統實現，具體流程是周期性地估計該基準電平，並根據估計結果做出調整。信號處理中的參數估計一般基於觀測信號與待估計參數之間的依賴關繫，在不同的問題模型中，這種依賴關繫可能是確定性的或隨機性的。例如在通信中的信道估計問題中，發送信號x(n)經過衝激響應為h(n)的信道輸出為y(n)=h(n)x(n)(31)
第3章CHAPTER 3

信號估計與檢測基礎

3．1估計的基本概念信號處理的很多問題以參數估計的形式存在，例如在雷達及聲吶信號處理中，需要估計目標(飛機或船隻)的距離和到達角度，這些參數可以通過對發射信號和回波信號的處理獲得。又如在現代的高保真錄制繫統中，需要精確保持錄音基準電平，這一般通過電平自動控制繫統實現，具體流程是周期性地估計該基準電平，並根據估計結果做出調整。信號處理中的參數估計一般基於觀測信號與待估計參數之間的依賴關繫，在不同的問題模型中，這種依賴關繫可能是確定性的或隨機性的。例如在通信中的信道估計問題中，發送信號x(n)經過衝激響應為h(n)的信道輸出為y(n)=h(n)x(n)(31)

如果繫統采用基於訓練序列的信道估計方法，x(n)為已知，這時信道輸出y(n)與信道參數h(n)存在確定性依賴關繫；如果繫統信道估計不采用訓練序列，而是基於信道輸出的統計特性，則y(n)與信道參數h(n)存在隨機性依賴關繫，具體而言，就是y(n)的概率分布函數與h(n)存在依賴關繫。隨機性依賴關繫與確定性依賴關繫相比，更貼近實際環境。這首先是因為實際環境中觀測信號的獲取總是受到干擾，如環境干擾以及觀測設備自身的熱噪聲干擾等。考慮噪聲影響後的信道接收信號一般表示為y(n)=h(n)x(n) v(n)(32)其中v(n)表示繫統環境干擾或設備熱噪聲產生的加性干擾，一般情況下用零均值、獨立同分布的高斯隨機信號描述。這時y(n)也體現為具有高斯分布特性的隨機信號，h(n)對y(n)的影響也體現為對其概率密度分布和統計特性的影響。隨機性依賴關繫更具重要性的另一原因是實際繫統中待估計參數經常具有時變性，例如雷達信號處理中目標距離就是不斷變化的參數；移動通信中，發送端或接收端的移動會造成信道環境的改變。待估計參數的變化不是毫無規律，而是服從一定的概率密度分布，例如非視距移動信道的時變性服從瑞利分布。在式(31)中，如果h(n)是具有一定概率結構的隨機信號，則無論x(n)是確定性信號或者隨機信號，h(n)對y(n)的影響都體現為概率密度分布和統計特性的影響。下面以一個簡單的例子來說明參數估計的過程。例31在電平自動控制繫統的電平估計問題中，對某個電平值θ進行估計，由於環境干擾及測量設備的不完善，測量總會存在誤差，測量誤差可歸結為噪聲，因此，實際得到的測量值為x=θ w(33)其中，w一般服從零均值高斯分布，方差為σ2。問題是，如何根據測量值x來估計θ的值。一種簡單的方法是將多個觀測結果進行平均。首先定義一個時間窗口，認為實際電平值在這個時間窗口中是恆定的。在這個時間窗口裡得到電平值的N個含噪測量結果，記為x(0),x(1),…,x(N-1)。這些測量結果中x(n)=θ w(n),n=0,1,…,N-1(34)
根據x(n)得到θ的估計為θ^=x(0) x(1) … x(N-1)N(35)
上式的一個直觀效果是通過對噪聲求均值，以降低噪聲的影響。一般情況下，可以認為估計結果與觀測數據由一個映射關繫確定： θ^=f(x(0),x(1),…,x(N-1))(36)
上面提到，由於噪聲的影響，x(n)更多時候體現為隨機信號的特征，因此上式中x(0),x(1),…,x(N-1)可看成隨機變量。θ^與x(0),x(1),…,x(N-1)存在映射關繫，可認為θ^也是隨機變量(不管θ是常量或隨機變量)。一次估計的結果可以看成是θ^的一個樣本，因此，驗證估計算法的性能往往需基於多次估計結果進行評估。實際應用中往往很難得到類似於式(35)的閉式表達式，參數估計可能包含復雜的步驟，但包含的要素是一致的，從上面這個例子可以看出構造一個估計問題的基本要素如下： (1) 待估計參數：指估計的目標參數，可以是單參量，也可以是多參量。待估計的參數可能是常量，也可能是隨機變量，如果是隨機變量一般要求其概率密度函數已知。(2) 信號模型：指觀測信號的產生模型，其中必須體現待估計參數與觀測信號的依賴關繫。觀測信號可以是單參量，也可以是多參量。(3) 誤差準則：指估計算法的性能衡量指標，很多時候誤差準則可指導估計算法的設計。誤差準則的確定也有助於不同估計算法間的比較，特別是針對同一個估計問題的不同估計算法。(4) 估計算法：對同一估計問題，估計算法不是的，不同的估計算法可以得到不同的估計性能，如何得到誤差小、計算量低的估計算法是信號處理的核心問題。3．2估計算法的性能指標依據不同的估計準則，可以得到不同的估計量，這些估計量的性能需要有評價的指標。估計量是觀測的函數，而觀測是隨機變量(或矢量)，因此，估計量也是隨機變量，隨著觀測數據的增多，希望估計量能逐漸逼近真值，因此，對估計量的均值和方差應有一定的要求。3．2．1性能指標估計量的好壞可以從無偏性、有效性、一致性來加以評價。1. 無偏性待估計量為常數θ，它的估計值為θ^，如果E(θ^)=θ，則稱θ^為θ的無偏估計，否則稱θ^為有偏估計。定義估計的偏差為θ~=E(θ^)-θ(37)
通常希望估計量的均值趨於被估計量的真值或被估計量的均值，即估計應該是無偏的。如果估計θ^不是無偏估計，但隨著樣本數目的增加，其數學期望趨近於真的估計量，即limN→∞［E(θ^)-θ］=0(38)則稱估計θ^是漸近無偏估計。當被估計量θ是隨機變量時，如果估計量的均值等於被估計量的均值，即E［θ^］=E［θ］(39)
則稱θ^為無偏估計。對於有偏估計，如果觀測數據越多，估計的性能越好，即limN→∞［E(θ^)-E(θ)］=0(310)則稱θ^為隨機變量的漸近無偏估計。2. 有效性估計量具有無偏性並不表明已經保證了估計的品質。當被估計量為未知常數時，不僅希望估計量的均值等於真值，而且希望估計量的取值集中在真值附近，這一品質可以通過估計的方差來描述，估計的方差為Var(θ^)=E{［θ^-E(θ^)］2}(311)對於無偏估計，方差越小，表明估計量的取值越集中，估計的性能越好，估計也越有效。對於有偏估計，估計的方差小並不能說明估計是好的，因為如果估計有偏差，方差小的估計仍然可能有較大的估計誤差，這時用均方誤差加以描述更合適，估計的均方誤差定義為Mse(θ^)=E{|θ^-θ|2}(312)均方誤差越小，表明估計越有效。3. 一致性當用N個觀測值估計參量時，一般來說，觀測值越多，估計越趨於真值，如果limN→∞P{θ-θ^<ε}=1(313)(式中，ε是任意小的正數)則稱θ^為一致估計。3．2．2隨機信號均值及相關函數的估計隨機信號均值和自相關函數的估計是常用的參數估計，這一節將討論常用均值、自相關估計算法的無偏性，有效性和一致性，這裡隻討論實隨機信號。1. 均值的估計對遍歷平穩隨機序列，設x(0)，x(1),…,x(N-1)是觀察到的N個樣本，則可利用下式進行均值的估計m^x=1N∑N-1n=0x(n)(314)此估計是無偏的，且當各子樣本x(0)，x(1),…,x(N-1)互不相關時，此估計是一致估計，現證明這兩個結論。證明：估計的均值： E［m^x］=E1N∑N-1n=0x(n)=1N∑N-1n=0E［x(n)］=1N∑N-1n=0mx=mx(315)可見估計是無偏的。估計的均方值E［m^2x］=E1N∑N-1n=0x(n)1N∑N-1m=0x(m)
=1N2∑N-1n=0∑N-1m=0E［x(n)x(m)］
=1N2∑N-1n=0E［x2(n)］ ∑N-1n=0∑N-1m=0,m≠nE［x(n)x(m)］
=1N2∑N-1n=0E［x2(n)］ ∑N-1n=0∑N-1m=0,m≠nE［x(n)］E［x(m)］(316)
記E［x2(n)］=Dx,E［x(n)］=mx，所以E［m^2x］=1NDx N(N-1)N2m2x
=1NDx N-1Nm2x(317)所以，估計的方差為Var(m^x)=E(m^2x)-［E(m^x)］2
=1NDx N-1Nm2x-m2x=1Nσ2x(318)可見，當N→∞時，估計的方差趨於零，所以m^x是一致估計。2. 自相關函數的均值在實際工作中，對平穩隨機序列x(n)，所能得到的x(n)的N個觀察值為x(0),x(1),…,x(N-1)，記為xN(n)。對n≥N時的x(n)的值假設為零。現在的任務是如何由這N個觀察值來估計出x(n)的自相關函數Rx(m)。對Rx(m)的估計方法通常有兩種，一是直接計算法，二是利用FFT來求解。下面以自相關函數的直接估計法為例分析其性能。如果觀察值的點數N為有限值，則求R(m)估計值的直接估計法是R^(m)=1N∑N-1n=0xN(n)xN(n-m)(319)
由於x(n)隻有N個觀察值，因此，對於每一個固定的遲延m，在0~N-1的範圍內可以利用的數據隻有N-|m|個，所以在實際計算R^(m)時，式(319)變為R^(m)=1N∑N-1-|m|n=0x(n)x(n-m)(320)
值得注意的是，R^(m)的長度為2N-1，對實信號，它是以m為對稱中心的偶對稱函數。所以在上式的計算中，可先計算m≤0的部分，再根據對稱性求m>0的部分。現在討論R^(m)估計的質量。1）估計的偏差由偏差的定義有Bia［R^(m)］=E［R^(m)］-R(m)(321)
式中E［R^(m)］=E1N∑N-1-|m|n=0x(n)x(n-m)
=1N∑N-1-|m|n=0E［x(n)x(n-m)］
=1N∑N-1-|m|n=0R(m)即E［R^(m)］=N-|m|NR(m)(322)
所以估計的偏差為Bia［R^(m)］=-mNR(m)(323)
分析式(322)和式(323)，可以看出，估計不是無偏估計，而且當m→N時，估計的偏差很大。對有限的m，當N→∞時，有E［R^x(m)］=Rx(m)，所以是漸進無偏的。由此，可以得到如下結論：（1）對於一個固定的延遲m，當N→∞時，Bia［R^(m)］→0，因此，R^(m)是對R(m)的漸近無偏估計；（2）對於一個固定的N，隻有當|m| <0，|m|≥N(324)

圖31三角窗w(m)

的乘積，w(m)的長度是2N-1，如圖31所示。式(324)的三角窗函數又稱Bartlett窗，由於它對R(m)進行了加權，致使R^(m)產生了偏差。顯然，由於加權窗的存在，產生了上述第（2）點結論。
該窗函數實際上是由於對真實數據的截短而產生的。因為xN(n)可以看作真實數據x(n)和一矩形窗函數d(n)相乘的結果，即xN(n)=x(n)d(n)(325)式中d(n)=1，0≤n≤N-1
0，n<0,n≥N(326)
根據式(320)和式(325)可得R^(m)=1N∑N-1-|m|n=0xN(n)xN(n-m)
=1N∑N-1-|m|n=0x(n)d(n)x(n-m)d(n-m)(327)E{R^(m)}=1N∑N-1-|m|n=0E{x(n)x(n-m)}d(n)d(n-m)
=R(m)N∑N-1-|m|n=0d(n)d(n-m)
=R(m)w(m)(328)
可見，w(m)正是對矩形數據窗函數d(n)作自相關的結果。由上面的討論可知，當對一個信號做自然截短時，就不可避免地對該數據施加了一個矩形窗口，由此數據窗口就產生了加在自相關函數上的三角窗口。三角窗口影響了R^(m)對R(m)估計的質量。加在數據上的窗口，一般稱為數據窗。加在自相關函數上的窗口一般稱為延遲窗，後面將看到，這些窗函數也直接影響了功率譜估計的質量。2）估計的方差根據方差的定義，有Var［R^(m)］=E［R^(m)-E［R^(m)］］2
=E［R^2(m)］-{E［R^(m)］}2(329)由式(322)可得{E［R^(m)］}2=N-|m|NR(m)2(330)同時可得E［R^2(m)］=E1N2∑N-1-|m|n=0x(n)x(n-m)∑N-1-|m|k=0x(k)x(k-m)
=1N2∑n∑kE［x(n)x(k)x(n-m)x(k-m)］(331)
這裡要計算隨機信號x(n)的四階矩，對一般平穩信號的四階矩很難計算，假定x(n)是零均值的高斯隨機信號，可以證明，其四階矩滿足如下關繫式E［x(n)x(k)x(n-m)x(k-m)］
=E［x(n)x(k)］E［x(n-m)x(k-m)］
E［x(n)x(n-m)］E［x(k)x(k-m)］
E［x(n)x(k-m)］E［x(k)x(n-m)］
=R2(n-k) R2(m)
R(n-k m)R(k-n m)(332)
所以E［R^2(m)］=1N2∑n∑k［R2(n-k) R2(m) R(n-k m)R(k-n m)］
=N-|m|NR(m)2 1N2∑n∑k［R2(n-k)
R(n-k m)R(k-n m)］(333)將式(330)和式(333)代入式(329)，可得Var［R^(m)］=1N2∑N-1-|m|n=0∑N-1-|m|k=0［R2(n-k) R(n-k m)R(k-n m)］(334)對任意序列g(n)，下式成立∑N-1-|m|n=0∑N-1-|m|k=0g(n-k)=∑N-1-|m|i=-(N-1-|m|)(N-|m|-|i|)g(i)(335)
因此令n-k=i，可把式(334)的雙求和變成單求和，即對於一個確定的i,n-k=i的組合數為N-|m|-|i|。
Var［R^(m)］=1N∑N-1-|m|i=-(N-1-|m|)1-|m| |i|N［R2(i) R(i m)R(i-m)］(336)
顯然，當N→∞時，Var［R^(m)］→0，又因為limN→∞Bia［R^(m)］=0,所以，可得如下結論：對固定的延遲m，R^(m)是R(m)的一致估計。對R(m)的另一種直接估計方法是對式(320)稍做修改，即R^(m)=1N-|m|∑N-1-|m|n=0xN(n)xN(n m)(337)可以證明，該式的R^(m)是對R(m)的無偏估計，利用上述類似的推導，可分析無偏估計子的性能，終可得有偏估計子： Var［R^(m)］∝O1N
無偏估計子： Var［R^(m)］∝O1N-|m|
可以看到無偏估計子的方差性能較差。實際應用一般采用有偏估計子，除了方差的原因外，還基於以下考慮： ①當m取值較小時，有偏估計子的偏差不明顯； ②對大多數平穩隨機信號，當m值較大時，R(m)的值一般很小。式(323)顯示偏差的值也和R(m)的取值有關繫，而m較大時R(m)的取值一般會變小，這時可以認為偏差也比較小。3．3估計性能界——CRB不同的估計方法可以得到不同的估計量，估計量的性能可以通過前面介紹的無偏性、有效性和一致性來評價，但在實際中，估計量可能比較復雜，很難評價估計量的有效性和一致性。此外，在得到一個估計量後，它的性能是否已經達到？是否還有更好的估計量？克拉美羅下限(CramérRao Bound，CRB)揭示了無偏估計量估計方差的小值。3．3．1單參數實常量估計的CRB首先考慮隻有一個待估計參數的情況，令θ為待估計參數，並且為實參數(非隨機量)。觀測信號x(n)與θ的依賴關繫用條件概率p(x|θ)表示(為描述方便，以下將x(n)簡記為xn)，有如下定理。定理31令x=(x0,x1,…,xN-1)為觀測樣本矢量，p(x|θ)是x的條件概率密度。若θ^是θ的一個無偏估計子，且f(x|θ)/θ存在，則θ^的方差滿足下式Var(θ^)=E［(θ^-θ)2］≥I-1(θ)(338)
式中I(θ)=Elnp(x|θ)θ2=-E2lnp(x|θ)θ2(339)當且僅當lnp(x|θ)θ=K(θ)(θ^-θ)(340)
時，式(338)的等號成立。其中K(θ)是θ的正函數，且不包含x。證明：由假設條件知E(θ^-θ)=0，因此E［θ^-θ］=∫ ∞-∞…∫ ∞-∞(θ^-θ)f(x|θ)dx0…dxN-1
=Δ∫ ∞-∞(θ^-θ)f(x|θ)dx
=0(341)
上式兩邊對θ求偏微分可得θE［θ^-θ］=∫ ∞-∞θ［(θ^-θ)f(x|θ)］dx=0(342)由上式得∫ ∞-∞-f(x|θ)dx ∫ ∞-∞(θ^-θ)θf(x|θ)dx=0(343)
因為p(x|θ)是概率密度函數，所以∫ ∞-∞f(x|θ)dx=1(344)
同時根據組合函數導數性質可得θf(x|θ)=θlnf(x|θ)·f(x|θ)(345)
式(343)重寫為∫ ∞-∞θlnf(x|θ)·(θ^-θ)f(x|θ)dx=1(346)
上式進一步重寫為∫ ∞-∞θlnf(x|θ)f(x|θ)·(θ^-θ)f(x|θ)dx=1(347)根據泛函分析中的柯西不等式|〈z1·z2〉|2≤〈z1·z1〉·〈z2·z2〉，其中z1、z2是泛函素，〈·〉表示內積操作。式(347)中令z1=f1(x)=lnf(x|θ)/θf(x|θ)z2=f2(x)=(θ^-θ)f(x|θ)
內積操作定義為∫ ∞-∞f1(x)f2(x)dx。由式(347)得∫ ∞-∞θlnf(x|θ)2f(x|θ)dx·∫ ∞-∞(θ^-θ)2f(x|θ)dx≥1(348)等價於∫ ∞-∞(θ^-θ)2f(x|θ)dx≥1∫ ∞-∞θlnf(x|θ)2f(x|θ)dx(349)上式左邊剛好就是無偏估計的方差計算結果。柯西不等式等於號成立的條件是z1,z2成比例，即式(340)成立。證畢特別要指出的是式(342)積分和求導順序可以互換，這在實際中一般可以滿足。為了得到更直觀的描述，將式(344)兩邊對θ求導數，並將積分和求導順序互換可得∫ ∞-∞θf(x|θ)dx=0(350)
基於式(345)可得∫ ∞-∞θlnf(x|θ)·f(x|θ)dx=Eθlnf(x|θ)=0(351)
上式稱為定理3．1成立的規範化條件，是積分和求導順序可以互換的直觀描述。該規範化條件兩邊對θ求導數，則可得式(339)。CRB給出了無偏估計量估計方差的下限。達到CRB的估計，其估計的方差是小的，稱這樣的估計為有效估計。I(θ)稱為數據的費希爾(Fisher)信息，CRB是費希爾信息的倒數。直觀理解是，費希爾信息越多，CRB越低。費希爾信息具有信息度量的基本性質。首先，由式(339)可以看出，費希爾信息具有非負性；其次，對於獨立觀測，費希爾信息具有可加性，這是因為，對於獨立的觀測有lnp(x|θ)=∑N-1n=0lnp(xn|θ)(352)
所以-E2lnp(x|θ)θ2=-∑N-1n=0E2lnp(xn|θ)θ2(353)如果觀測是獨立同分布的，那麼I(θ)=Ni(θ)(354)
式中i(θ)=-E2lnp(xn|θ)θ2(355)
對於非獨立觀測，費希爾信息要比獨立觀測低，例如，對於x0=x1=…=xN-1這種完全相關的情況，I(θ)=i(θ)，此時，CRB並不隨觀測數據的增加而降低。例32獨立同分布平穩隨機信號服從高斯分布，用式(314)估計該隨機信號的均值，該估計子的方差是否達到CRB？解平穩高斯信號的一維概率分布為p(x|mx)=12πσexp-(x-mx)22σ2(356)多變量的聯合概率密度為p(x|mx)=12πσN∏N-1n=0exp-(xn-mx)22σ2(357)對數聯合概率密度的一、二階偏導數為lnp(x|mx)mx=∑N-1n=0xn-mxσ2(358)2lnp(x|mx)m2x=-Nσ2(359)可得到其費希爾信息量為I(mx)=-E2lnp(x|mx)m2x=Nσ2(360)
對比3．2．2節中估計子的方差，可以看到該均值估計可達到CRB。注意到式(358)中的一階導數可重寫為lnp(x|mx)mx=Nσ2(m^x-mx)(361)即一階導數和(m^x-mx)成正比，顯示該估計子滿足式(340)的條件。例33信號觀測模型為xn=Acos(2πf0n ) w(n)，其中f0為已知參數，w(n)∝N(0,σ2)，相位為未知參數。求相位估計的CRB。解觀測信號的一維概率分布為p(x|)=12πσexp-(xn-Acos(2πf0n ))22σ2(362)假設參數估計基於N個觀測，記為x=［x0, x1, …, xN-1］T，其聯合概率函數為p(x|)=p(x0,x1,…,xN-1|)
=12πσN∏N-1n=0exp-(xn-Acos(2πf0n ))22σ2(363)
可得到觀測信號的對數似然函數為lnp(x|)=-N2ln(2πσ2)-12σ2∑N-1n=0(xn-Acos(2πf0n ))2(364)
可得lnp(x|)=-1σ2∑N-1n=0［xn-Acos(2πf0n )］Asin(2πf0n )
=-Aσ2∑N-1n=0［xnsin(2πf0n )-A2sin(4πf0n 2)］2lnp(x|)2=-Aσ2∑N-1n=0［xncos(2πf0n )-Acos(4πf0n 2)］-E［2lnp(x|)2］=Aσ2E∑N-1n=0［xncos(2πf0n )-Acos(4πf0n 2)］
=Aσ2∑N-1n=0E［xn］cos(2πf0n )-Acos(4πf0n 2)
=Aσ2∑N-1n=0Acos2(2πf0n )-Acos(4πf0n 2)
=A2σ2∑N-1n=012 12cos(4πf0n 2)-cos(4πf0n 2)
=A22σ2∑N-1n=01-cos(4πf0n 2)=NA22σ2-A22σ2∑N-1n=0cos(4πf0n 2)(365)
上式中求和項為周期序列，有limN→∞1N∑N-1n=0cos(4πf0n 2)=0(366)當N比較大時，可認為1N∑N-1n=0cos(4πf0n 2)<<1(367)
於是可認為式(365)中第二項遠小於項，直接忽略第二項可得-E2lnp(x|)2=NA22σ2(368)其倒數即為相位估計的CRB。3．3．2多參量估計的CRB假設有L個未知參數，用矢量表示為θ=［θ1,θ2,…,θL］T(369)
參數估計的CramerRao不等式表示為E［(θ^-θ)(θ^-θ)T］≥I-1(θ)(370)
其中符號“≥”用於矩陣時有不同的含義。對矩陣A、B，A≥B表示A-B是半正定矩陣，A>B表示A-B是正定矩陣。上式中左邊為估計子的協方差矩陣，右邊的I(θ)稱為費希爾信息矩陣，定義為I(θ)=-E2lnp(x|θ)θθT(371)
上式中用到了矢量函數的求導公式，下面給出其定義。設f(θ)是L×1矢量θ的函數，函數值為標量，其導數表示為f(θ)θ=f(θ)θ1f(θ)θ2 f(θ)θLL×1(372)
根據該定義可得以下常用導數aTθθ=θTaθ=a(373)θTAθθ=(AT A)θ(374)式(372)的定義可拓展到多個函數的組合，假設有R個關於θ的函數構成如下矢量： f(θ)=f1(θ)f2(θ)fR(θ)R×1(375)則其關於θ的導數定義為f(θ)θT=f1(θ)θ1f1(θ)θ2…f1(θ)θL
f2(θ)θ1f2(θ)θ2…f2(θ)θL

fR(θ)θ1fR(θ)θ2…fR(θ)θLR×L(376)
根據上述定義，可得矩陣I(θ)中第{i,素為［I(θ)］ij=-E2lnp(x|θ)θiθj(377)對式(371)這裡不做詳細證明，下面以一個例子介紹多參量CRB的計算。例34對獨立同分布平穩高斯隨機信號，計算均值估計和方差估計的CRB。解由於待估計矢量為θ=［mxσ2］T，因此，費希爾信息矩陣是2×2的矩陣，即I(θ)=-E2lnp(x|θ)θθT=-E2lnp(x|θ)m2x-E2lnp(x|θ)mxσ2
-E2lnp(x|θ)σ2mx-E2lnp(x|θ)(σ2)2(378)
由式(356)得到對數似然函數為lnp(x|θ)=-N2ln(2πσ2)-12σ2∑N-1n=0(xn-mx)2(379)
所以lnp(x|θ)mx=1σ2∑N-1n=0(xn-mx)(380)lnp(x|θ)σ2=-N2σ2 12σ4∑N-1n=0(xn-mx)2(381)2lnp(x|θ)m2x=-Nσ2(382)2lnp(x|θ)(σ2)2=N2σ4-1σ6∑N-1n=0(xn-mx)2(383)2lnp(x|θ)mxσ2=-1σ4∑N-1n=0(xn-mx)(384)2lnp(x|θ)σ2mx=2lnp(x|θ)mxσ2(385)
費希爾信息矩陣為I(θ)=-E-Nσ2-E-1σ4∑N-1n=0(xn-mx)
-E-1σ4∑N-1n=0(xn-mx)-EN2σ4-1σ6∑N-1n=0(xn-mx)2=Nσ200N2σ4(386)
因此，容易得出參數估計的CRB為Var(m^x)≥σ2N(387)
Var(σ^2)≥2σ4N(388)

3．3．3參數變換的CRB在實際中，經常遇到希望估計的參數是某個參數的函數，例如，在電平估計中,有時感興趣的不是信號電平A的估計，而是信號的功率A2，假設估計A的CRB已知，如何得到A2估計的CRB呢？以下公式回答這一問題。假定可以直接計算CRB的參數為θ，希望估計的參數為α，兩者有如下函數關繫： α=T(θ)。那麼，可以證明，α^的CRB為Var(α^)≥T(θ)θ2-E2lnp(x|θ)θ2(389)
例如，基於例33中式（387）的結果求α=m2x的CRB，則Var(α^)≥(2mx)2N/σ2=4m2xσ2N(390)實際應用中經常踫到多變量的映射關繫。例如，獨立同分布高斯隨機信號的平均功率D=m2x σ2。前面已經得到估計mx、σ2的CRB，在此基礎上可采用以下方法得到估計D的CRB。假設P×1維矢量θ包含模型中的可估計參數，有多個待估計參數，並且均可表示為θ的函數，記為α=T(θ)，其中T(θ)是R×1維的函數矢量，即α=［T1(θ)T2(θ)…TR(θ)］T(391)
則E［(α^-α)(α^-α)T］≥T(θ)θTI-1(θ)T(θ)θTT(392)式中T(θ)/θT的定義見式(376)。例35對高斯白噪聲中恆定電平，求信噪比估計的CRB。解高斯白噪聲中恆定電平觀測的數學模型為xn=A wn，其中A為電平值，wn∝(0,σ2)為零均值高斯白噪聲，信噪比定義為α=A2/σ2，因此可先計算估計A,σ2的CRB。注意到觀測數據可以看成是非零均值高斯信號，A,σ2的估計對應均值和方差的估計，可采用例34的結果。設θ=［Aσ2］T，T(θ)=A2/σ2，由例34可知I(θ)=Nσ200N2σ4(393)又因為T(θ)θT=T(θ)AT(θ)σ2=2Aσ2-1σ4(394)
所以T(θ)θTI-1(θ)T(θ)θTT=2Aσ2-1σ4σ2N002σ4N2Aσ2-1σ4(395)=4A2Nσ2 2Nσ4(396)

可以證明,對矢量參數的有效估計量經過線性變換後仍然是有效估計量，而矢量參數的有效估計量經過非線性變換後是漸近有效估計量。3．3．4復參數估計的CRB當待估計參數是復數時，推導涉及復變函數的微分操作，比實參數估計復雜很多。這一節先給出復變函數的基本概念，再介紹一種復參數估計CRB的推導方法。令復自變量為z=x jy，x,y∈R。定義在復數域的函數為f(z)=u(z,z) jv(z,z)=u(x,y) jv(x,y)(397)
其中u(x,y),v(x,y)函數。f(z)的導數定義為fz=12fx-jfy
fz=12fx jfy(398)復變函數可導的充分必要條件可參考相關復變函數文獻。這裡假設所涉及的復變函數均可導，以下是一些常用的性質。假設g(z)，f(z)在區域D內可導，則其導數滿足以下性質： ddz(f(z) g(z))=df(z)dz dg(z)dz(399)ddz(f(z)·g(z))=df(z)dzg(z) dg(z)dzf(z)(3100)ddzf(z)g(z)=1g2(z)df(z)dzg(z)-dg(z)dzf(z)(3101)ddz(f(g(z)))=df(g)dgdg(z)dz(3102)
對多變量函數，如f(z)，其中z=［z1,z2,…,zN］T為包含所有自變量的矢量，其導數定義為f(z)z=f(z)z1，f(z)z2，…，f(z)zNT(3103)
對多維函數，可定義與式(370)相同的偏導數。根據該定義可得以下對復矢量的常用導數。aHzz=a*(3104)zHAzz=ATz*(3105)
接下來考慮復參數估計的CRB，假設觀測數據為Z=［z0，z1，…，zN-1］，觀測數據的信號產生模型已知，但其中有L個未知參數，記為θ=［θ1,θ2,…,θL］T。待估計的目標參數為θ的函數，記為p=［p1(θ),p2(θ),…,pK(θ)］T(3106)
記估計子為r(Z)，考慮無偏估計子，有∫Ωr(Z)f(Z|θ)dZ=p(3107)
其中Ω表示觀測空間，上式兩邊對θ求偏導可得∫Ωr(Z)f(Z|θ)θHdZ=pθH(3108)上式左邊重寫為∫Ωr(Z)f(Z|θ)θHdZ=∫Ωr(Z)lnf(Z|θ)θHf(Z|θ)dZ
=Er(Z)lnf(Z|θ)θH(3109)於是pθH=Er(Z)lnf(Z|θ)θH(3110)
簡記r(Z)為r，lnf(Z|θ)為lnf，構造如下矢量r
lnfθHH(K L)×1(3111)可算出其自協方差矩陣，並由自協方差矩陣的半正定特性可得Cov(r,r)pθH
pθHHElnfθHHlnfθH≥0(3112)
其中已經用到式(3110)的結論。根據自協方差矩陣特性，下式成立D-pθHI-1(θ)Cov(r,r)pθH
pθHHI(θ)D-pθHI-1(θ)H≥0(3113)
其中D為單位矩陣，進一步將費希爾信息量矩陣定義為I(θ)=ElnfθHHlnfθH(3114)
經簡單計算，式(3113)矩陣可化簡為Cov(r,r)-pθHI-1(θ)pθHH≥0(3115)
可以得到估計子的誤差界為Cov(r,r)≥pθHI-1(θ)pθHH(3116)上式和式(392)實參量估計的CRB是統一的。下面以一個例子介紹CRB的具體計算過程。
例36通信中常用以下觀測模型： xn=Asn wn,n=0,1,…,N-1(3117)其中A為復值信道響應，sn為正交調制發送信號，wn是零均值復高斯白噪聲序列，方差為σ2，假設發送符號有歸一化功率，即sn2=1，求信道估計的CRB。解根據式(295)給出的復高斯概率分布，關於A的一維條件概率分布為p(x|A)=1πσ2exp-xn-Asn2σ2(3118)多變量的聯合概率密度為p(x|A)=1πσ2N∏N-1n=0exp-xn-Asn2σ2(3119)基於式(3114)費希爾信息量矩陣的定義及式(350)所示的規範化條件，可以得到與式(339)類似的結論。I(θ)=Elnp(x|θ)θlnp(x|θ)θ=-E2lnp(x|θ)θθ(3120)對數聯合概率密度的一、二階偏導數為lnp(x|A)A=∑N-1n=0snxn-Asnσ2(3121)2lnp(x|A)AA=-1σ2∑N-1n=0sn2=Nσ2(3122)可得到估計信道響應的性能界為CRBA=σ2N(3123)
3．4似然估計當被估計量為未知常量時，可以采用比較簡單的似然估計。似然估計可以簡便地完成對復雜估計問題的求解，而且，當觀測數據足夠多時，其性能也是非常好的。因此，似然估計在實際中得到了廣泛采用。本節隻考慮實參數的估計。3．4．1似然估計的基本原理設觀測矢量x=［x0x1…xN-1］T，待估計參量為θ。觀測數據與待估計量的概率依賴關繫以概率密度p(x|θ)描述。概率密度是以θ為參量的函數，在觀測給定的條件下，如x=x0，p(x=x0|θ)反映了θ取各個值的可能性大小，稱p(x=x0|θ)為θ的似然函數，p(x=x0|θ)簡記為p(x|θ)。估計問題本質上就是根據觀測求出未知量，也就是說，在得到某個觀測值x=x0後，如何根據這個觀測來確定未知量θ的值。從另外一個角度，似然函數p(x=x0|θ)反映了對不同的θ值觀測到x=x0的概率。因為當前的觀測結果剛好就是x0，於是可認為實際中觀測到x=x0的概率應該盡可能大，即θ取值應該使得p(x=x0|θ)取得。使似然函數所對應的參數θ作為對θ的估計，稱為似然估計，記為θ^ml，即θ^ml=argmaxθ p(xθ)或θ^ml=argmaxθ ln p(x|θ)(3124)
下面以兩個例子說明似然準則的應用。例37設實隨機變量滿足以下分布： x∝N(0,σ2)，有N次獨立觀測x0,…,xN-1，求σ2的似然估計。解單變量似然函數為p(x|σ2)=12πσ21/2exp-x22σ2(3125)多變量聯合似然函數為p(x|σ2)=12πσ2N/2exp-12σ2∑N-1n=0x2n(3126)
對數聯合似然函數lnp(x|σ2)=-N2ln(2πσ2)-12σ2∑N-1n=0x2n(3127)
令lnp(x|σ2)σ2=0(3128)得到估計結果為σ^2ml=1N∑N-1n=0x2n(3129)
很容易驗證2lnp(x|σ2)(σ2)2σ2=1N∑N-1n=0x2n<0(3130)
所以式(3129)求得的是值。例38假定觀測序列為xn=Acos(2πf0n ) wn,n=0,1,…,N-1(3131)
幅度A和頻率f0是已知的，wn是零均值高斯白噪聲序列，方差為σ2，求相位的似然估計。解似然函數為p(x|)=1(2πσ2)N/2exp-12σ2∑N-1n=0［xn-Acos(2πf0n )］2(3132)
對數似然函數及其導數為lnp(x|)=-N2ln(2πσ2)-12σ2∑N-1n=0［xn-Acos(2πf0n )］2(3133)lnp(x|)=-1σ2∑N-1n=0［xn-Acos(2πf0n )］Asin(2πf0n )(3134)
令上式等於零可得∑N-1n=0xnsin(2πf0n ^ml)=A∑N-1n=0cos(2πf0n ^ml)sin(2πf0n ^ml)
=2A∑N-1n=0sin(4πf0n 2^ml)(3135)
當f0不在0或1/2附近時，上式右邊是周期序列求和，當N足夠大時，可認為其值近似為零。因此，似然估計近似滿足∑N-1n=0xnsin(2πf0n ^ml)=0(3136)
展開上式，得∑N-1n=0xnsin2πf0ncos^ml=-∑N-1n=0xncos2πf0nsin^ml(3137)^ml=-arctan∑N-1n=0xnsin2πf0n∑N-1n=0xncos2πf0n(3138)
前面討論的是單參量的似然估計問題，在實際中經常需要同時估計多個參量，例如，在雷達信號的處理中，當檢測到目標後，需要同時估計目標的位置、速度等參量，這樣的問題稱為多參量同時估計，或稱為矢量估計。式(3124)所描述的似然估計很容易推廣到矢量估計的情形。考慮實參數估計問題，設有p個參量θ0,θ1,…,θp-1需要同時估計，定義一個p維矢量θ=［θ0,θ1,…,θp-1］T，那麼似然估計定義為θ^ml=argmaxθp(x|θ)或者θ^ml=argmaxθlnp(x|θ)(3139)
類似地，似然估計的必要條件是p(x|θ)θ|θ=θ^ml=0或者lnp(x|θ)θ|θ=θ^ml=0(3140)
例39設有N次獨立觀測xn=A wn，其中wn∝N(0,σ2)，A，σ2均未知，求A，σ2的似然估計。解令θ=［Aσ2］T，則p(x|θ)=12πσ2N/2exp-12σ2∑N-1n=0(xn-A)2(3141)lnp(x|θ)=-N2ln(2πσ2)-12σ2∑N-1n=0(xn-A)2(3142)lnp(x|θ)θ=Nσ21N∑N-1n=0xn-A-N2σ4σ2-1N∑N-1n=0(xn-A)2(3143)

令lnp(x|θ)θθ=θ^ml=0，可求得似然估計為θ^ml=A^mlσ^2ml=x-1N∑N-1n=0(xn-x-)2(3144)其中x-表示樣本的直接平均，定義為x-=1N∑N-1n=0xn(3145)以下例子給出更一般化線性估計模型中的似然估計算法。例310假定待估計矢量為θ=［θ0,θ1,…,θp-1］T，觀測數據x=［x0,x1,…,xN-1］T，由如下的線性模型表示x=Hθ w(3146)其中，H是N×p的矩陣，且N>p，H的秩為p，w是多維高斯噪聲，其概率模型為w∝N(0,C)，其中C為w的協方差矩陣。求θ的似然估計。解由式(291)得似然函數為p(x|θ)=1(2π)N/2［det(C)］1/2exp-12(x-Hθ)TC-1(x-Hθ)(3147)要使似然函數，隻需使下面的表達式小J(θ)=(x-Hθ)TC-1(x-Hθ)(3148)
基於式(373)，式(374)，並利用協方差矩陣對稱性，將式對θ求導J(θ)θ=-2HTC-1(x-Hθ) (3149)令導數等於零，即可求得似然估計，即HTC-1(x-Hθ^ml)=0(3150)解上面的方程式得似然估計為θ^ml=(HTC-1H)-1HTC-1x(3151)由上式可以看出，線性觀測模型的似然估計是觀測結果的線性函數，計算簡單，因此在噪聲協方差矩陣已知情況下是常用的估計算法。3．4．2變換參數的似然估計在許多情況下，希望得到估計參量θ的一個函數，例如α=T(θ)，如果利用似然準則求得θ^，如何進一步求解α^？下面通過幾個例子來說明變換參數的似然估計的求法。例311設有N次獨立觀測xn=A wn，n=0,1,…,N-1。其中wn∝N(0,σ2)，A為未知參數，σ2已知，求α=eA的似然估計。解α的似然函數及其導數為p(x|α)=12πσ2N/2exp-12σ2∑N-1n=0(xn-lnα)2(3152)lnp(x|α)α=1ασ2∑N-1n=0(xn-lnα)=Nασ21N∑N-1n=0xn-

商品搜索

商品分类

【醫學】

【各大出版社】