了得網自然科學_時滯遞歸神經網絡的狀態估計理論與應用

編輯推薦

信息理技術、應用數學、非線性科學與自動控制等學科的本科高年級學生、研究生，從事智能控制領域研究的科研人員。

內容簡介

通常一個用於解決復雜非線性問題的人工神經網絡模型具有大量，並且它們之間的連接是非常復雜的。在實際中人們很難完全知道每的狀態信息，因此對時滯遞歸神經網絡的狀態估計問題的研究具有非常重要的意義。《時滯遞歸神經網絡的狀態估計理論與應用》主要介紹有關時滯遞歸神經網絡的狀態估計理論和應用的*成果，運用多種不同的方法（如時滯劃分方法、松弛變量方法和多重積分不等式方法等）處理三類時滯神經網絡的狀態估計問題，給出了狀態估計器的設計算法，並通過大量的例子來驗證《時滯遞歸神經網絡的狀態估計理論與應用》的理論成果。後，討論了理論成果在反饋控制中的應用。

作者簡介

前言
第1章引言
1.1 神經網絡的研究進展
1.2 遞歸神經網絡的分類
1.3 遞歸神經網絡的動力學行為
1.3.1 Lvapunov穩定性理論簡介
1.3.2 時滯線性繫統的穩定性
1.3.3 時滯遞歸神經網絡的穩定性
1.4 研究現狀和全書主要內容概述
1.5 幾個常用的引理
部分時滯局部場神經網絡的狀態估計
第2章時滯局部場神經網絡的狀態估計(Ⅰ)：基於自由權矩陣的方法
2.1 問題的描述
2.2 時滯局部場神經網絡的狀態估計器設計前言
第1章引言
1.1 神經網絡的研究進展
1.2 遞歸神經網絡的分類
1.3 遞歸神經網絡的動力學行為
1.3.1 Lvapunov穩定性理論簡介
1.3.2 時滯線性繫統的穩定性
1.3.3 時滯遞歸神經網絡的穩定性
1.4 研究現狀和全書主要內容概述
1.5 幾個常用的引理
部分時滯局部場神經網絡的狀態估計
第2章時滯局部場神經網絡的狀態估計(Ⅰ)：基於自由權矩陣的方法
2.1 問題的描述
2.2 時滯局部場神經網絡的狀態估計器設計
2.3 仿真示例
2.4 本章小結
第3章時滯局部場神經網絡的狀態估計(Ⅱ)：基於改進的時滯劃分方法
3.1 問題的描述
3.2 改進的時滯劃分方法的基本思想
3.3 基於改進時滯劃分方法的狀態估計器設計
3.4 數值結果與比較
3.5 本章小結
第4章時滯局部場神經網絡的狀態估計(Ⅲ)：基於松弛參數的方法
4.1 問題的描述
4.2 基於松弛參數的狀態估計器設計
4.3 在時滯混沌神經網絡中的應用
4.4 本章小結
第5章具有參數不確定性的時滯局部場神經網絡的魯棒狀態估計
5.1 問題的描述
5.2 魯棒狀態估計器的設計
5.3 不帶參數不確定性的時滯局部場神經網絡的狀態估計
5.4 仿真示例
5.5 本章小結
第6章時滯局部場神經網絡的保性能狀態估計
6.1 問題的描述
6.2 依賴於時滯的保H∞性能的狀態估計器的設計
6.3 依賴於時滯的保廣義H2性能的狀態估計器的設計
6.4 兩個示例
6.5 討論與比較
6.6 本章小結
第二部分時滯靜態神經網絡的狀態估計
第7章時滯靜態神經網絡的狀態估計(Ⅰ)：依賴於時滯的設計方法
7.1 問題的描述
7.2 狀態估計器的設計
7.3 時滯靜態神經網絡的穩定性分析
7.4 仿真示例
7.5 本章小結
第8章時滯靜態神經網絡的狀態估計(Ⅱ)：保性能狀態估計的初步結果
8.1 問題的描述
8.2 時滯靜態神經網絡的保H∞性能的狀態估計
8.2.1 不依賴於時滯的保H∞性能的狀態估計
8.2.2 依賴於時滯的保H∞性能的狀態估計
8.3 保廣義H2性能的狀態估計器設計
8.3.1 不依賴於時滯的保廣義H2性能的狀態估計
8.3.2 依賴於時滯的保廣義H2性能的狀態估計
8.4 仿真示例
8.5 本章小結
第9章時滯靜態神經網絡的狀態估計(Ⅲ)：基於二階積分不等式的保性能狀態估計
9.1 問題的描述
9.2 基於二階積分不等式的保H∞性能的狀態估計
9.2.1 依賴於時滯的保H∞性能的設計準則.
9.2.2 仿真示例
9.3 基於二階積分不等式的保廣義H2性能的狀態估計
9.3.1 依賴於時滯的保廣義H2性能的設計準則
9.3.2 仿真示例
9.4 本章小結
第10章時滯靜態神經網絡的狀態估計(Ⅳ)：Arcak型狀態估計器設計
10.1 問題的描述
10.2 保廣義H2性能的狀態估計
10.3 示例與數值比較
10.4 本章小結
第三部分帶馬爾可夫跳躍參數的時滯遞歸神經網絡的狀態估計
第11章依賴於繫統模態的帶馬爾可夫跳躍參數和混合時滯的遞歸神經網絡的狀態估計
11.1 問題的描述
11.2 依賴於繫統模態的狀態估計器設計
11.3 討論與比較
11.4 具有復雜動力學行為的馬爾可夫跳躍神經網絡的狀態估計
11.5 本章小結
第12章帶馬爾可夫跳躍參數的時滯遞歸神經網絡的濾波器設計
12.1 問題的描述
12.2 H∞濾波器的設計
12.3 L2-L∞濾波器的設計
12.4 仿真示例
12.5 本章小結
第四部分時滯遞歸神經網絡的狀態估計理論在反饋控制方面的應用
第13章基於狀態估計理論的時滯遞歸神經網絡的指數鎮定
13.1 問題的描述
13.2 基於狀態估計的反饋控制
13.3 仿真示例
13.4 本章小結
參考文獻
本書常用的數學符號

前言

媒體評論

在線試讀

第 1章引言
所謂的人工神經網絡（ arti.cial neural network，以下簡稱為神經網絡）是模擬生物神經繫統的工作方式而設計實現的，由大（ neuron，有時也稱為）相互連接所構成的，具有通過學習獲取知識並解決問題的功能的一種計算模型。因此，神經網絡在用於解決實際問題之前必須得到充分的學習。學習的方式主要有三類：無監督學習（ unsupervised learning）、有監督學習（ supervised learning）和強化學習（ reinforcement learning）。
神經網絡模型的三個基本要素為：連接權值（ connection weight）、以及激勵函數（ activation function）。其中，連接權值可用於存儲學習到的知識的偏置（ bias）也可以當作權值來理解，隻是此時對應的輸入恆為 1；用於計輸入信號的加權和；激勵函數可以的輸出限定在某個給定
1 . e.αx 的範圍內。比如，常用的 S型函數 1 + e1 .αx和 1+e.αx就可以分別的
輸出限制在 (0, 1)和 (.1, 1)這兩個區間內。
1.1神經網絡的研究進展
20世紀 40年代 W. McCullon和 W. Pitts提出 M-模型以及 D. Hebb提出學習規則（即 Hebb規則）以來，神經網絡理論得到了極大的發展。但是，其發展過程並不是一帆風順的。事實上，神經網絡理論的發展既經歷過高潮時期，也有低谷階段，可謂一波三折。在研究的初始階段，由於受當時科學技術和認知水平的影響，人們沒有完全掌握神經網絡所具有的強大的計算與信息處理能力，甚至認為神經網絡連一些簡單的非線性可分問題都無法解決，從而使得神經網絡的理論研究停滯不前。我們不妨來看一個簡單的例子。在邏輯學中，異或問題（ XOR）是一種簡單的二值邏輯運算，通常記為 A ? B。其運算規則為：當兩個變量的取值相同時，邏輯函數值為 0；當兩個變量的取值不同時，邏輯函數值為 1。異或問題的真值表如表 1.1所示。對於這樣簡單的一個非線性可分問題，我們都沒法用單層前向神經網絡（ single-layer feedforward neural network）進行求解。雖然多層前向神經網絡（ multi-layer feedforward neural network）可以非常容易地解決這一問題，但是當時缺乏有效的權值調整的學習算法。這就使得人們悲觀地相信神經網絡理論不會有好的發展前景，從而直接導致了神經網絡的研究在短暫的興起後很快就跌入了低谷。
表 1.1 異或問題的真值表值得慶幸的是，在這一時期，仍然有不少科
A B A ? B 學家還堅持著對神經網絡的理論研究。直到 20
1 1 0 世紀七八十年代，隨著 Hop.eld神經網絡模型和第 1章引言
所謂的人工神經網絡（ arti.cial neural network，以下簡稱為神經網絡）是模擬生物神經繫統的工作方式而設計實現的，由大（ neuron，有時也稱為）相互連接所構成的，具有通過學習獲取知識並解決問題的功能的一種計算模型。因此，神經網絡在用於解決實際問題之前必須得到充分的學習。學習的方式主要有三類：無監督學習（ unsupervised learning）、有監督學習（ supervised learning）和強化學習（ reinforcement learning）。
神經網絡模型的三個基本要素為：連接權值（ connection weight）、以及激勵函數（ activation function）。其中，連接權值可用於存儲學習到的知識的偏置（ bias）也可以當作權值來理解，隻是此時對應的輸入恆為 1；用於計輸入信號的加權和；激勵函數可以的輸出限定在某個給定
1 . e.αx 的範圍內。比如，常用的 S型函數 1 + e1 .αx和 1+e.αx就可以分別的
輸出限制在 (0, 1)和 (.1, 1)這兩個區間內。
1.1神經網絡的研究進展
20世紀 40年代 W. McCullon和 W. Pitts提出 M-模型以及 D. Hebb提出學習規則（即 Hebb規則）以來，神經網絡理論得到了極大的發展。但是，其發展過程並不是一帆風順的。事實上，神經網絡理論的發展既經歷過高潮時期，也有低谷階段，可謂一波三折。在研究的初始階段，由於受當時科學技術和認知水平的影響，人們沒有完全掌握神經網絡所具有的強大的計算與信息處理能力，甚至認為神經網絡連一些簡單的非線性可分問題都無法解決，從而使得神經網絡的理論研究停滯不前。我們不妨來看一個簡單的例子。在邏輯學中，異或問題（ XOR）是一種簡單的二值邏輯運算，通常記為 A ? B。其運算規則為：當兩個變量的取值相同時，邏輯函數值為 0；當兩個變量的取值不同時，邏輯函數值為 1。異或問題的真值表如表 1.1所示。對於這樣簡單的一個非線性可分問題，我們都沒法用單層前向神經網絡（ single-layer feedforward neural network）進行求解。雖然多層前向神經網絡（ multi-layer feedforward neural network）可以非常容易地解決這一問題，但是當時缺乏有效的權值調整的學習算法。這就使得人們悲觀地相信神經網絡理論不會有好的發展前景，從而直接導致了神經網絡的研究在短暫的興起後很快就跌入了低谷。
表 1.1 異或問題的真值表值得慶幸的是，在這一時期，仍然有不少科
A B A ? B 學家還堅持著對神經網絡的理論研究。直到 20
1 1 0 世紀七八十年代，隨著 Hop.eld神經網絡模型和
1 0 1 一些著名的多層前向神經網絡的學習算法的提
0 0 1 0 1 0 出，人們對神經網絡的研究興趣纔再次興起。也
正是在這個時候，遞歸神經網絡模型（ recurrent

neural network）纔被建立起來 [1, 2]。在此之前，人們更多的是注重於前向神經網絡
（feedforward neural network）的研究與應用。在前向神經網絡中，信號從輸入經過隱傳輸到輸出，沒有信息可以反饋回來作為輸入的輸入。著名的前向神經網絡模型有單層感知器（ single-layer perceptron）、多層感知器（ multi-layer perceptron）、徑向基函數網絡（ radial basis function network）、自組織特征映射（ self-organizing feature mapping）以及 Boltzmann（玻爾茲曼）機等 [3, 4]。與此同時，提出了很多非常著名的適用於前向神經網絡訓練的學習算法。比較有代表性的算法有誤差後向傳播算法（ error back-propagation algorithm，簡稱 BP算法）、Widrow-Ho.學習規則、正交小二乘算法（ orthogonal least squares algorithm）和內插值算法（ interpolation algorithm）等。隨著研究的不斷深入，目前也有許多智能算法被成功地應用於訓練各種前向神經網絡，如遺傳算法（ genetic algorithm）、免疫算法（ immune algorithm）、蟻群算法（ ant colony algorithm）、模擬退火算法（ simulated annealing algorithm）以及粒子群算法（ particle swarm algorithm）等。當然，前向神經網絡模型的結構也越來越復雜。比如，一個前向神經網絡可以由多個子神經網絡組成，即其中的一些本身就是一個神經網絡。已經知道，前向神經網絡模型具有很多的優點。在此，我們簡單列舉幾點。
（1）並行處理與分布式存儲。和傳統計算機的按地址存儲方式不同，神經網絡是將學習獲得的知識存儲在一些重要的參數中，的連接權值。因此，學習的目的就是按照某種方式不斷地調之間的權值，直到算法停止條件滿足為止。算法停止的條件可以是目標函數小於某一事先給定的閾值，或者迭代達到的訓練次數等。

（2）函數逼近能力。已經在理論上嚴格證明，隻要隱的個數足夠多，多層前向神經網絡可以以任意精度逼近一個定義在緊集上的連續函數 [1]。這樣，前向神經網絡模型就可以作為一個通用的函數逼近器。因此可廣泛用於對未知繫統進行建模。但是，不足之處是，這個結論沒有告訴人們在設計多層神經網絡時如何選擇合適的隱個數。

（3）非線性映射。由之間復雜的連接以的激勵函數常常都具有非線性性，所以神經網絡本身具有很強的非線性處理能力。事實上，神經網絡

可以理解為一個從輸入空間到輸出空間的非線性映射。

（4）魯棒性和容錯性。通常，神經網絡模型都是由大量經過高度互連所組成的，所以局的損壞並不會嚴重影響神經網絡本身的正常運行。

（5）自適應性。神經網絡可以通過自身的調整適應外界環境的變化。

（6）學習和聯想能力。一個神經網絡隻有經過充分的學習後纔能用於解決實際的問題。

和前向神經網絡不同的是，遞歸神經網絡模型中存在反饋。也就是說，一的輸出信號可以反饋回來作為其（甚至是自身）的輸入。所以，在遞歸神經網絡中的輸入信號可以有兩部分：一部分是外部輸入（或者外界的刺激）；另一部分是反饋回來的其的輸出信號。我們所熟悉的 Hop.eld神經網絡的輸入就是這樣的。從而，遞歸神經網絡可以用動態方程來描述。一般，離散時間的遞歸神經網絡用差分方程（ di.erence equation）表示，連續時間的遞歸神經網絡用微分方程（ di.erential equation）表示。這類神經網絡除了具有前向神經網絡的優點之外，還具有一些特殊的優點，比如：

（1）具有豐富的動力學行為。我們講過，遞歸神經網絡可以用一個動態方程來刻畫。因此，在計算的過程中，模型本身會不斷地演化以致於產生復雜的動力學行為，甚至混沌現像。

（2）易於硬件實現和模擬仿真。遞歸神經網絡可以很容易地用大規模集成電路（ very large scale integration，VLSI）來實現。過去，人們對神經網絡的硬件實現做了大量的研究工作，詳見文獻 [5]。當然，在硬件實現時需要一定的成本。因此，為了節約成本或者在條件不成熟時，人們可以利用軟件對遞歸神經網絡的演化過程進行模擬。

（3）便於理論分析。人們可以借助於已有的數學、物理和信息等領域的知識對遞歸神經網絡進行理論分析。比如， J. J. Hop.eld早通過定義能量函數和運用著名的 Lyapunov（李雅普諾夫）穩定性理論分析了 Hop.eld神經網絡的穩定性[6]。這樣，在解決實際問題時，就可以將問題的解與遞歸神經網絡的穩定的平衡點（ equilibrium point）對應起來。

由於以上的諸多優點，遞歸神經網絡理論在近 30年來得到了飛速的發展，在各種領域取得了非常成功的應用。這些領域包括自適應控制、航天航空、電子科學與技術、機械工程、金融、地質勘探、組合優化、生物醫學工程、海洋工程以及制造工程等[1, 7–21]。

1.2遞歸神經網絡的分類
迄今為止，人們已經成功地建立了許多不同的遞歸神經網絡模型。這些模型
在網絡結構、性能與應用等方面都有各自的特點。我們熟知的遞歸神經網絡模型有可加神經網絡（ additive neural network）[2, 22–24]、Cohen-Grossberg神經網絡 [25]、Hop.eld神經網絡 [6, 26, 27]、細胞神經網絡（ cellular neural network）[28, 29]、雙向聯想記憶神經網絡（ bidirectional associative memory neural network）[30, 31]、盒中腦模型（ brain-in-a-box model）[32]以及投影神經網絡（ projection neural net-work）[33, 34]等。
根據建模時所采用的基本變量的不同，遞歸神經網絡可以分為兩大類 [35, 36]。
一類是的局部場狀態為基本變量而建立的局部場神經網絡模型（ local .eld neural network）。由 n組成的局部場神經網絡模型可以用如下的微分方程來表示：
n
dui(t) = .aiui(t)+ . wij fj (uj(t)) + Ji (1.1)
dt
j=1 其中， i =1, 2, ,n，wij j和 i之間的連接權值， fj j的激勵函數， Ji是作用 i的外部輸入。前面提到的 Cohen-Grossberg神經網絡、 Hop.eld神經網絡、細胞神經網絡、雙向聯想記憶神經網絡都是著名的局部場神經網絡模型。
另一類是所謂的靜態神經網絡（ static neural network）[2]。在這一類模型中的狀態被作為基本變量用來實現對神經網絡的動力學演化規則的刻畫。從數學上來講，靜態神經網絡可以表示為
. n.
dvi(t) = .aivi(t)+ fi . wijvj (t)+ Ji (1.2)
dt ..
j=1
典型的靜態神經網絡模型有盒中腦模型以及被廣泛應用於求解組合優化問題的投影神經網絡等。
由式 (1.1)和式 (1.2)不難發現，局部場神經網絡和靜態神經網絡並不相同。已經知道，隻有當某些特定條件滿足時，這兩類遞歸神經網絡模型纔能相互轉化。為了說明這一問題，記
T
u(t)= [u1(t),u2(t), ,un(t)f
T
v(t)= v1(t),v2(t), ,vn(t)f
[
A = diag(a1,a2, ,an)
W =[wij ]n×n
T
J = [J1,J2, ,Jnf
可以證明，之間的連接權矩陣 W可逆且 WA = AW時，通過變換 u(t)= Wv(t)+ J，式 (1.2)就可以轉化為式 (1.1)。但是，這個條件並不總是成立的。文
獻 [32]就給出了一個實際的例子。這個例子說明了在一般情況下這些條件並不一定能滿足。因此，我們有必要對這兩類遞歸神經網絡分別進行討論。

1.3遞歸神經網絡的動力學行為
對遞歸神經網絡來講，一個非常重要的性質就是希望它的平衡點是穩定的。那麼，什麼是平衡點呢？假設一個 n階自治繫統的狀態方程為
dx(t)
= f(x(t))
dt
其中， f(x(t))是一連續的向量值函數，則其平衡點為滿足 f(x .)=0的平凡解 x .。仍以式

商品搜索

商品分类

【醫學】

【各大出版社】