本書內容屬於控制理論與神經科學的交叉研究方向，以腦疾病中的帕金森病為背景。第1章為緒論，介紹了帕金森病的電生理特性、用於治療帕金森病的DBS技術及PID閉環調制策略等。第2～3章介紹了用於建模正常狀態和帕金森病狀態下的脈數學模型，包括單模型，如經典的Izhikevich模型，Morris-Lecar模型、雙間室模型和振蕩子網絡模型及神經網絡模型；還包括建模基底核的Rubin-Terman模型和小世界網絡模型等。第4～6章介紹了基於相重置和動態規劃的帕金森病**控制；還介紹了基於模型的機器學習算法在腦疾病**神經調控策略中的應用，主要包括動態規劃法、Q學習算法和Actor-Critic法等幾種典型的強化學習算法。本書可供計算神經科學方向的學者和研究生閱讀，也可為對強化學習理論和應用感興趣的讀者提供一定幫助。

盧梅麗，女，出生於1981年，本碩博均畢業於985高校天津大學，並在世界知名外企從事了三年的研發工作，目前任職於天津一所二本高校，主要從事類腦計算，神經工程，最優控制和機器學習方面的研究。目前主持一項國家自然科學基金項目，參與多項國家自然科學基金項目和天津市應用基礎及前沿研究項目。在所研究領域發表了多篇高水平論文，曾經在美國訪學一年，與美國教授Professor Loparo合作在高水平期刊IEEE Transactions on Neural System and Rehabilitation Engineering上發表了一篇論文。

第1章 緒論 1
1．1 腦科學 1
1．1．1 類腦研究 1
1．1．2 腦疾病 2
1．2 帕金森病及其診療技術 3
1．2．1 帕金森病與神經電生理特性 4
1．2．2 深部腦刺激技術 6
1．3 閉環控制技術 7
1．3．1 PID閉環調制 7
1．3．2 自適應神經調制 8
1．3．3 最優控制策略 8
第2章 帕金森病的脈衝模型 10
2．1 脈衝模型 10
2．1．1 生物模型 10
2．1．2 單間室電生理模型 11
2．1．3 雙間室電生理模型 16
2．1．4 電纜模型 22
2．1．5 簡化模型 25
2．2 脈衝網絡模型 36
2．2．1 功能性神經網絡模型 37
2．2．2 基底核電生理網絡模型 42
2．3 本章小結 68
第3章 脈衝模型的非線性動態 69
3．1 相關理論 69
3．1．1 奇異攝動理論 70
3．1．2 Zeeman模型漸近結構分析 72
3．2 脈衝模型的典型非線性動力學分析 76
3．2．1 脈衝模型的快慢時間繫統漸近結構分析 76
3．2．2 脈衝模型的相平面分析 80
3．2．3 脈衝模型的分岔動態 84
3．2．4 脈衝模型的同步分析 87
3．3 相響應曲線分析 97
3．3．1 單峰脈的相響應曲線與同步 97
3．3．2 簇放的相響應曲線與同步 105
3．4 本章小結 116
第4章 基於相重置的帕金森病最優控制 117
4．1 帕金森病的治療機制 117
4．1．1 帕金森病與同步現像 117
4．1．2 神經繫統的去同步控制 118
4．2 帕金森病的相重置優化控制 119
4．2．1 從狀態方程到相模型 120
4．2．2 外部強擾動下的PRC 122
4．2．3 耦合對模型PRC的影響 125
4．2．4 的相重置控制 128
4．3 本章小結 129
第5章 基於動態規劃的帕金森病最優控制 130
5．1 動態規劃 130
5．1．1 動態規劃概念 130
5．1．2 離散的動態規劃 131
5．1．3 連續的動態規劃 136
5．2 帕金森病的動態規劃最優控制 139
5．2．1 控制問題描述 139
5．2．2 動態規劃算法描述 140
5．2．3 控制結果 142
5．3 本章小結 153
第6章 基於強化學習的帕金森病最優控制 155
6．1 強化學習基本概念 156
6．2 強化學習的算法 157
6．2．1 蒙特卡羅法 158
6．2．2 瞬時差分法 160
6．2．3 Sarsa算法 161
6．2．4 Q學習算法 163
6．3 連續的強化學習 166
6．3．1 RBF神經網絡Q學習 167
6．3．2 BP神經網絡 172
6．3．3 CMAC神經網絡 173
6．4 帕金森病的強化學習最優控制 174
6．4．1 控制問題描述 174
6．4．2 算法實現 176
6．5 本章小結 179
參考文獻 180

前 言

腦科學近年已成為全世界科學研究的熱點，腦科學的研究中強調“一體兩翼”的思想。“一體”是指以闡釋人類認知的神經基礎為主體和核心。“兩翼”一是指在大數據快速發展的時代背景下，根據大腦運作原理及機制通過計算和模擬進行人工智能研究；二是指大力加強對預防、診斷和治療重大腦疾病的研究。

在各種腦疾病中，帕金森病是多發於中年老人的一種神經退行性疾病，隨著老齡化社會的到來，帕金森病給社會和家庭帶來了很大的負擔，其治療也引起了學者廣泛的研究興趣。早期帕金森病的治療可以采用左旋多巴等藥物手段，隨著疾病的發展，中晚期帕金森病則需要采用深部腦刺激技術等手術療法。目前，深部腦刺激技術已經被成功地應用到帕金森病等神經精神疾病的臨床治療中，但由於其治療機制仍未完全清楚，還存在一些治療局限，仍然達不到最優的治療效果，還可能由此帶來一些副作用和風險。

國內外學者采用很多方法對深部腦刺激技術的治療效果進行優化，其中，最引人矚目的一項是利用計算模型進行優化。采用計算模型模擬大腦的疾病狀態，並基於模型設計最優的神經調控模式是目前計算神經科學領域研究的前沿問題。當前關於腦疾病的數學模型眾多，但很多都不成繫統，基於這種現狀，本書將建模帕金森病的常用模型，從單到神經網絡逐一進行詳細的分析與介紹，包括單針對的建模場景、固有的動力學特性等。同時，基於大腦神經解剖結構建立刻畫了正常狀態及帕金森病狀態的脈衝神經網絡模型，包括經典的Rubin-Terman模型、皮層-基底核-丘腦閉環網絡模型和一般情況下的功能網絡模型。

針對模型的研究能揭示實驗觀察到的復雜電生理現像背後隱藏的腦疾病發病的生物物理機制，同時還能為外部刺激的優化提供測試平臺，本書將控制理論的思想與神經科學相結合，針對腦疾病數學模型高維度、高復雜性的特點，將機器學習中不依賴於模型具體動態的強化學習算法引入對模型建模的病理性狀態的調控中，設計了獲取最優神經調控模式的控制方法。

本書在編寫過程中得到了天津大學王江教授實驗室的大力支持，王江教授對本書提出了許多寶貴的意見和建議，在此深表感謝。天津大學博士研究生樊亞琴和碩士研究生黃默媛參與了本書部分內容的編寫和修改工作，在此一並致謝。由於時間倉促，書中難免出現一些紕漏，歡迎各位專家、讀者給予批評和指正。

著 者