第1章緒 論 001
1.1 研究背景 001
1.1.1 流行病學研究 002
1.1.2 臨床表現 002
1.1.3 精神行為和神經繫統癥狀 004
1.1.4 實驗室及輔助檢查 005
1.1.5 診斷與鋻別診斷 007
1.2 研究意義 008
1.3 選題依據 009
1.4 研究內容 010
1.5 研究思路 011
1.6 文章的組織結構 013
第2章國內外研究現狀 015
2.1 阿爾茨海默病臨床診斷方法 015
2.2 波士頓診斷性失語檢測 016
2.2.1 語言功能語料庫 017
2.2.2 語料庫文本標注 018
2.3 基於語言學的阿爾茨海默患者工智能輔助診斷 018
2.3.1 語音信號特征分析 020
2.3.2 文本信息特征分析 022
2.3.3 基於深度學習的輔助診斷 026
2.3.4 結合知識的深度學習輔助診斷 028
2.3.5 目前研究存在的問題 028
2.4 小結 029
第3章基於“治未病”思想的阿爾茨海默病輔助診斷與健康管理 030
3.1 基於“治未病”思想的阿爾茨海默病早期診斷 030
3.2 基於語言表達的阿爾茨海默病認知功能障礙研究 032
3.3 基於智能輔助診斷的阿爾茨海默病健康管理方法 033
3.4 中醫“治未病”健康管理解決方案 035
3.5 小結 036
第4章基於語音和文本特征的阿爾茨海默病智能輔助診斷模型 037
4.1 研究背景 037
4.2 資料與方法 039
4.2.1 研究設計 039
4.2.2 觀察對像 039
4.2.3 實驗分組  039
4.2.4 數據清洗與預處理  039
4.2.5 實驗過程 040
4.3 特征提取 040
4.3.1 語音學特征提取 041
4.3.2 文本特征探索 043
4.3.3 特征提取 047
4.3.4 特征降維 047
4.4 模型構建 048
4.5 實驗結果與討論 051
4.5.1 實驗結果 051
4.5.2 模型可解釋性實驗 053
4.5.3 結果討論 054
4.6 小結 055
第5章阿爾茨海默病智能輔助診斷的小樣本遷移學習 057
5.1 研究背景 057
5.2 遷移學習 058
5.3 相關工作 059
5.4 遷移學習模型 061
5.4.1 數據集 061
5.4.2 模型結構 062
5.4.3 網格搜索（Grid Search）策略 063
5.5 實驗結果與討論 063
5.5.1 實驗設置 063
5.5.2 實驗結果 064
5.5.3 討論 065
5.6 未來展望 066
5.7 小結 067
第6章阿爾茨海默病智能輔助診斷的可解釋性學習 068
6.1 引言 068
6.2 可解釋的阿爾茨海默病的診治 069
6.3 相關工作 070
6.4 模型構建 070
6.4.1 建模數據集 070
6.4.2 建模分析 071
6.4.3 文本相似度計算 072
6.5 實驗結果與討論 073
6.5.1 模型效能評價 073
6.5.2 模型對比評價 074
6.6 模型的可解釋性 074
6.7 小結 077
第7章使用多模態特征診斷輕度認知障礙和阿爾茨海默病 078
7.1 背景 078
7.2 數據預處理 079
7.3 特征抽取方法 080
7.3.1語音學特征 081
7.3.2人口統計學特征 081
7.3.3語言學特征 082
7.4分類器 083
7.5不同分類特征下的性能 083
7.6結論 086
第8章基於特征淨化網絡的阿爾茨海默病檢測的改進 087
8.1 相關研究 088
8.2 數據采集與預處理 090
8.3 特征淨化網絡模型GP-Net 090
8.3.1 詞嵌入 091
8.3.2 G-Net模塊提取共同特征 092
8.3.3 利用P-Net模型計算淨化特征 092
8.3.4 實驗參數及結果 093
8.4 討論 095
8.5 結論 096
第9章基於上下文注意力特征的阿爾茨海默病隱式情感分析 097
9.1背景 097
9.2基於聲學及其轉錄文本的AD智能診斷 100
9.3注意力網絡 102
9.3.1基於GRU的網絡架構 102
9.3.2Word編碼器 103
9.3.3詞注意力 103
9.3.4句子編碼器 103
9.3.5句子注意力 104
9.3.6文檔分類 104
9.4實驗 104
9.4.1Pitt語料庫 104
9.4.2模型配置和結構 105
9.4.3結果和分析 105
9.5基於注意力網絡的消融研究 107
9.6注意特征的可視化 107
9.7結論 108
第10章基於“波士頓失語癥檢測”的臨床小樣本實證分析 110
10.1實驗內容  110
10.2數據采集及預處理 110
10.2.1研究對像 111
10.2.2痴獃嚴重程度分級 111
10.2.3統計學分析 112
10.2.4特征提取 112
10.2.5分類結果 112
10.3小結 114
第11章總結與展望 116
11.1 人工智能未來發展趨勢分析 116
11.2 深度學習原理 120
11.3 結論 121
11.4 研究的不足之處 122
11.5 今後研究的建議 123
11.6 工作展望 123
參考文獻 125
重要名詞縮寫 143

隨著人口老齡化的發展，阿爾茨海默病（Alzheimer’s disease，AD）患者的比例也越來越高，給個人、家庭和國家帶來沉重的社會和經濟負擔，已經成為一個迫切需要解決的公共衛生問題。AD是一種潛在的、不可逆的神經退行性疾病，對AD高風險人群進行早期診斷和預防可以延緩病情發展，符合“上工治未病”思想，是最經濟有效的健康策略。我國中醫自古就有通過聽聲音辨識疾病的方法，臨床研究也發現高風險人群在發展到嚴重的AD階段前就已經表現出語言障礙，所以利用聲音和語言學特征來對AD早期進行智能輔助診斷是一種可行的方案。筆者通過人工智能方法構建AD早期智能輔助診斷模型，在多個公共數據集和實證研究數據集上證明模型的有效性。通過人工智能自動分析高風險人群的語言障礙，推廣使用基於聲音和文本信息的AD早期診斷家庭監護繫統，可以為AD的“早篩查、早診斷、早干預”健康管理提供經濟、安全、可靠的方法，這對AD患者的早期診斷和干預具有重要現實意義。
針對AD患者言語信息的早期診斷問題，通過提出問題、制訂研究方案、方案實施及調整、評價反饋的方式展開研究。在制訂、實施及調整研究方案的過程中，以前期研究為基礎，結合文獻檢索及專家咨詢方案，制訂實驗的實施方案。本研究秉承“治未病”思想和健康管理的理念，基於波士頓診斷性失語癥檢測圖片描述任務中的患者言語信息建立AD智能輔助診斷模型，實驗數據集包括語音信號和轉錄文本兩種模態，本書第4～9章的實驗都是采用此方法建立的中文或英文公開數據集。基於此，本研究構建了語音和文本信息融合的AD智能輔助診斷模型，為開發家庭監護繫統奠定核心技術基礎。本書研究內容如下。
第一，提出了一種“治未病”理念下AD智能輔助診斷和健康管理方案。
預防是中醫治未病管理的核心，早期診斷是AD健康管理的切入口，也是後期個性化分級診療的基礎。本研究采用人工智能方法建立的AD輔助診斷模型是健康風險評估的重要手段之一，可以在疾病還未發生或者還未加重、可治愈的階段進行早期的診斷、治療和康復，體現“治未病”的思想理念。
第二，構建了一種基於語音和文本特征的AD智能輔助診斷模型。
圍繞健康管理理念的健康監測、健康評估方法建立AD智能輔助診斷模型。健康監測即數據的收集和預處理工作，本研究采用基於圖片描述任務的公共數據集。健康評估方法即通過建立AD智能輔助診斷模型進行認知等級分類。通過調查研究發現前期研究缺乏基於時間的語音和語言學特征提取方法，尤其是基於語言學的中文數據的特征提取方法較少。本研究開創性地提出了一種基於時間標記的語音和中文文本特征的提取方法。通過數據探索分析找到數據隱藏的內在規律，並提取可解釋性的特征參數，將這些特征參數加上人口學特征放入人工智能分類算法中，AD識別的最高準確率為80%，F1值為0.75，高於F1的基線值為0.667。同時研究發現年齡對評估模型的影響力最大。
第三，采用遷移學習解決了AD智能輔助診斷中的小樣本問題。
大數據集的匱乏限制了復雜模型的使用，遷移學習可以有效解決這一難題。本研究首先在大數據集上訓練通用預訓練語言模型，再將模型遷移到小樣本數據集上，微調模型的少量參數並進行文本分類任務。基於此方法構建的預訓練模型得到AD診斷的準確率為88%，幾乎與公開數據集當年比賽的冠軍分數相當，較設定的75%的基線準確率有很大提高。本研究的遷移學習方法改進了AD輔助診斷的表現，不僅減少了特征工程的需求，而且有效解決了數據集不足的問題。
第四，提出了一種AD智能輔助診斷的可解釋性學習方法。
針對深度學習常見的不可解釋性問題，提出了一種能有效提高模型可解釋性的方法。本研究嘗試將轉錄文本的對話內容按照類別分類，采用TF-IDF算法提取轉錄文本的關鍵詞。通過餘弦距離分別計算新樣本關鍵詞與兩類人群關鍵詞的相似度，基於KNN算法思想，距離近者類別相同。所提出的方法得到令人滿意的準確率（97.77%）和F1值（0.98）。較基線準確率（66.7%）有很大的提高，訓練過程簡單高效。同時，對模型的可解釋性學習進行研究，通過分析患者的語言學表現，發現AD患者比正常對照組使用較少的名詞和動詞。
第五，AD是一種常見的痴獃，影響患者的語言功能、記憶、認知和視覺空間能
力。越來越多的研究在尋找無創、可及、經濟有效的方法來檢測AD，語音被證明與AD有關繫，所以在醫生辦公室診斷AD的時代即將到來。利用2020年ADReSS數據集檢測性別和年齡平衡的AD。首先，筆者提取了三類特征參數：用Opensmile軟件提取的聲學特征，自動Bert嵌入和人工提取的復雜語言特征。語言特征主要體現在詞性標記、詞彙豐富性、流暢性、語義特征等方面。其次，使用7種不同的分類器，包括SVM、Logistic回歸、隨機森林、額外樹、Adaboost、LightGBM和一種帶有多數投票策略的新型集成方法來克服基分類器造成的誤差。最後，采用十倍交叉驗證法對此方法進行評價。此外，將單個特征及其組合特征輸入到6個基分類器中，進行分類器集成。在分類器集成的測試集上得到了最好的分類結果，最佳準確率為85.4%。特征集的性能最好的是語言特征，使用LightGBM分類器的準確率為85.6%，使用SFS方法表現了7個區分性語言特征。統計和實驗結果表明，基於語音和語言特征參數有效地預測AD是可行的。更強的分類器和區分特征是至關重要的最終結果。我們強調預測AD的最佳語言特征是基於詞性標簽、詞彙豐富度、流利度和語義特征。分類器集成通常比單個分類器具有更好的性能。 ?
第六，AD是一種神經退行性疾病，隨著病情的發展，認知能力會下降。目前AD的診斷主要依靠醫生對患者的面談，但整個過程往往緩慢、價格昂貴且具有主觀性。因此，尋求一種比單純依靠神經心理學檢查更好的方法來診斷AD是至關重要的。最近的研究表明，語言分析在AD診斷方面具有潛力。在本研究中，筆者提出了一種新的特征淨化網絡，可以進一步改善Transformer模型的表示學習。雖然Transformer憑借其遠程推理能力在產生判別特征方面取得了很大的進展，但仍有改進的空間。由於存在許多不代表任何特定類的共同特征，筆者將Transformer編碼器提取的傳統特征中所包含的共同特征進行了剔除，以獲得更具辨別力的特征進行分類。基於3個公共痴獃數據集，筆者將該方法應用於Transformer的性能改進，在分類方面取得了顯著的改進，特別是在Pitt數據集上獲得的最先進的SOTA。
第七，通過語音學和文本提取特征是早期AD識別的有效方法，可以構建早期AD分類預測模型。本研究通過提取語言學、聲學和人口學的多模態特征，采用人工智能的算法識別AD和MCI患者，並對各個不同的特征組合及機器學習算法分別進行對比研究。在2019年科大訊飛舉辦的“阿爾茨海默病預測挑戰賽”中的數據集，LightGBM算法識別效果最好，並通過研究發現，年齡是AD識別最重要的影響因素。
第八，語言障礙可能是痴獃患者重要的早期表現。通過引入帶有注意力機制的Transformer，其效果好於傳統的RNN和CNN模型。但是，對於隱式情感的表達，其仍有可以提升的空間。本研究提出的一種新的特征淨化網絡模型，針對不同詞語的重要性賦予不同的權重，通過持續改進Transformer模型的表征學習，可以生成更有區別力的特征。
第九，基於波士頓失語癥檢測的轉錄文本因為是隱式情感表達，目前常見的深度學習模型很難提取有效的特征參數。本研究利用注意力機制對不同的信息詞彙和句子進行定性選擇。即采用一種兩層注意力模型，將重要的單詞聚集到句子，將重要的句子彙聚到文檔中構建。本研究為隱式情感的分類任務提供了借鋻和參考的價值。
第十，基於“波士頓失語癥檢測”的臨床小樣本實證分析。為了驗證本研究提出的模型在臨床實際中的效果，本書基於“波士頓失語癥檢測”，在醫院、養老院所采集的臨床數據進行臨床小樣本量的驗證以證明前期提出模型的有效性，對真實世界的數據進行實證分析。通過數據預處理、特征的統計學分析、特征提取等一繫列操作，最終有效地識別AD患者。
第十一，對本論文內容進行分析和總結，並指出研究存在的問題，並對後續工作做了進一步的分析和展望。

著者
2023年3月