l深度探討了融合多模態機器學習的人機交互多模態情感分析方法。l深度探討了實現魯棒性的多模態情感分析方法與實現策略。l繫統論述了深度人工智能時代共融機器人自然交互的基礎理論與實現方法。

●第一篇概述
第1章多模態情感分析概述3
1.1多模態情感分析相關研究概述3
1.2模態缺失相關研究概述6
1.3本章小結7
第2章多模態機器學習概述8
2.1多模態表示學習概述8
2.1.1聯合型表示學習9
2.1.2協同型表示學習9
2.2多模態表示融合概述10
2.2.1前期融合10
2.2.2中期融合10
2.2.3後期融合11
2.2.4末期融合11
2.3本章小結11
第3章多任務學習機制概述13
3.1在計算機視覺中的多任務架構13
3.2在自然語言處理中的多任務架構14
3.3在多模態學習中的多任務架構16
3.4本章小結18
第二篇多模態情感分析數據集與預處理
第4章多模態情感分析數據集簡介23
4.1CMU-MOSI24
4.2CMU-MOSEI24
4.3IEMOCAP24
4.4MELD25
4.5本章小結25
第5章多模態多標簽情感分析數據集構建26
5.1概述26
5.2多模態多標簽的中文情感分析數據集制作26
5.2.1數據收集和標注26
5.2.2統計和分析28
5.3本章小結29
第6章基於主動學習的多模態情感分析數據的自動標定30
6.1相關工作30
6.1.1數據標注30
6.1.2主動學習31
6.2研究方法35
6.2.1整體結構介紹36
6.2.2MMAL模塊介紹38
6.2.3半監督學習模塊40
6.3實驗設置40
6.3.1實驗參數和評價標準40
6.3.2基線模型選擇41
6.4結果分析42
6.4.1主動學習方法效果分析42
6.4.2半監督主動學習方法效果分析44
6.4.3消融實驗46
6.5本章小結47
第三篇單模態信息的情感分析
第7章基於文本的情感分析51
7.1基於情感詞典的情感分析方法52
7.2基於深度學習的情感分析方法53
7.2.1單一神經網絡的情感分析53
7.2.2混合神經網絡的情感分析53
7.2.3引入注意力機制的情感分析54
7.2.4使用預訓練模型的情感分析54
7.3本章小結55
第8章基於語音信息的情感分析56
8.1基於Constant-Q色譜圖的音頻情感分類56
8.1.1Constant-Q色譜圖抽取58
8.1.2CRLA模型59
8.1.3特征抽取網絡59
8.1.4上下文表征學習59
8.1.5實驗與分析60
8.2基於異構特征融合的音頻情感分類63
8.2.1頻譜特征抽取64
8.2.2統計特征抽取66
8.2.3CHFFM66
8.2.4CSFM67
8.2.5實驗與分析68
8.3本章小結71
第9章基於人臉關鍵點的圖片情感分析72
9.1CMCNN73
9.1.1設計思想73
9.1.2模型整體框圖74
9.1.3CCAM75
9.1.4SCAM76
……

共融機器人是能夠與作業環境、人和其他機器人自然交互、自主適應復雜動態環境並協同作業的機器人。“敏銳體貼型”的自然交互是共融服務機器人的研究熱點問題之一。當前迫切需要共融機器人具備多模態交互信息的情感分析能力。本書針對多模態機器學習方法的情感分析領域，從多模態交互信息特征的學習表示出發，繫統介紹了自然交互中的特征學習表示、特征融合和情感分類的方法，並進一步探討了如何實現魯棒的多模態情感分析法。本書是共融機器人自然交互領域國內第一本繫統介紹多模態交互信息情感分析的專業書籍，可為讀者掌握共融機器人研究領域人機情感分析的關鍵技術和基礎知識，為追蹤該領域的發展前沿提供重要的學習和研究參考。