從2013年開始，作者及其團隊開始使用神經網絡和模糊繫統等智能技術研究人機交互控制。2016年，作者將更多注意力放在如何利用強化學習解決人機交互問題上。經過四年的工作，他們在關節空間和任務空間中提出了基於模型和無模型的阻抗和導納控制的結果，還分析了閉環繫統，並且討論了無模型上優機器人交互控制和基於強化學習的位置受力控制設計。他們研究了龐大的離散時間空間和連續時間空間中的強化學習方法。對於冗餘機器人的控制，他們使用多智能體強化學習來解決，並分析強化學習的收斂性。將最壞情況下不確定性的魯棒人機交互控等

●目 錄第I部分人機交互控制第1章 介紹 21.1 人機交互控制 21.2 控制強化學習 51.3 本書的結構安排 6第2章 人機交互的環境模型 102.1 阻抗和導納 102.2 人機交互阻抗模型 152.3 人機交互模型的識別 182.4 本章小結 25第3章 基於模型的人機交互控制 263.1 任務空間阻抗/導納控制 263.2 關節空間阻抗控制 293.3 準確性和魯棒性 303.4 模擬 333.5 本章小結 38第4章 無模型人機交互控制 394.1 使用關節空間動力學進行任務空間控制 394.2 使用任務空間動力學進行任務空間控制 474.3 關節空間控制 484.4 模擬 494.5 實驗 554.6 本章小結 65第5章 基於歐拉角的回路控制 675.1 引言 675.2 關節空間控制 685.3 任務空間控制 745.4 實驗 775.5 本章小結 89第II部分機器人交互控制的強化學習第6章 機器人位置/力控制的強化學習 926.1 引言 926.2 使用阻抗模型的位置/力控制 936.3 基於強化學習的位置/力控制 966.4 模擬和實驗 1046.5 本章小結 110第7章 用於力控制的連續時間強化學習 1117.1 引言 1117.2 用於強化學習的K均值聚類 1127.3 使用強化學習的位置/力控制 1167.4 實驗 1237.5 本章小結 129第8章 使用強化學習在最壞情況下的不確定性機器人控制 1308.1 引言 1308.2 使用離散時間強化學習的魯棒控制 1318.3 具有k個最近鄰的雙Q學習 1358.4 使用連續時間強化學習的魯棒控制 1428.5 模擬和實驗：離散時間情況 1468.6 模擬和實驗：連續時間情況 1548.7 本章小結 162第9章 使用多智能體強化學習的冗餘機器人控制 1639.1 引言 1639.2 冗餘機器人控制 1649.3 冗餘機器人控制的多智能體強化學習 1699.4 模擬和實驗 1749.5 本章小結 179第10章 使用強化學習的機器人 2神經控制 18010.1 引言 18010.2 使用離散時間強化學習的 2神經控制 18110.3 連續時間的 2神經控制 19610.4 示例 20910.5 本章小結 219第11章 結論 220附錄A 機器人運動學和動力學 222附錄B 強化學習控制 235

在《強化學習與機器人控制》一書中，專家團隊不僅簡潔明了地描述了人機交互控制方案，還深入介紹了新穎的無模型強化學習控制器。本書首先簡述更優選的人機交互控制方案和強化學習，然後講解典型的環境模型，最後介紹一些更有名的參數估計識別技術。    《強化學習與機器人控制》提供了嚴謹的數學推理和演示，這有助於讀者理解控制方案和算法。書中還描述了人機交互控制和基於強化學習控制的穩定性和收斂性分析。另外，還討論了一些前沿話題，如逆運動學和速度運動學解決方案、神經控制以及機器人領域未來可能的發展趨勢。● 全面介紹基於模型的人機交互控制● 詳細研究基於歐拉角的無模型人機交互控制和“人機回圈”機制控制● 實際討論機器人位置和力控制的強化學習以及機器人力控制的連續時間強化學習● 深入研究使用強化學習來控制最壞情況下不確定性的機器人，並使用多智能體強化學習等

[墨] 餘文（Wen Yu）,阿道夫·佩魯斯基亞（Adolfo Perrusquia）著 劉曉駿 譯 著