融亦鳴，講席教授、博士生導師，南方科技大學機械與能源工程繫主任、致新書院創院院長。1989年獲美國肯塔基大學機械工程博士學位。曾任美國伍斯特理工大學（WPI）終身正教授。2010—2015年任清華大學機械制造專業教授。美國機械工程師學會會士（ASME Fellow），美國制造工程師學會（SME）會員，計算機輔助設計與制造領域國際知名學者，機械夾具設計研究領域國際權威專家。在美國，先後主持科研項目50餘項；回國後，主持或參與國家自然科學基金、973、863、國家重大專項以及工業合作課題十餘項。出版專著2部，發表論文400多篇，授權應用發明專利多項。

樸松昊，教授、博士生導師，哈爾濱工業大學計算學部主任助理、計算機學院多智能體機器人研究中心主任。中國人工智能學會機器人文化藝術專業委員會主任委員、中國人工智能學會常務理事，黑龍江省機器人學會副理事長，黑龍江省計算機學會智能機器人專業委員會主任委員。主持或參加國家自然科學基金、863計劃重點及面上項目、機器人技術與繫統國家重點實驗室基金、黑龍江省自然科學基金、*“985”項目、“三星”國際合作項目多項。出版專著2部，發表論文100多篇，其中SCI、EI、ISTP檢索100餘篇。

冷曉琨，哈爾濱工業大學博士，樂聚（深圳）機器人技術有限公司董事長、創始人。作為青年代表受邀參加在人民大會堂舉行的紀念五四運動100周年大會。曾獲中國青少年科技創新獎、中國青年創業獎、全國優秀共青團員、“創青春”全國大學生創新創業大賽金獎、工信部創新創業特等獎等20餘項榮譽，曾登上福布斯雜志封面並入選福布斯亞洲榜單，帶領團隊研發的Aelos機器人登上平昌鼕奧會“北京八分鐘”的舞臺。

序言 III
前言 V
第1章Roban 機器人概述1
11 Roban 機器人簡介1
111 Roban 機器人繫統 1
112 Roban 機器人關節運動模型 4
113 Roban 機器人控制框架 6
12 操作Roban 機器人 6
121 無線網絡設置 6
122 遠程登錄Roban 機器人8
123 使用VS Code 開發11
第2章Python 編程基礎 15
21 Python 語法 15
211 Python 運行方式15
212 Python 程序書寫格式18
213 變量、數據類型、表達式19
214 條件語句 22
215 while 循環語句 24
216 continue 與break 語句 26
217 列表 27
2組與字典 30
22 Python 函數 31
221 函數定義 32
222 函數參數 33
VIII 223 Python 模塊 35
23 Python 對像與類 36
231 類的定義與使用 37
232 類的繼承 38
24 文件和異常 39
241 文本文件讀寫 40
242 二進制文件讀寫 42
243 異常 43
第3章ROS 使用概述45
31 ROS 簡介 45
32 程序包與節點46
321 程序包與節點介紹 46
322 節點的編譯與運行 47
33 話題與服務 49
331 ROS 話題 49
332 ROS 消息與消息類型 50
333 ROS 服務 53
34 launch 文件與參數 56
341 launch 文件介紹56
342 機器人實踐59
35 常用調試工具rqt61
351 rqt_plot  61
352 rqt_img_View  61
353 rqt_graph  62
36 ROS 配置實踐 63
361 ROS 編譯環境搭建與測試 63
362 ROS 話題 70
363 ROS 服務 78
37 主從機配置 86
371 獲取IP 地址和Hostname  86
IX 372 修改對應的hosts  87
373 配置主從關繫87
38 ROS CvBridge 實踐88
381 將ROS 圖像消息轉換為OpenCV 的圖像 88
382 將OpenCV 圖像轉換為ROS 圖像消息 88
383 在計算機上顯示Roban 機器人攝像頭數據89
第4章同步定位與地圖構建 90
41 SLAM 簡介 90
42 圖像的接收和發布 91
421 初始化和配置91
422 主要功能實現93
43 定位和圖像追蹤——ORB-SLAM2 97
431 數據接收和程序初始化 97
432 點雲地圖創建/重用 99
44 八叉樹圖層的截取以及平面地圖的生成102
441 八叉樹圖層的截取 102
442 平面地圖的生成 103
45 路徑規劃 104
46 行走實現 107
461 路徑分析107
462 行走控制110
第5章V-REP 使用概述 113
51 V-REP 使用簡介 114
511 前言114
512 安裝帶有ROS 的V-REP  116
513 V-REP 的簡單使用 122
514 理解RosInterface 128
52 V-REP 中的Roban 機器人 138
521 導入Roban 機器人 138
522 BodyHub 簡介與啟動 140
523 關節運動控制 148
524 仿真中的步態運行 159
53 V-REP 傳感器使用 166
531 視覺傳感器 166
532 接近傳感器 177
54 V-REP 使用實踐 181
541 過坑路段182
542 雷區路段186
543 踢球進洞路段 192
第6章Roban 機器人運動控制基礎 199
61 關節199
611 頭部關節200
612 手臂關節201
613 髖關節202
614 腿部關節202
615 伺服電機204
62 完整動作執行205
63 運動控制 207
631 舵機參數設置 208
632 關節位置控制 208
633 步態控制211
64 運動學正解 215
641 運行IK 節點 215
642 計算四肢末端位置 215
65 運動學逆解 218
651 機器人扭腰 218
652 扭腰中IK 逆解的處理 223
653 機器人晃腰 227
66 自動避障實踐230
661 3D 相機的原理 230
662 設計思路以及步驟 231
663 示例代碼232
XI 第7章雙足步行基礎 235
71 機器人運動學235
711 坐標變換236
712 人形機器人運動學模型 239
713 正運動學239
714 逆運動學242
72 ZMP 的含義 246
721 ZMP 與地面反力 246
722 ZMP 分析 248
723 ZMP 的測量 252
724 ZMP 與機器人運動256
73 基於線性倒立擺的雙足步態生成 258
731 質心軌跡生成 258
732 足端軌跡生成 261
733 臺階及斜坡地形的步態規劃 263
74 機器人靜步態實踐 267
741 五次樣條插值 267
742 實現機器人雙足支撐情況下的重心位置移動268
743 實現擺動腳軌跡規劃以及擺動腳的運行 270
75 機器人上樓梯實踐 276
751 階段276
752 第二階段278
753 第三階段279
754 第四階段281
第8章人機交互283
81 音頻處理 283
811 語音識別285
812 語音合成289
813 聊天機器人綜合應用 293
82 視頻處理 297
821 視頻設備簡介 297
XII 822 圖像處理工具 300
823 顏色檢測309
83 綜合應用 323
831 基本原理323
832 主要接口324
833 運行方式324
84 顏色識別實踐324
841 HSV 顏色模型介紹 324
842 識別小球325
843 追蹤小球327
844 追蹤多種顏色小球 328
85 人臉識別實踐330
86 數字識別實踐348
861 深度學習之Keras  348
862 使用模型進行數字識別 355
參考文獻 358

自從發明機器人以來，對兩足機器人（具有兩條腿的機器人）的研究一直持續地進行，特別是仿人型雙足機器人。創造類似於人的機器人並使其不進行任何改變就可以在相同的人類工作環境中使用，意味著它們被建造用來模仿人類和人類的行為。這類機器人與輪式機器人相比，能更加有效地適應復雜環境。雙足機器人在人機交互和復雜地形的適應方面有天然優勢。如果運動平衡問題解決得好，再用人工智能技術當大腦，仿人機器人將具備廣闊的應用場景和巨大的商業化價值——不僅可在機場、酒店、養老等服務行業廣泛應用，而且在高校教具、娛樂影視、軍用裝備等方面也具有重要價值。隨著人工智能的發展，在未來的生產、生活中，仿人型雙足機器人可以幫助人類解決很多問題，比如完成送餐、馱物、搶險、采礦等一繫列危險或繁重的工作。Roban 機器人是一款高端仿人機器人，擁有討人喜歡的外形，具有人工智能，能夠在視聽方面與人類互動。Roban 機器人的相關技術完全是開源的，開放給所有的高等教育項目，支持在 Roban 上的開發及教育相關領域的研究。

Roban 機器人支持 Linux、Windows 或 Mac OS 等環境下的編程開發，開放的編程構架支持C 或 Python 語言。無論使用者專業水平如何，都可以通過編程平臺與 Roban 機器人進行編程。

本書介紹 Roban 機器人相關基礎知識及編程操作，全書共分 8 章，內容如下。

第 1 章 Roban 機器人概述。介紹 Roban 機器人繫統、關節運動模型、機器人操作繫統框架、Roban 機器人基本操作、網絡連接設置和遠程登錄。

第 2 章 Python 編程基礎。介紹 Python 的基本語法、函數、對像與類、文件和異常。

第 3 章 ROS 使用概述。介紹 ROS 的程序包與節點、話題與服務、文件與參數及調試工具，後給出了 ROS 安裝和配置、主從機設置實例及消息通信實例。

第 4 章同步定位與地圖構建。介紹 SLAM 技術中對圖像的接收和發布、位置的定位和圖像追蹤、八叉樹存儲方式及平面圖的生成、路徑生成及控制機器人行走。

第 5 章 V-REP 使用概述。介紹 V-REP 仿真環境的搭建，提供了Roban 機器人在 V-REP環境下的導入和配置，以及仿真環境下的傳感器配置，後給出機器人大賽仿真環境的應用示例。

第 6 章 Roban 機器人運動控制基礎。介紹 Roban 機器人相關的基礎結構、動作控制方法，以及機器人姿態的運動學正、逆求解方法，後給出控制 Roban 機器人避障行走實例。

第 7 章雙足步行基礎。介紹 Roban 機器人相關的運動學基礎、ZMP 含義以及基於線性倒立擺生成雙足行走步態，終給出 Roban 機器人行走及上下樓梯實例。

第 8 章人機交互。介紹 Roban 機器人音頻及視頻處理的硬件基礎、相關理論及相關應用，後給出人臉識別及數字識別的人工智能實踐。

本書各章內容相對獨立，在內容安排上按照先易後難的原則編寫。前面章節解釋的語句後面再次出現時不做解釋，讀者在學習時盡量按照章節順序閱讀和調試程序。書中羅列相應內容，如參數、軟件安裝、程序調試方法等，供需要時查閱。

本書面向初學者，對機器人學相關理論、Python 語言、視覺及聲學知識等介紹得相對簡單，僅選擇調試機器人所必須掌握的基礎知識，書中所使用的範例也不涉及復雜算法。讀者在掌握Roban 機器人繫統的基礎知識、開發設計思路後，可以參考開源 WIKI，查閱所提供的更多 API。

本書可作為 Roban 機器人的操作手冊和編程參考書，也可作為高等學校計算機及相關專業“機器人程序設計”課程的教材。

由於作者水平和經驗有限，書中疏漏之處在所難免，敬請讀者指正。

編 者

2020 年 12 月

本書的獨特性在於其充分把握了人工智能時代下，學生需要學什麼？怎麼纔能學好？以及所學的內容是否是領先的、延續的、契合大環境發展趨勢的？如果說，學習者希望在人工智能、機器人等產業有所收獲，那我建議從這本書開始。

王志華，清華大學教授，IEEE Fellow

本書是一本實操性極強的教材。就聲學部分來說，其不僅以雙足機器人為載體直觀闡述音頻處理模塊、語音識別、語音合成等基礎理論，更通過聊天機器人等實際應用場景的開發模擬，讓學習者真正掌握語音識別的應用開發技術，是非常好的學習人工智能應用技術的工具，值得學習。

秦兵，哈爾濱工業大學教授

本書一方面繫統闡述了機器人硬件與控制繫統，帶領學習者了解雙足機器人的關節構造及運動控制理論，並率先提出基於線性倒立擺模型的雙足步態控制算法；另一方面基於優秀的雙足機器人載體，引入Python及ROS編程、SLAM定位與導航、V-REP 仿人機交互應用算法，是一本具有領先性、實踐性的人工智能綜合入門及深度拓展教材。

陳立國，蘇州大學教授，新世紀優秀人纔