第1章 緒論 1
1.1 增強現實背景介紹 1
1.2 增強現實發展前景 4
1.3 增強現實的潛在危險 5
1.4 增強現實所需技術 6
1.5 增強現實呈現方法 6
1.6 對現實的多種表述方式 8
1.7 增強現實在虛擬實境中的地位 8
1.7.1 翻譯並認知世界 9
1.7.2 消費者與工業、軍事和
科學領域 10
1.7.3 隱含在電影中的未來
預測 10
1.7.4 人類增強的道德準則 13
1.7.5 混合現實定律 15
1.7.6 增強現實可以提供幫助和
監控手段 15
1.7.7 遊戲中的增強現實 16
1.7.8 聽覺增強現實 16
1.8 相關定義 17
1.8.1 什麼是增強現實 17
1.8.2 物聯網環境下的增強
現實 19
1.8.3 增強現實的類型 19
1.8.4 虛擬現實與增強現實的
區別 20
1.8.5 增強現實比虛擬現實更受
歡迎 22
1.9 總結 22
參考文獻 23
第2章 增強現實繫統類型 24
2.1 增強現實繫統的類型 24
2.2 增強現實的分類 25
2.3 隱形眼鏡 28
2.4 頭盔 28
2.5 平視顯示器 28
2.6 智能眼鏡 29
2.6.1 集成產品式智能眼鏡 29
2.6.2 附加組件式智能眼鏡 32
2.7 投影儀 32
2.7.1 空間增強現實 34
2.7.2 洞穴（CAVE） 35
2.8 專用繫統及其他類型的眼鏡 36
2.8.1 水印增強現實 36
參考文獻 37
第3章 人們都可以成為專家 38
3.1 增強現實：讓人們成為領域
專家 38
參考文獻 40
第4章 增強現實繫統組成概述 41
4.1 增強現實繫統的基本組成 41
4.1.1 虛實融合的遮擋與
可見性 43
4.1.2 關於輻輳調節衝突的
幾點思考 43
4.2 技術問題探討 45
第5章 增強現實的研究歷史 46
5.1 歷史概述 46
5.1.1 發展趨勢分析 60
5.1.2 實時上下文內容提示 61
參考文獻 63
第6章 典型應用領域 65
6.1 重要應用領域 65
6.1.1 科學、工程和政府領域 66
6.1.2 商業和企業領域 92
6.1.3 消費者領域 98
6.2 總結 119
參考文獻 121
第7章 軟件工具 123
7.1 Khronos團隊 125
7.1.1 OpenCV 127
7.2 ARToolKit 128
7.2.1 Vuforia 128
7.2.2 Augument 129
7.2.3 Infinity AR 130
7.2.4 Intel RealSense 131
7.2.5 Kudan 132
7.2.6 Google Tango 132
7.2.7 HoloLens 132
7.2.8 Scope AR 133
7.2.9 ViewAR 133
7.3 增強現實操作繫統 134
7.4 增強現實接口的作用 134
7.4.1 誰來定義增強現實 135
7.5 小結：參與者與平臺 135
參考文獻 135
第8章 技術問題 136
8.1 神奇的眼睛 137
8.1.1 視杆、視錐和中央凹 137
8.1.2 分辨率 138
8.2 人眼看到的 138
8.2.1 盲點 138
8.2.2 眼動 139
8.2.3 隔行掃描電視和
運動感知 139
8.3 增強現實顯示中的延遲問題 140
8.3.1 場序彩色繫統和延遲 141
8.3.2 顯示問題 143
8.4 動眼框 144
8.4.1 頭部活動範圍 145
8.5 視場角 145
8.5.1 像素間距 148
8.6 顯示器 149
8.6.1 接近程度 149
8.6.2 近眼顯示設備 149
8.6.3 虛擬現實 149
8.6.4 增強現實 149
8.6.5 混合現實 150
8.6.6 環境光 150
8.6.7 顏色深度 151
8.6.8 刷新率 151
8.6.9 小結 151
8.7 增強現實顯示器 152
8.7.1 按透視度分類 153
8.7.2 按技術類型分類 153
8.7.3 直接發射設備和調制顯示
設備 154
8.7.4 光路由 164
8.7.5 透視直接發射顯示器 177
8.8 傳感器技術 189
8.8.1 攝像頭 190
8.8.2 定位、跟蹤和導航
傳感器 192
8.8.3 慣性 193
8.8.4 觸覺反饋 193
8.8.5 地震預測傳感器 195
8.9 有標記與無標記的跟蹤技術 196
8.9.1 特征和基準 197
8.9.2 使用標記的自然特征
跟蹤 197
8.9.3 SLAM——無標記的定位
跟蹤方法 198
8.10 增強現實繫統中的用戶界面 202
8.10.1 語音控制 202
8.10.2 手勢控制 204
8.10.3 眼動跟蹤 208
8.10.4 腦電波 212
8.10.5 小結 213
參考文獻 213
第9章 供應商 218
9.1 增強現實設備及其供應商 218
9.1.1 供應商 219
第10章 結論以及對未來的展望 222
10.1 隱私 222
10.2 社會問題 223
10.3 微型化及納米技術 223
10.4 未來會怎樣 225
參考文獻 226
附錄A 227
術語表 229

譯者序
光明的未來就在眼前，AR時代已經來臨！
從個人職業生涯角度講，時隔10年，我回到了這個既熟悉又有些陌生的研究領域——增強現實（Augmented Reality，AR），覺得熟悉是因為其理論體繫基本沒有太大變化，而覺得陌生則是因為這幾年技術進步確實太快了，增強現實的商業化應用已經初見端倪，特別是在教育培訓、遠程維修和醫療康復等多個典型垂直領域，各種應用已經逐步落地。以微軟HoloLens、Magic Leap One為代表的商業化產品的推出，將增強現實應用的熱度不斷推向高潮；面向手機AR應用市場，蘋果推出ARKit，谷歌則推出ARCore；而國內華為、聯想和小米等領軍企業也紛紛布局，特別是以影創科技、亮風臺、耐德佳等為代表的民營企業，已研發出可量產的全息眼鏡，並推動著其在教育及相關領域的應用。目前國際上知名的科技公司幾乎無一缺席這場盛宴，所有跡像表明——增強現實時代已經來臨！
增強現實技術通過環境重建與光場疊加，將計算機生成的虛擬對像添加到真實世界中，使虛擬對像和真實世界保持正確的幾何一致性、光照一致性和時間一致性，使得二者融為一體，增強了人們對真實世界的體驗、感知和認知，其終目標是虛實一體、虛實互動和虛實協同。與虛擬現實（Virtual Reality，VR）技術相比，增強現實技術更強調泛在的實用性而非簡單沉浸式體驗，它已經走出實驗室或特定環境融入日常活動中，將遍及我們工作、生活的每個角落！
縱觀近百年來的歷次科技突破，從電話到計算機，到電視，到手機，到互聯網，再到智能手機，無一不是改變了人與人、人與機之間的交互交流模式，改變了人機信息傳遞、共享的方式。當前，人工智能技術發展如火如荼，機器智能不斷增強，然而，“無人是相對的，有人是的”，“平臺無人，繫統有人”，類似這樣的觀念已成為人們的普遍共識，因此人機之間的交流方式就變得異常重要，甚至很可能成為人工智能發展及應用的瓶頸性問題。眾多業內專家預測：增強現實將成為下一代人機交互界面！
本書作者Jon Peddie博士是計算機圖形學領域的權威專家，關注增強現實技術很多年，有不少代表性專業著作，在許多國際會議上做過圖形和數字媒體技術新趨勢的專題講座，並在多個會議、組織或公司的顧問委員會任職。本書內容深入淺出，以通俗的應用視角講解深奧的技術問題，還不乏眾多領域的典型案例，不僅適合具有一定技術基礎的專業人員閱讀，還可以作為公眾領域人員了解、掌握增強現實技術的入門讀物。無論是經驗豐富的專家，還是初次接觸增強現實的讀者，都會從本書中獲得優秀而富有想像力的信息！
本書翻譯工作的完成，不僅是向廣大讀者提供精彩的內容分享，也是我們在增強現實領域學習、工作的小結，希望能夠為增強現實的研究與普及盡一份微薄之力。感謝國防科技創新研究院各級領導和部門的關心與支持。感謝天津（濱海）人工智能創新中心為團隊提供了安靜舒適的辦公環境，特別感謝刁興春主任、史殿習副主任的關心和指導，感謝秦偉、徐明中兩位部長的大力支持。與王彥臻主任及micROS團隊的學習交流，也讓我們受益匪淺。在整本書的翻譯過程中，得到我所帶領的國防科技創新研究院人機共融技術研究團隊的全力支持與配合。另外，還要感謝我的研究生劉璇恆、龐巧遇對部分章節所做的翻譯、校對工作；感謝張明佳助理對譯稿的細心整理，她的辛苦付出大大減輕了我的校對工作量；感謝王晶晶助理為本書出版所做的聯繫溝通工作；感謝楊超工程師對有關光學章節進行的修訂工作。後，還要特別感謝我的父母、愛人和兒子，是他們默默無私的付出與大力支持，纔使我擁有足夠的工作及加班時間，也給予我莫大的前進動力，他們始終是我奮鬥路上的堅強後盾。讓我們共同努力，推動增強現實在更多領域落地生根！
鄧寶松  2019年10月1日於天津濱海

Thomas A. Furness為本書作序
在20世紀80年代中期，媒體對我在美國俄亥俄州賴特帕特森（Wright-Patterson）空軍基地主持的“超級駕駛艙”（Super Cockpit）①項目進行了集中報道。曾經有人就此事向我咨詢，是否有可能在軍事領域之外應用這種虛擬界面技術呢？我當時覺得這類問題難以直接給出答案。其中有個人是來自澳大利亞的高爾夫球職業選手，他想創造一種更好的培訓方法來指導高爾夫球新手如何進行揮杆操作。他還告訴我，他曾經試驗過很多方法：首先對這些新手說，“看著我”和“照我的樣子做”，然後演示如何站起來、握住球杆、揮動球杆等；他會給新手看他們自己揮杆動作流程的視頻，指出並糾正其中的錯誤；當新手緊握著球杆擊球時，他會試圖站在身後近距離指導……可是，嘗試過所有這些方法之後，新手們仍然沒有搞明白如何操作；後，這個專家非常沮喪地問我，你有沒有辦法用類似這種虛擬界面的東西把我放進學生的身體裡……就像個幽靈一樣呢？這樣，當學生戴上頭戴設備時，他們會看到我的胳膊和腳從他們自己的身體裡“長”出來，反之，他們隻需要把自己真正的腳、手和球杆放在我所放的位置上，然後再把自己的操作放入這種虛擬界面中展示出來即可。這樣他們就有了一種“切身體會”或“從內向外”的視角，而不是傳統培訓裡典型的“從外向內”的旁觀者視角。高爾夫球職業選手與新手之間的問題顯然隻是其中一個典型例子……也就是說，需要從傳統第三人，或者從“外在→內在”的視角，轉變為人的視角。
這個問題為虛擬界面的其他領域的應用打開了一個新的思路，而不僅僅是我當時所追求的軍事領域的應用。我想到了虛擬嵌入式專家的概念，可以用於教育培訓、遠程操作和物理治療等多個領域。例如，一位與人“耦合”的嵌入式專家可以向人們展示如何修理噴氣式發動機、如何進行腦部手術或進行物理治療（告訴他們“將胳膊抬到我所抬的位置上”或“把手放在我所放的位置上”）。例如，就像我的妻子可以向我建議說，“讓我來教你如何從我的角度編織毛衣或學習美國手語”。非常有意思的是，這種合作可以在距離很遠的“合作者”之間對等地完成，因為不同的“合作者”不必處在同一物理位置上。通過這種方式，遠程外科醫生可以實時地向戰場上的醫務人員展示如何在他們自己的視角下完成傷員救治流程，然後告訴戰地醫務人員：“跟隨我的手，做我指示你做的事情就可以了。”
哇，這種視角上的轉變具有重要的意義！
1966年，我開始研發和應用虛擬界面，當時我被任命為空軍工程部門官員，負責管理賴特帕特森空軍基地的空軍研究實驗室。我的工作是研究、設計、建造和測試更好的戰鬥機座艙人機接口，這將提升飛行員及其所操縱飛機在軍事行動中的繫統整體性能，但顯然這件事做起來並不容易。讓人望而生畏的制約因素是，我們需要在很狹窄的駕駛艙空間中放置大量的儀器和控制裝置（可能有大約300個開關和75個儀表顯示器）。這樣，如果在此基礎上再增加新型傳感器圖像顯示設備（這樣飛行員還可以在夜間看到周邊環境）幾乎是不可能的。那是促使我轉向“超級駕駛艙”項目研究的主要原因①，其目的就是研究一種將飛行員的感知能力與復雜機器更好地結合起來的方法。如果虛擬圖像能夠疊加在飛行員的頭盔上，我們就可以創造出與飛行員眼睛（視場角）相匹配，並且具有足夠大小和分辨率的傳感顯示器。增加對頭盔的位置、姿態的跟蹤功能，使我們能夠根據飛行員頭部的運動，同步這些傳感器的感知信息，從而創建一個可移動的界面或“圖像窗口”，以便在駕駛艙中和夜間都能看到這些傳感器所獲取的實時信息。此外，這些虛擬信息可用圖形或符號的方式顯示，用於展示飛行員所面臨的威脅程度，或飛機當前的飛行動力學相關信息，例如位置、方向、空速、高度和其他參數等。此外，這種頭盔位姿跟蹤能力還允許飛行員將各種武器繫統及其瞄準視線結合起來，直接用於作戰打擊。值得注意的是，所有這些關鍵功能都將在不占用任何駕駛艙空間的情況下按需添加！
我不是個想到這些問題的人②。在早期的陸軍海軍儀器（Army Navy Instrumentation）項目（開始於1953年）中，已經發展了許多關於在先進駕駛艙中使用虛擬界面（如頭盔顯示器和能在外部世界上疊加虛擬圖形對像的顯示器）的初概念性想法。該項目的動機是采用以用戶為中心的駕駛艙設計方法，即從飛行員角度出發設計駕駛艙內的儀器、儀表結構，而不是傳統的從機器到飛行員角度的工作方式。正是這個項目建立的平臺框架激發了我在虛擬界面、視覺耦合輔助設備，終在超級駕駛艙方面的進一步研究工作。
當然，我願意走上這條虛擬化技術道路的另一個原因是我對科幻小說的痴迷。從我的童年，也就是大約20世紀40年代開始，我就是一個科幻迷和夢想家，我喜歡的作品之一是：James Blish的They Shall Have Stars（《他們應該有星星》），這是James Blish的繫列小說Cities in Flight（《飛行中的城市》）的部。有趣的是，在1956年首次出版時，這個小說的原名叫做Year 2018（《2018年》）。小說中生動地描述了建築工人在木星上用冰凍氨建造一座奇特的橋的過程，由於木星上生存環境非常惡劣，工作人員隻能被安頓在一顆圍繞木星運行的衛星上，但他們可以在木星的“表面”上實現“遠程呈現”（telepresent），這是通過在兩端安裝傳感器和顯示器，將施工人員的“眼睛”和“手”傳送到處在一定距離之外木星表面上的施工設備來實現的。其他同類小說進一步擴展了這些概念，如Heinlein的Waldo（《瓦爾多》）和Starship Troopers（《星際飛船士兵》）。Edward Elmer Smith的Lensman（《倫斯曼》）空間歌劇繫列解放了我的思維，讓我想到使用虛擬界面（Virtual Interface）命令和控制應用程序，通過虛擬圖像投影和手勢來控制遠處的物體。
現在，這些當時的夢想和早期的發展已經演變成我們這個時代的新型工具。我把他們的到來比作“原子裂變”，釋放出巨大能量來進一步解放和連接我們的思想。這種解放來自增強現實、虛擬現實和混合現實技術帶給我們（例如，高爾夫球職業選手）