出版者的話
前言
致謝
第1章增強現實介紹 1
1.1定義和範圍 1
1.2增強現實簡史 2
1.3示例 8
1.3.1工業和建築業 8
1.3.2維修和培訓 10
1.3.3醫療 11
1.3.4個人信息顯示 12
1.3.5導航 13
1.3.6電視 14
1.3.7廣告和商務 15
1.3.8遊戲 17
1.4相關領域 17
1.4.1混合現實連續體 18
1.4.2虛擬現實 18
1.4.3普適計算 18
1.5小結 20
第2章顯示 21
2.1多模態呈現 21
2.1.1聽覺呈現 21
2.1.2觸力覺呈現 22
2.1.3嗅覺和味覺呈現 23
2.2視覺感知 24
2.3需求與特點 25
2.3.1增強方法 25
2.3.2單視和體視 27
2.3.3調焦 28
2.3.4遮擋 30
2.3.5分辨率和刷新率 31
2.3.6視場 32
2.3.7視點偏移 33
2.3.8亮度和對比度 35
2.3.9扭曲和畸變 36
2.3.10延遲 36
2.3.11人因工程學 36
2.3.12社會接受度 36
2.4空間顯示模型 37
2.5視覺顯示 38
2.5.1近眼顯示器 39
2.5.2手持式顯示器 46
2.5.3固定式顯示器 47
2.5.4投影式顯示器 52
2.6小結 56
第3章跟蹤 57
3.1跟蹤、標定和注冊 57
3.2坐標繫 58
3.2.1模型變換 59
3.2.2視圖變換 59
3.2.3投影變換 59
3.2.4參考幀 59
3.3跟蹤技術的特點 60
3.3.1物理現像 60
3.3.2測量原理 60
3.3.3測量的幾何屬性 61
3.3.4傳感器布置 61
3.3.5信號源 61
3.3.6自由度 62
3.3.7測量坐標 62
3.3.8空間傳感器布置 62
3.3.9工作區範圍 63
3.3.10測量誤差 63
3.3.11時間特性 64
3.4固定跟蹤繫統 64
3.4.1機械跟蹤 64
3.4.2電磁跟蹤 65
3.4.3超聲波跟蹤 66
3.5移動傳感器 66
3.5.1全球定位繫統 67
3.5.2無線網絡 68
3.5.3磁力儀 68
3.5.4陀螺儀 69
3.5.5線性加速度計 69
3.5.6裡程表 70
3.6光學跟蹤 70
3.6.1基於模型跟蹤與無模型跟蹤 71
3.6.2照明 71
3.6.3標志點與自然特征 73
3.6.4目標識別 77
3.7傳感器融合 79
3.7.1互補傳感器融合 79
3.7.2競爭傳感器融合 79
3.7.3協作傳感器融合 80
3.8小結 81
第4章增強現實中的計算機視覺 82
4.1標志點跟蹤 83
4.1.1攝像機表示 84
4.1.2標志點檢測 85
4.1.3單應位姿估計 87
4.1.4位姿優化 90
4.2多攝像機紅外跟蹤 90
4.2.1斑塊檢測 91
4.2.2建立點對應關繫 91
4.2.3雙攝像機的三角測量 92
4.2.4兩臺以上攝像機的三角測量 93
4.2.5包含球體標志物的目標匹配 93
4.2.6朝向 94
4.3自然特征檢測跟蹤 94
4.3.1興趣點檢測 95
4.3.2創建描述符 98
4.3.3匹配描述符 99
4.3.4n點透視位姿 99
4.3.5魯棒的位姿估計 100
4.4增量跟蹤 101
4.4.1主動搜索 102
4.4.2Kanade-Lucas-Tomasi跟蹤 102
4.4.3零歸一化交叉相關 103
4.4.4分層搜索 104
4.4.5聯合檢測與跟蹤 105
4.5同時定位與地圖構建 106
4.5.1本質矩陣的五點算法 107
4.5.2集束調整 108
4.5.3並行跟蹤與地圖構建 108
4.5.4重定位與閉環 109
4.5.5稠密地圖構建 110
4.6戶外跟蹤 112
4.6.1可擴展的視覺匹配 113
4.6.2傳感器先驗信息 114
4.6.3幾何先驗信息 115
4.6.4同時跟蹤、地圖構建及定位 116
4.7小結 120
第5章標定與注冊 121
5.1攝像機標定 121
5.1.1攝像機內參 121
5.1.2校正鏡頭畸變 122
5.2顯示器標定 123
5.2.1單點主動對準法 125
5.2.2使用指向裝置的頭戴式顯示器標定 126
5.2.3手–眼標定 127
5.3注冊 129
5.3.1幾何測量失真 129
5.3.2誤差傳播 129
5.3.3延遲 130
5.3.4濾波和預測 130
5.4小結 131
第6章視覺一致性 132
6.1注冊 132
6.2遮擋 134
6.2.1遮擋細化 135
6.2.2概率遮擋 136
6.2.3無模型遮擋 136
6.3光度注冊 138
6.3.1基於圖像的光照 139
6.3.2光探針 140
6.3.3離線光照采集 142
6.3.4基於靜止圖像的光度注冊 142
6.3.5基於鏡面反射的光度注冊 142
6.3.6基於漫反射的光度注冊 143
6.3.7基於陰影的光度注冊  144
6.3.8室外光度注冊  145
6.3.9重建精確光源 145
6.4通用光照 145
6.4.1差分渲染 146
6.4.2實時全局光照 147
6.4.3陰影 148
6.4.4漫射全局光照  150
6.4.5鏡面全局光照 152
6.5消隱現實 153
6.5.1感興趣區域的確定 153
6.5.2隱藏區域的觀察與建模 154
6.5.3感興趣區域的移除 154
6.5.4基於投影的消隱現實 155
6.6攝像機仿真 155
6.6.1鏡頭畸變 156
6.6.2模糊 157
6.6.3噪聲 157
6.6.4漸暈 158
6.6.5色差 158
6.6.6拜耳模式偽影  158
6.6.7色調映射偽影 158
6.7風格化增強現實 159
6.8小結 159
第7章情境可視化 161
7.1挑戰 162
7.1.1數據過載 162
7.1.2用戶交互 163
7.1.3注冊誤差 163
7.1.4視覺干擾 163
7.1.5時間一致性 164
7.2可視化注冊 165
7.2.1本地注冊情境可視化 165
7.2.2全局注冊情境可視化 165
7.2.3注冊不確定性 166
7.3注釋和標記 166
7.3.1標記基礎 166
7.3.2優化技術 167
7.3.3時間一致性 168
7.3.4圖像導引放置 170
7.3.5易讀性 170
7.4X射線可視化 171
7.4.1物體空間幻影 171
7.4.2圖像空間幻影 172
7.4.3G緩衝器實現 173
7.5空間操作 174
7.5.1爆炸圖 174
7.5.2空間扭曲 176
7.6信息過濾 177
7.6.1基於知識的過濾 177
7.6.2空間過濾 177
7.6.3基於知識的過濾與空間過濾的結合 179
7.7小結 180
第8章交互 181
8.1輸出模態 181
8.1.1增強放置 181
8.1.2靈巧顯示 182
8.1.3魔鏡 184
8.2輸入模態 186
8.2.1剛體的跟蹤和操控 186
8.2.2人體跟蹤 187
8.2.3手勢 188
8.2.4觸控 189
8.2.5基於物理的界面 190
8.3有形界面 191
8.3.1有形表面 191
8.3.2通用有形物體 191
8.3.3特定有形物體 192
8.3.4透明有形物體 194
8.4真實表面上的虛擬用戶界面 195
8.5增強紙 196
8.6多視界面 197
8.6.1多顯示焦點 上下文 197
8.6.2共享空間 197
8.6.3多位置 198
8.6.4跨視圖交互 200
8.7觸力覺交互 201
8.8多模態交互 202
8.9會話代理 203
8.10小結 205
第9章建模與注釋 206
9.1指定幾何 206
9.1.1點 206
9.1.2平面 208
9.1.3體 208
9.2指定外觀 209
9.3半自動重建 210
9.4自由曲面建模 213
9.5注釋 214
9.6小結 216
第10章開發 217
10.1增強現實開發的需求 218
10.1.1真實世界界面 218
10.1.2硬件抽像 218
10.1.3開發流程 219
10.2開發要素 219
10.2.1角色 220
10.2.2故事 220
10.2.3舞臺 220
10.2.4交互 220
10.2.5設置 220
10.3獨立開發方法 221
10.3.1桌面開發 221
10.3.2表演開發 223
10.4插件方法 223
10.5網絡技術 224
10.6小結 225
第11章漫遊 227
11.1人類漫遊基礎 227
11.2探索與發現 228
11.3路線可視化 228
11.4視點導航 230
11.4.1目標對像導引 230
11.4.2目標視點導引 232
11.5多視角 233
11.5.1同步多視角 233
11.5.2過渡接口 235
11.6小結 236
第12章協作 237
12.1協作繫統特性 237
12.2同地協作 238
12.2.1個人顯示器與視圖 240
12.2.2目光感知 241
12.2.3共享空間內的敏捷協作 242
12.3遠程協作 243
12.3.1視頻共享 244
12.3.2包含虛擬物體的視頻共享 244
12.3.3包含幾何重建的視頻共享 246
12.3.4指向和手勢 247
12.3.5包含敏捷用戶的遠程協作 247
12.4小結 248
第13章軟件架構 250
13.1增強現實應用程序的要求 250
13.1.1環境控制和場景動態 250
13.1.2顯示空間 251
13.1.3虛實一致 251
13.1.4語義知識 251
13.1.5物理空間 251
13.2軟件工程要求 252
13.2.1平臺抽像 252
13.2.2用戶界面抽像 252
13.2.3重用性和擴展性 253
13.2.4分布式計算 253
13.2.5解耦仿真 253
13.3分布式對像繫統 253
13.3.1對像管理 254
13.3.2案例學習：“綿羊” 255
13.4數據流 256
13.4.1數據流圖 257
13.4.2多模態交互 257
13.4.3線程和調度 258
13.4.4案例學習：可穿戴的增強現實裝置 259
13.5場景圖 261
13.5.1場景圖的基本原理 261
13.5.2依賴圖 262
13.5.3場景圖集成 262
13.5.4分布式共享場景圖 264
13.6開發者支持 265
13.6.1參數配置 265
13.6.2腳本聲明 265
13.6.3案例學習：增強現實導遊 267
13.6.4程序腳本 267
13.6.5混合語言編程 268
13.6.6運行時重配置 268
13.6.7選擇一種增強現實平臺 269
13.7小結 269
第14章未來 271
14.1商業案例驅動力 271
14.1.1專業用戶 271
14.1.2普通消費者 272
14.2增強現實開發者的願望清單 272
14.2.1攝像機底層API 273
14.2.2多攝像機 273
14.2.3大視場攝像機 273
14.2.4傳感器 273
14.2.5統一內存 274
14.2.6移動GPU上的並行編程 274
14.2.7更好的顯示設備 274
14.3戶外增強現實 275
14.3.1非合作用戶 275
14.3.2有限的設備能力 275
14.3.3定位成功率 276
14.4與智能對像交互 276
14.5虛擬現實與增強現實的融合 277
14.6增強人 277
14.7作為戲劇媒介的增強現實 278
14.8作為社交計算平臺的增強現實 279
14.9小結 280
參考文獻 281

在過去的20年裡，信息技術的應用從固定的辦公室和桌面計算轉移到網絡、社交媒體和移動計算。近年來，即使將筆記本電腦歸入桌面式電腦的類別，智能手機和平板電腦的銷量也遠超傳統桌面式電腦。
雖然目前主流用戶界面還沒有完全從20世紀90年代的桌面計算（或者說是1981 Xerox Star）中脫離出來，但是當今年輕一代獲取計算機知識的方式已經改變：各種應用和雲計算在許多情況下取代了電腦桌面。計算已經從一項在辦公室或書房中開展的工作轉變為隨時隨地進行的活動。
初識增強現實
隨著用戶逐漸遠離電腦桌面，將真實世界融入我們的計算體驗變得越來越重要。考慮到真實世界既不是平面的，也不是由書寫文檔組成的，因此必須有一個新的用戶界面隱喻。增強現實（Augmented Reality，AR）有潛力成為用於情境計算的主流用戶界面隱喻。增強現實具有能將真實世界和與之相關的虛擬信息直接關聯的獨特性質。整個世界變成了用戶界面，這引出了那句熟悉的宣言：
回到真實世界！
虛擬現實（Virtual Reality，VR）的願景是將我們自身沉浸於人造世界，這推動了遊戲設備的發展，帶來了令人驚艷的畫面效果，隨之而來的是各類頭戴式顯示器和手勢跟蹤器的出現。但即便如此，像虛擬現實這樣通過定義來獨占大眾注意力的用戶界面隱喻，也不一定是日常計算的選擇。
相反，我們越來越依賴可以隨意使用並能提供容易理解的少量信息的計算界面。我們需要普適計算。這可以通過“寧靜”的計算過程實現，這一過程會在後臺進行，不需要用戶干涉，甚至根本不會引起用戶的注意。在需要普適交互時，增強現實脫穎而出，成為合適的用戶界面技術。
為何寫作本書
多個相互交叉的研究領域聚焦於增強現實的發展，相關的知識體繫也在快速完善。自20世紀90年代以來，我們一直以研究者的身份致力於該知識體繫的相關工作。本書的主要動力來自我們所任教的格拉茨理工大學和加州大學聖巴巴拉分校關於增強現實的課堂教學。在備課過程中，我們明顯感到目前沒有一本教材能夠覆蓋這個快速發展領域的廣度和深度。從2001年的SIGGRAPH會議開始，各種學術會議及研討會的部分演講稿都為備課提供了參考，我們也參與組織了其中的一些會議。許多基礎理論從那時起逐漸構建起來，我們著眼於繫統地彙集相關知識，同時注重新興概念與實踐信息。因此，這本書誕生了。
本書主要內容
如書名所示，本書在原理和實踐之間力求平衡。我們的目標是讓這本書既能服務於科學研究人員，又能服務於對增強現實應用感興趣的從業者，特別是工程師。因此，本書既可用作教材，又可用作參考讀物。為了充分利用本書，讀者需要對計算機科學有基本認識，如果能夠了解計算機圖形學以及計算機視覺領域的相關知識，或者對其感興趣，會對理解本書有所幫助。考慮到篇幅的限制，我們無法進一步提供必要背景技術的特定細節，而是給出了參考文獻。與此同時，本書謹慎地介紹並清楚地解釋了超出基礎知識的特定增強現實概念，從而使本書自成體繫。本書采用下面的篇章順序來介紹增強現實的技術和基本方法。
第1章為本書奠定基調，介紹增強現實的定義，簡略講述該領域的歷史，之後帶領讀者領略這項強大的真實世界用戶界面技術的多種應用實例。小結部分介紹了一繫列相關技術和研究領域的全景。
第2章的主題是顯示技術，這是增強現實的關鍵基礎技術之一。根據視覺感知的基礎理論，討論了各種適用於增強現實的顯示技術，尤其是頭戴式顯示、手持式顯示和投影式顯示。我們還討論了非視覺顯示技術，如聽覺和觸覺設備等。
第3章的主題是跟蹤技術，這是增強現實的潛在核心技術之一。首先討論了理解跟蹤（廣義的定義是測量繫統）的工作原理所需要掌握的特定知識，然後討論了傳統的固定跟蹤繫統，並將其與移動傳感器進行比較。接下來，著重介紹了主流的光學跟蹤技術，並在後簡述了傳感器融合的原理。
第4章繼續上一章中對光學跟蹤問題的討論，詳細介紹了用於實時位姿估計的計算機視覺算法，例如根據觀測圖像確定攝像機的位置與朝向。為了便於講解並使讀者更廣泛地了解背景知識，這一章由一繫列案例研究組成。每一個案例研究僅介紹自身必需的相關知識，所以讀者不需要事先深入了解計算機視覺方面的知識。此外，本書對涉及高等數學的問題做了標記，這些問題在實踐中通常依賴OpenCV等軟件庫來解決，因此可以被視為“黑箱”，不想深入研究的讀者可略過這部分內容。
第5章討論用於增強現實的器件標定和注冊方法。在增強現實應用中，第3章所述的用於光學跟蹤的數字攝像機標定技術是實現可重復精確操作的必要前提。注冊是幾何上校準增強現實體驗中的真實世界和虛擬世界的過程，從而有利於形成一致混合環境的錯覺。
第6章聚焦於使真實和虛擬物體無縫融合的一繫列計算機圖形技術，包括虛擬和真實物體之間正確的遮擋或陰影關繫。我們也解釋了消隱現實，即消隱場景中的真實物體，並討論了物理攝像機的仿真。
第7章關注可視化技術，目的是使信息更容易理解。在增強現實環境中，這意味著幾何注冊到真實場景物體上的計算機生成信息，必須按照便於用戶理解的方式擺放和設計。我們同時探討了二維增強（如文本標簽）和