基礎篇
第1章 HoloLens 2基礎 
3 
1.1混合現實技術概述  3 
1.1.1MR概念  3 
1.1.2全息圖  
5 1.2HoloLens 2設備  5 
1.3 MR技術原理  8 
1.3.1 傳感器數據  8 
1.3.2前端裡程計  10 
1.3.3後端優化  10 
1.3.4回環檢測  11 
1.3.5建圖  11 
1.4開發環境準備  12 
1.4.1所需硬件和軟件  12 
1.4.2軟件安裝  13 
1.4.3軟件配置  15 
1.5MR應用開發初體驗  16 
1.5.1創建工程  16 
1.5.2 直接導入 MRTK工具包  17 
1.5.3 使用 UPM導入 MRTK工具包  18 
1.5.4 使用 MRFT導入 MRTK工具包  20 
1.5.5 導入 TextMeshPro工具包  20 
1.5.6 配置 Unity項目  21 
1.5.7 創建和設置場景  23 
1.5.8 導出 Unity工程  23 
1.5.9 部署到 HoloLens 2設備  23

HoloLens 2開發入門精要——基於 Unity和 MRTK 
1.5.10 發布 MR應用  26 
1.6 使用模擬器  27 
1.7 MRTK輸入模擬  29 
1.8 設備能力檢查  31
第2章 MRTK基礎  33 
2.1 MRTK概述  33 
2.2 MRTK體繫架構  34 
2.2.1 配置文件  36 
2.2.2 運行時  36 
2.2.3 服務  36 
2.2.4 擴展服務  39 
2.2.5 數據提供者  41 
2.3 配置文件  43 
2.3.1 配置文件概述  44 
2.3.2 配置指南  46
操作組件篇
第3章基本特性操作與開發 61 
3.1 HoloLens 2設備門戶  61 
3.1.1 連接設備門戶  61 
3.1.2 功能簡介  62 
3.2 研究模式  67 
3.3 圖像與視頻捕獲  68 
3.3.1 在設備中直接操作  68 
3.3.2 在設備門戶中操作  68 
3.3.3 代碼操作  69 
3.4 全息遠端呈現  81 
3.4.1 在 Unity編輯器中使用全息遠端呈現  81 
3.4.2 MR應用程序使用全息遠端呈現  82 
3.5 診斷繫統  84 
3.6 動態 GLTF格式模型加載  86 
3.7 多場景管理  88 

3.7.1 場景繫統配置  88 
3.7.2 場景加載與卸載  90 
3.7.3 場景加載進度與事件  91
第4章交互與事件 95 
4.1 Bounds Control  95 
4.1.1 基本操作  96 
4.1.2 HoloLens 2風格  101 
4.1.3 事件  103 
4.1.4 使用代碼操作  103 
4.2 Object Manipulator  105 
4.2.1 基本操作  105 
4.2.2 事件  108 
4.3 Constraint Manager  108 
4.3.1 基本操作  108 
4.3.2 約束組件  109 
4.4 Interactable 111 
4.4.1 基本操作  111 
4.4.2 Interactable 配置節  114 
4.4.3 事件  115 
4.4.4 視覺主題  116 
4.4.5 代碼操作  122 
4.5 Solvers  124 
4.5.1 解算器基礎  124 
4.5.2 標準解算器  126 
4.6 手指手掌可視化  130 
4.6.1 Fingertip Visualization  130 
4.6.2 RiggedHandVisualizer  131 
4.6.3 ArticulatedHandMeshPulse  132 
4.7 Elastic System  133 
4.8 Dock  134
第5章 UX控件  136 
5.1 按鈕  136 
5.1.1 按鈕的使用  138 
5.1.2 自定義按鈕  141 

HoloLens 2開發入門精要——基於 Unity和 MRTK 
5.2 Slate面板  143 
5.3 繫統鍵盤  144 
5.4 ToolTips  144 
5.5 Sliders  145 
5.6 近身菜單  146 
5.7 應用程序欄  148 
5.8 進度指示器  148 
5.9 對話框  150 
5.10 手勢引導  151 
5.10.1 HandInteractionhint組件  152 
5.10.2 MoveToTarget組件  153 
5.10.3 RotateAroundPoint組件  154
功能技術篇
第6章空間感知和映射 157 
6.1 運動跟蹤  157 
6.2 空間感知  161 
6.3 空間感知代碼操作  164 
6.4 開發環境中測試空間感知  168 
6.5 射線檢測  169 
6.6 場景理解和語義  172 
6.6.1 場景理解基礎  172 
6.6.2 場景理解使用  175 
6.7 空間感知和場景理解的應用  178 
6.7.1 虛擬物體放置  179 
6.7.2 遮擋  180 
6.7.3 物理模擬  181 
6.7.4 導航和路徑規劃  181
第7章手勢操作與交互 182 
7.1 手勢輸入配置  182 
7.1.1 輸入數據提供者  183 
7.1.2 手部跟蹤  183 

7.1.3 手部指針  184 
7.2 指針概述  185 
7.3 指針基本操作  187 
7.4 手勢操作  192 
7.4.1 近端操作  192 
7.4.2 遠端操作  195 
7.5 手部跟蹤  196 
7.5.1 獲取手部姿態  197 
7.5.2 獲取手部關節  198 
7.5.3 獲取手部網格  199 
7.5.4 手部關節使用演示  200 
7.6 手勢錄制和回放  201 
7.6.1 手勢錄制  202 
7.6.2 手勢回放  204 
7.7 手部菜單  204
第8章語音與交互 208 
8.1 語音命令  208 
8.1.1 打開話筒功能特性  208 
8.1.2 設置語音命令關鍵詞  209 
8.1.3 監聽並處理事件  209 
8.1.4 自定義語音命令處理邏輯  210 
8.2 語音識別  211 
8.2.1 添加語音識別數據提供者  212 
8.2.2 監聽並處理事件  212 
8.2.3 自定義語音命令處理  213
第9章眼動跟蹤與凝視交互 215 
9.1 眼動校準  215 
9.2 眼動跟蹤配置  217 
9.2.1 啟用凝視輸入功能特性  217 
9.2.2 添加凝視數據提供者  218 
9.2.3 設置眼動跟蹤參數  218 
9.3 凝視功能使用  220 
9.4 獲取凝視數據  220 

HoloLens 2開發入門精要——基於 Unity和 MRTK
第10章光影與特效  223 
10.1 光照  223 
10.1.1 光源  224 
10.1.2 光與材質的交互  224 
10.1.3 光照模型  225 
10.1.4 懸浮燈光  226 
10.1.5 接近燈光  228 
10.2 MRTK標準著色器  228 
10.2.1 模型切割  230 
10.2.2 輪廓線  232 
10.2.3 擠出與模板測試  234 
10.3 環境反射  235 
10.3.1 立方體貼圖  235 
10.3.2 環境反射與光照估計  236 
10.4 陰影  237
第11章 3D文字與音視頻 241 
11.1 3D文字  241 
11.1.1 文字單位換算  241 
11.1.2 中文字體制作  242 
11.2 3D聲頻  243 
11.2.1 3D聲場原理  244 
11.2.2 3D空間音效簡單使用  244 
11.2.3 運行時啟用和禁用 3D音效 248 
11.2.4素音效 3D化  249 
11.2.5 使用回響營造空間感  250 
11.2.6 3D音效設計原則  252 
11.3 3D視頻  254 
11.3.1 VideoPlayer組件  254 
11.3.2 視頻音效空間化  258
第12章空間錨點與 Azure雲服務  259 
12.1 Azure雲服務概述  259 
12.2 空間錨點  260 
12.2.1 錨點概述  260 

12.2.2 本地錨點  262 
12.2.3 本地錨點持久化與傳輸  266 
12.2.4 雲錨點  268 
12.3 遠程渲染  278 
12.4 小結  287
提高篇
第13章設計指南  291 
13.1 MR應用設計挑戰  291 
13.2 MR應用設計的一般原則  294 
13.2.1 舒適性  295 
13.2.2 顯示呈現  299 
13.2.3 UX設計  302 
13.2.4 3D音效  305 
13.2.5 視覺效果  306 
13.2.6 真實感  308 
13.2.7 跟蹤丟失  313 
13.3 MR應用交互設計指南  313 
13.3.1 指示光標  313 
13.3.2 可交互對像  315 
13.3.3 本能交互  318 
13.3.4 手勢交互  319 
13.3.5 語音交互  325 
13.3.6 凝視交互  328
第14章性能優化  331 
14.1 性能優化基礎  331 
14.1.1 影響性能的主要因素  331 
14.1.2 MR應用常用調試方法  333 
14.1.3 MR應用性能優化的一般原則  334 
14.2 MR應用性能調試工具  335 
14.2.1 Unity分析器  335 
14.2.2 幀調試器  338 
14.3 Unity分析器使用  340 

HoloLens 2開發入門精要——基於 Unity和 MRTK 
14.3.1 CPU使用情況分析器  340 
14.3.2 渲染情況分析器  341 
14.3.3 內存使用情況分析器  342 
14.3.4 物理分析器  342 
14.3.5 聲頻視頻分析器  343 
14.4 性能優化的一般步驟  344 
14.4.1 收集運行數據  345 
14.4.2 分析運行數據  346 
14.4.3 確定問題的原因  348 
14.5 渲染優化  350 
14.5.1 渲染流程  351 
14.5.2 CPU瓶頸  351 
14.5.3 GPU瓶頸  354 
14.6 代碼優化  356 
14.6.1 內存管理  356 
14.6.2 垃圾回收  357 
14.6.3 對像池  362 
14.6.4 常見影響性能的代碼優化策略  363 
14.7 MRTK優化設置 365 
14.7.1 UI/UX優化  365 
14.7.2 常用優化設置  366 
14.7.3 MR應用開發一般注意事項  368
附錄 A 更多資源 369
參考文獻 370 

HoloLens 2設備從 HoloLens 1代發展而來，是一臺可穿戴的一體式全息計算設備，它具有目前業內好的光波導顯示組件，擁有獨立的，可進行實時手勢檢測、語音命令、空間感知、運動跟蹤、眼動跟蹤等解算。 HoloLens 2設備發布後，在工業和軍事領域取得了巨大成功，也成為 AR眼鏡中名副其實的佼佼者。在計算機視覺與人工智能技術的推動下， HoloLens 2設備無論是跟蹤精度、設備性能，還是人機交互自然性上都有了很大提高，已基本滿足大眾對 AR眼鏡的期望。據權威機構預測， AR/MR會成為下一個十年改變人們生活、工作重要的技術之一，並在 5G通信技術的助力下出現應用高潮。 
HoloLens 2設備是微軟公司在前沿科技領域的重大技術布局，引領著移動 AR眼鏡的發展方向，並且圍繞 HoloLens 2設備上的 MR應用，微軟公司構建了一繫列軟硬件生態，包括 Azure雲服務、 Microsoft Mesh等，正全力推動 MR技術在各行各業、工作生活的各個角落落地應用，一個嶄新的人機交互設備正在悄然改變著一切。
本書主要講述利用 Unity和 MRTK進行 HoloLens 2設備上的 MR應用開發，旨在為 MR技術開發人員提供一份相對完善、成體繫的學習材料，幫助開發者繫統性地掌握 MR開發的相關知識，建立 MR應用開發知識體繫。 
AR/MR技術是一種將虛擬信息與真實世界融合展示的技術，其廣泛運用了人工智能、三維建模、實時跟蹤注冊、虛實融合、智能交互、傳感計算等多種技術手段，將計算機生成的文字、圖像、三維模型、聲頻、視頻、動畫等虛擬信息模擬仿真後應用到真實世界中。 AR技術同時考慮了真實世界與虛擬信息的相互關繫，虛實信息互為補充，從而實現對真實世界的增強，並能實時虛實交互。
本書注重利用 MRTK進行 MR應用開發的實際應用，但在講解技術點的同時對其原理、技術背景進行了較深入的探究，采取循序漸進的方式，使讀者知其然更能知其所以然，一步一步地將讀者帶入 MR應用開發的殿堂。
前置知識
本書面向 MR應用開發初學者與 Unity工程師，內容講述盡量采用通俗易懂的語言，從基礎入門，但仍然希望讀者能具備以下前置知識。
（1）熟悉 Unity引擎的使用操作，掌握 Unity開發的基本技能，能熟練進行一般性的模型導入和導出、屬性設置、發布部署等。
（2）熟悉 C#高級語言，掌握基本的 C#語法及常見數據結構、編碼技巧，對常見遊戲對

HoloLens 2開發入門精要——基於 Unity和 MRTK

像的代碼操作、事件綁定等有一定的理解。
（3）了解 Visual Studio開發環境，能進行基本的開發環境設置、功能調試、資源使用等。
（4）了解圖形學。數字三維空間是用數學精確描述的虛擬世界，如果讀者對坐標繫、向量及基本的代數運算有所了解，會對理解 MR應用的工作原理、渲染管線有很大幫助，但本書中沒有直接應用到復雜的數學計算，讀者不用太擔心。
預期讀者
本書屬於技術類書籍，預期讀者人群包括：（1）高等學校及對計算機技術有濃厚興趣的專科學校的學生。（2）對 MR技術有興趣的科技工作者。（3）向 MR轉行的程序員。（4）研究講授 MR技術的教師。（5）HoloLens 2設備應用開發人員。
本書特色
（1）結構清晰。本書共分 4部分：部分為基礎篇，第二部分為操作組件篇，第三部分為功能技術篇，第四部分為提高篇。緊緊圍繞利用 MRTK的 MR開發，從各個側面對其功能特性進行全面講述。
（2）循序漸進。本書充分考慮不同知識背景讀者的需求，按知識點循序漸進，通過大量配圖、實例進行詳細講解，力求使 MR初學者能快速掌握使用 MRTK進行 MR應用開發。
（3）深淺兼顧。在講解各功能技術點時對其技術原理、理論脈絡進行了較深入的探究，語言通俗易懂，對技術闡述深入淺出。
（4）實用性強。本書實例豐富，每個技術點都配有實例，注重對技術的實際運用，力圖解決讀者在項目開發中面臨的難點問題，實用性非常強。
讀者反饋
盡管我們在本書的編寫過程中多次對內容、語言描述的連貫性和敘述的準確性進行了審查、校正，但由於作者能力和水平有限，書中難免會出現一些錯誤，歡迎讀者在發現這些問題的時候及時批評指正。
致謝
僅以此書獻給筆者的妻子歐陽女士、孩子妍妍及軒軒，是你們的支持讓筆者能勇往直前，永遠愛你們，也感謝趙佳霓編輯對本書的大力支持。
汪祥春 
2021年 8月

本書源代碼