第１章 相機成像模型 ／１
１．１ 引言 ／１
１．２ 簡單的相機模型 ／２
１．２．１ 相機數學模型 ／２
１．２．２ 相機的內參 ／４
１．２．３ 相機的外參 ／６
１．２．４ 相機成像公式 ／７
１．２．５ 相機成像畸變 ／７
１．３ 圖像的顏色 ／１０
１．３．１ 基於拜爾濾波器的顏色感知 ／１０
１．３．２ ＲＧＢ顏色模型 ／１１
１．３．３ ＨＳＶ顏色模型 ／１２
１．４ 圖像的亮度 ／１４
１．４．１ 空間中的光 ／１４
１．４．２ 物體表面的光線反射 ／１６
１．４．３ 薄透鏡成像的輻射度學 ／１７
１．４．４ 數字成像過程 ／１９
１．５ 渲染 ／２０
１．５．１ 渲染方程 ／２０
１．５．２ 光線追蹤算法 ／２０
１．６ 本章小結 ／２３
第２章 圖像空間濾波 ／２４
２．１ 引言 ／２４
２．２ 卷積和互相關 ／２５
２．２．１ 卷積 ／２５
２．２．２ 互相關 ／２６
２．３ 圖像的平滑 ／２８
２．３．１ 鄰域均值濾波 ／２８
２．３．２ 加權均值濾波 ／２８
２．３．３ 高斯均值濾波 ／２９
２．３．４ 中值濾波 ／３０
２．３．５ 雙邊濾波 ／３０
２．４ 圖像的銳化 ／３２
２．４．１ 梯度銳化 ／３２
２．４．２ 拉普拉斯算子的二階微分銳化 ／３３
２．４．３ 非銳化掩膜與高頻提升濾波 ／３４
２．５ 本章小結 ／３５
第３章 圖像特征提取 ／３６
３．１ 引言 ／３６
３．２ 基於非學習方法的邊緣檢測 ／３７
３．２．１ 邊緣、導數和梯度 ／３９
３．２．２ 邊緣的卷積形式計算 ／４０
３．２．３ 噪聲對邊緣檢測的影響和處理方法 ／４１
３．２．４ Ｃａｎｎｙ邊緣檢測算子 ／４３
３．３ 基於深度學習的邊緣檢測 ／４５
３．３．１ ＨＥＤ／４５
３．３．２ ＲＣＦ／４７
３．３．３ ＣＡＳＥＮｅｔ／４９
３．４ 基於非學習方法的關鍵點檢測 ／５１
３．４．１ 角點檢測原理 ／５３
３．４．２ Ｈａｒｒｉｓ角點檢測 ／５４
３．４．３ Ｈａｒｒｉｓ角點檢測的優勢與不足 ／５８
３．４．４ 高斯拉普拉斯算子 ／５９
３．４．５ 高斯差分算子 ／６４
３．５ 基於深度學習的語義關鍵點檢測 ／６５
３．５．１ 基於深度學習的人臉關鍵點檢測 ／６５
３．５．２ 人體關鍵點檢測 ／６９
３．５．３ 房間布局估計 ／７４
３．６ 基於非學習方法的直線檢測 ／７８
３．６．１ 最小二乘法 ／７８
３．６．２ 基於ＲＡＮＳＡＣ的直線擬合 ／８２
３．６．３ 霍夫變換 ／８４
３．７ 基於深度學習的線段檢測 ／８７
３．７．１ 基於圖表示的線段檢測 ／８７
３．７．２ 基於向量場表示的線段檢測 ／８８
３．７．３ 語義直線檢測及應用 ／８９
３．８ 本章小結 ／９１
參考文獻 ／９１
第４章 圖像分類 ／９４
４．１ 引言 ／９４
４．２ 圖像表達 ／９７
４．３ 基於手動特征的圖像表達 ／９８
４．３．１ 基於顏色直方圖的圖像表達 ／９８
４．３．２ 基於經典的視覺詞袋模型的圖像表達 ／９９
４．３．３ 基於空間金字塔匹配模型的圖像表達 ／１０４
４．３．４ 基於壓縮感知的圖像表達 ／１０５
４．３．５ 基於高斯混合模型的圖像特征編碼 ／１０７
４．４ 基於支持向量機的圖像分類 ／１０８
４．４．１ 面向線性可分數據的支持向量機分類 ／１０８
４．４．２ 面向非線性可分數據的支持向量機分類 ／１１４
４．４．３ 基於支持向量機的多分類實現 ／１１６
４．４．４ 基於視覺詞袋模型和支持向量機的圖像分類 ／１１６
４．５ 基於自編碼器的圖像表達 ／１１７
４．５．１ 多層感知機 ／１１８
４．５．２ 自編碼器 ／１２０
４．５．３ 降噪自編碼器 ／１２１
４．６ 基於卷積神經網絡的圖像分類 ／１２２
４．６．１ 卷積神經網絡的組件 ／１２２
４．６．２ 神經網絡的訓練 ／１２８
４．６．３ 代表性圖像分類卷積神經網絡 ／１３１
４．７ 基於膠囊網絡的圖像分類 ／１４３
４．７．１ ＣａｐｓＮｅｔ／１４４
４．７．２ 堆疊膠囊自編碼器 ／１４７
４．８ 基於Ｔｒａｎｓｆｏｒｍｅｒ的圖像分類 ／１４９
４．８．１ 自然語言處理中的Ｔｒａｎｓｆｏｒｍｅｒ／１４９
４．８．２ 基於Ｔｒａｎｓｆｏｒｍｅｒ的圖像分類 ／１５１
４．９ 本章小結 ／１５９
參考文獻 ／１５９
第５章 圖像中目標檢測 ／１６４
５．１ 引言 ／１６４
５．２ 基於手動特征的目標檢測 ／１７１
５．２．１ ＶｉｏｌａＪｏｎｅｓ人臉檢測算法 ／１７２
５．２．２ 基於ＤＰＭ的目標檢測 ／１７６
５．３ 基於卷積神經網絡的目標檢測 ／１８３
５．３．１ 兩階段目標檢測算法 ／１８５
５．３．２ 單階段目標檢測算法 ／１９０
５．３．３ 無錨框的目標檢測算法 ／１９５
５．４ 基於Ｔｒａｎｓｆｏｒｍｅｒ的目標檢測 ／１９９
５．４．１ ＤＥＴＲ／１９９
５．４．２ Ｐｉｘ２ｓｅｑ／２０１
５．５ 本章小結 ／２０３
參考文獻 ／２０４
第６章 圖像分割 ／２０７
６．１ 引言 ／２０７
６．２ 基於手動特征的圖像分割算法 ／２０９
６．２．１ 基於圖論的圖像分割 ／２０９
６．２．２ 基於聚類的圖像分割 ／２１３
６．３ 語義分割 ／２１６
６．３．１ ＦＣＮ／２１８
６．３．２ Ｕ Ｎｅｔ／２１９
６．３．３ ＤｅｅｐＬａｂ／２２０
６．３．４ ＰＳＰＮｅｔ／２２３
６．４ 實例分割 ／２２３
６．４．１ ＭａｓｋＲ ＣＮＮ／２２５
６．４．２ ＹＯＬＡＣＴ／２２５
６．４．３ ＳＯＬＯ／２２７
６．５ 全景分割 ／２２８
６．５．１ ＰａｎｏｐｔｉｃＦＰＮ／２２９
６．５．２ ＵＰＳＮｅｔ／２３０
６．６ 點雲分割 ／２３２
６．６．１ 用於圖的卷積神經網絡 ／２３４
６．６．２ 基於點雲的語義分割 ／２３８
６．７ 本章小結 ／２４４
參考文獻 ／２４４
第７章 視頻分類和行為識別 ／２４８
７．１ 引言 ／２４８
７．２ 基於手動特征的視頻分類 ／２５３
７．２．１ 基於詞袋模型的視頻表達和分類 ／２５４
７．２．２ 基於光流特征的視頻表達和分類 ／２５４
７．３ 基於循環神經網絡的視頻分類 ／２６３
７．３．１ 循環神經網絡 ／２６３
７．３．２ 雙向循環神經網絡 ／２６４
７．３．３ 長短期記憶網絡 ／２６６
７．３．４ 門控制 ／２６７
７．３．５ 基於ＬＳＴＭ的視頻表達 ／２６７
７．４ 基於卷積神經網絡的視頻分類 ／２７０
７．４．１ 單分支網絡 ／２７０
７．４．２ 多分支網絡 ／２７８
７．５ 基於Ｔｒａｎｓｆｏｒｍｅｒ的視頻分類 ／２８２
７．５．１ ＶｉＶｉＴ／２８２
７．５．２ ＴｉｍｅＳＦｏｒｍｅｒ／２８５
７．５．３ ＶｉｄｅｏＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ／２８６
７．５．４ ＶｉｄｅｏＣＬＩＰ／２８８
７．５．５ ＶＬＭ／２９０
７．６ 時序動作定位 ／２９１
７．６．１ 單階段方法 ／２９２
７．６．２ 自頂向下的多階段方法 ／２９５
７．６．３ 自底向上的多階段方法 ／２９９
７．７ 本章小結 ／３０４
參考文獻 ／３０４
第８章 圖像三維重建 ／３１１
８．１ 引言 ／３１１
８．２ 對極幾何 ／３１３
８．３ 相機標定 ／３１７
８．４ 基於傳統算法的多視圖立體重建 ／３２１
８．４．１ 簡單的基於匹配三維點空間坐標求解方法 ／３２１
８．４．２ 基於平面掃描的場景深度估計 ／３２２
８．４．３ 基於視差的深度估計 ／３２３
８．４．４ 基於ＰａｔｃｈＭａｔｃｈ的立體重建 ／３２５
８．５ 基於深度學習的多視角重建 ／３２８
８．５．１ ＭＶＳＮｅｔ／３２９
８．５．２ Ｆａｓｔ ＭＶＳＮｅｔ／３３０
８．６ 基於深度學習的場景的單目深度估計 ／３３２
８．６．１ 有監督學習的單目深度估計 ／３３２
８．６．２ 自監督學習的單目視頻深度估計 ／３３５
８．７ 深度學習對基於不同形狀表達的三維重建 ／３３８
８．７．１ 基於體素的顯式三維表達 ／３３８
８．７．２ 基於多邊形網格的顯式三維表達 ／３４４
８．７．３ 基於隱函數的隱式物體表達 ／３４８
８．７．４ 基於神經立體渲染的多視角重建 ／３５３
８．８ 本章小結 ／３７０
參考文獻 ／３７０

在這個科技日新月異的時代，計算機視覺已然成為一個極具挑戰性和充滿潛力的領域。隨著計算機性能的提升和算法的不斷創新，我們似乎進入了一個全新的視覺時代，一個充滿無限可能性的時代。作為計算機視覺的從業者，我們深感榮幸，能夠在過去10年裡，與眾多傑出的學生和朋友們一同探索這一領域的奧秘，見證計算機視覺從感知到重建的奇妙過程。
本書題為《計算機視覺：從感知到重建》,旨在為您提供一份全面且深入的指南，幫助您踏上探索計算機視覺的壯麗征程。在這本書中，我們將深入探討計算機視覺的一繫列核心主題，從相機成像，圖像的處理、分析和感知，一直到三維重建，講解各主題的基礎理論、方法原理和經典技術。
我們在此簡要介紹本書中各章的主要內容，以便不同背景的讀者更有效地獲取所需信息。例如，剛開始接觸計算機視覺的讀者可以通讀全書並側重理論部分，有一定相關知識背景的讀者可以針對性地閱讀某些章節以加深理解，或將本書作為工具書查詢某個領域的經典方法和前沿方法。
第一章：相機成像模型  介紹了計算機視覺領域視角下的相機模型、成像過程以及圖像的顏色模型、亮度模型、渲染模型等。這些內容能夠幫助讀者理解數字圖像的本源，掌握數字圖像和物理世界之間的邏輯關繫、幾何關繫，為入門計算機視覺，理解各種計算機視覺算法奠定基礎。
第二章：圖像空間濾波  空間濾波用於改善圖像質量、去除噪聲和增強圖像特征，是一種關鍵的圖像處理的技術。本章將介紹多種不同的空間濾波方法，以及它們在圖像增強中的應用。另外，濾波或換言之卷積操作，也將在本書其他章節中頻繁出現，希望讀者通過閱讀本章能夠理解並掌握這種經典的數學方法。
第三章：圖像特征提取 介紹了如何從圖像中提取有意義的信息即圖像特征，包括傳統手動方法和基於深度學習的方法。正如我們人類識別人臉更多的是借助五官和輪廓特征，而非人臉上的每個毛孔等細節，實際上大多數的計算機視覺技術並不直接處理數字圖像，而是基於體量更加精簡、信息更為豐富的圖像特征進行後續的計算處理。
第四章：圖像分類  介紹了計算機視覺的入門級圖像感知任務，即理解圖像中的主要物體並輸出其類別。包括多種傳統方法和基於深度學習的新方法。本章首次涉及圖像表達、神經網絡和卷積神經網絡，因此也重點講解了相關的基礎知識。
第五章：圖像中目標檢測  介紹了定位和識別圖像中物體的任務，以及實現目標檢測的技術，包括傳統的方法和最新的深度學習框架。
第六章：圖像分割  介紹了這種將圖像中的每個像素標記為其對應物體類別的任務、語義分割的原理和應用，以及如何使用手動特征或深度學習來實現圖像分割。
第七章：視頻分類和行為識別  介紹了視頻序列的分析和理解任務。視頻是一繫列連續的圖像，與單幀圖像相比，既有視頻分類等類似任務，也有視頻中的物體追蹤、動作識別和場景分析等新任務。從技術手段角度來看，既有應用於單幀圖像的技術的擴展，也有針對視頻數據提出的新技術。
第八章：圖像三維重建  介紹了如何從二維圖像還原出三維世界的模型，三維重建是計算機視覺領域的巔峰之一。本章詳細介紹了三維重建的幾何原理、從相機運動到點雲重建的各個步驟，以及如何使用深度學習來改進三維重建的質量。
總體而言，本書以圖像的成像、處理、理解和重建為脈絡，繫統性地講解了計算機視覺領域各主要任務的理論、方法和技術。本書的獨特之處在於，既回顧了傳統的計算機視覺方法——基於手動特征的經典算法，又深入介紹了最前沿的深度學習技術。這對於現代計算機視覺的學習者尤為重要。一方面，以深度學習為代表的人工智能技術近年來極大地提高了許多視覺算法的表現，拓展了計算機視覺技術成功落地的範圍，學習計算機視覺必須掌握這些前沿技術。而另一方面，許多具體任務又無法使用新興的深度學習方法來解決，如精確測量、高速實時檢測，或者無法獲得大規模數據的問題，這在實際應用中，尤其是農業、工業問題中十分常見，所以學習者仍然有必要掌握基於手動特征的各種視覺方法和技術。本書即是這樣一本融合傳統與現代的教材，讓您既能夠理解計算機視覺的基本原理，又能夠掌握當今最激動人心的技術。
從多年的求學、科研和教學經歷中，我們切身了解到學生們對於計算機視覺知識體繫的困惑，對於知識圖譜和難度曲線設計或多或少的抱怨，以及對更好教材的渴望。因此，我們以自己的教學經驗和研究成果為基礎，盡最大努力編寫這本教材，希望能夠滿足各類讀者的需求，無論您是渴望在計算機視覺領域深耕細作的研究生，還是想要初窺門徑的本科生，或是需要了解計算機視覺領域技術的科學家、工程師朋友。
計算機視覺是一個非常活躍且高速迭代的領域，許多新的英文單詞、命名或縮寫在成書時仍然沒有恰當且通用的中文翻譯，例如Transformer等，因此本書保留了一些英文單詞未做翻譯。除此以外，在一些涉及語料的數據集中，由於英文單詞作為數據的特殊性，在數據集的說明性示意圖中也未對英文進行翻譯。
最後，衷心感謝上海科技大學各位領導和上海科技大學信息學院院長虞晶怡教授對此事的關心和支持，感謝上海科學技術出版社高在青編輯對本書付出的辛苦努力。感謝李晶、肖宇廷、金磊、錢深瀚、錢一成、許家樂、王晨宇、王若宇、胡俊豪、趙子伯、鐘子明、餘澤浩、徐衍玉、廉東澤、劉聞、羅偉鑫、董思勛、胡華章、智軼浩、黃彬彬、於勁鵬、趙逸群、王碩、樸智新及其他課題組成員為本書內容組織、編寫和修訂工作所做的貢獻。感謝國家自然科學基金委員會(項目編號61932020)對本書出版提供的資助。感謝各位讀者與我們一同踏上這段令人興奮的旅程。計算機視覺是一項永無止境的探索，而您的參與，將使這段旅程更加充實和有趣。願這本書帶給您知識的光芒，啟迪您的思維，引領您走向計算機視覺的精彩未來。
祝您閱讀愉快，探索無窮!
高盛華  厲征鑫
2023年10月