這是一部融合了企業界先進工程實踐經驗和學術界前沿技術和思想的ORC著作。

本書由阿裡巴巴本地生活研究院算法團隊技術專家領銜，從組件、算法、實現、工程應用等維度繫統講解基於深度學習的OCR技術的原理和落地。書中一步步剖析了算法背後的數學原理，提供大量簡潔的代碼實現，幫助讀者從零基礎開始構建OCR算法。

全書共10章：

第1章從宏觀角度介紹了ORC技術的發展歷程、概念和產業應用；

第2章講解了OCR的圖像預處理方法；

第3~4章介紹了傳統機器學習方法和深度學習的相關基礎知識；

第5章講解了基於傳統方法和深度學習方法的OCR的數據生成；

第6章講解了與OCR相關的一些高級深度學習方法，方便讀者理解後續的檢測和識別部分；

第7章講解了文字的檢測技術，從通用的目標檢測到文字的檢測，一步步加深讀者對文字檢測問題的認識；

第8章討論了文字識別的相關技術，定位到文字的位置之後，需要對文字的內容進行進一步的解析；

第9章介紹了一些OCR後處理的方法；

第10章介紹了一些版面分析方法。

劉樹春

阿裡巴巴本地生活研究院算法專家，前復旦七牛雲聯合實驗室OCR算法負責人，在OCR相關技術的落地和實現方面有深入的研究和豐富的實踐經驗，在菜單識別、車牌檢測識別、卡證識別、商業廣告文字檢測和識別、票據類識別等應用場景中積累了豐富的經驗。曾經組隊參加COCO競賽、ICDAR刷榜等活動，並發表多篇論文。 

賀盼

佛羅裡達大學在讀博士，擔任 CVPR、ICCV、ECCV等10多家國際頂會審稿人或程序委員，在場景文本領域發表過多篇國際會議論文 (DTRN、CTPN、SSTD等)。曾經在中科院先進技術研究院、港中文、曠視美國研究院等做過相關研究工作，對場景文本有深刻的認識，並且對場景文本學術前沿有很強的感知力。 

馬建奇

著名的RRPN算法的作者，發表過多篇國際會議論文，曾經在曠視研究院做過檢測相關的工作，在上海高等研究院做過文字檢測相關的工作，曾經組隊參加過ICDAR 17 MLT比賽，獲得前三名。曾獲Facebook研究實習機會。目前即將開始修讀博士學位，正在做文字識別相關的工作，對於OCR的問題有獨到的見解。 

王佳軍

阿裡巴巴本地生活研究院高級算法專家，負責本地生活研究院圖像算法團隊的管理、研發等工作，曾經在滴滴研究院做相關算法的研究。業餘時間擔任深度學習框架MXNet的技術專家，對實際算法的落地優化等有非常深入的耕耘，具有很強的OCR相關項目的落地能力。 

謝雨飛

趣頭條算法工程師，曾在七牛雲做OCR、NLP相關算法的研究工作，發表過多篇國際論文。 

陳明曦

紐約大學碩士研究生，曾在七牛雲從事OCR相關工作，發表相關論文數篇。

推薦序

前言

第1章緒論  1

1.1人工智能大潮中的OCR發展史  1

1.1.1傳統OCR方法一般流程  3

1.1.2基於深度學習OCR方法一般流程  5

1.2文字檢測  6

1.3文字識別  8

1.4產業應用現狀  10

1.5本章小結  11

1.6參考文獻  11

第2章圖像預處理  13

2.1二值化  13

2.1.1全局閾值方法  13

2.1.2局部閾值方法  17

2.1.3基於深度學習的方法  20

2.1.4其他方法  22

2.2平滑去噪  26

2.2.1空間濾波  26

2.2.2小波閾值去噪  28

2.2.3非局部方法  29

2.2.4基於神經網絡的方法  33

2.3傾斜角檢測和校正  35

2.3.1霍夫變換  36

2.3.2Radon 變換  38

2.3.3基於 PCA 的方法  38

2.4實戰  39

2.5參考文獻  43

第3章傳統機器學習方法緒論  45

3.1特征提取方法  45

3.1.1基於結構形態的特征提取  45

3.1.2基於幾何分布的特征提取  61

3.2分類方法模型  63

3.2.1支持向量機  63

3.2.2K近鄰算法  65

3.2.3多層感知器  70

3.3實戰：身份證號碼的識別  71

3.3.1核心代碼  71

3.3.2測試結果  78

3.4本章小結  79

3.5參考文獻  79

第4章深度學習基礎知識  80

4.1單層神經網絡  80

4.1.1  80

4.1.2感知機  81

4.2雙層神經網絡  82

4.2.1雙層神經網絡簡介  82

4.2.2常用的激活函數  83

4.2.3反向傳播算法  86

4.3深度學習  87

4.3.1卷積神經網絡  88

4.3.2常用優化算法  90

4.4訓練網絡技巧  92

4.4.1權值初始化  92

4.4.2L1/L2正則化  93

4.4.3Dropout  94

4.5實戰  95

4.6參考文獻  97

第5章數據生成  99

5.1背景介紹  99

5.2傳統單字OCR數據生成  100

5.3基於深度學習的OCR數據生成  101

5.3.1文字檢測數據的生成  101

5.3.2檢測圖片生成  103

5.3.3其他方法  112

5.3.4識別數據生成  113

5.4通過GAN的技術生成數據  114

5.4.1GAN背景介紹  114

5.4.2GAN的原理  116

5.4.3GAN的變種  117

5.5圖像增廣  123

5.5.1常用的圖像增強方法  123

5.5.2深度學習方法  126

5.6常用的開源數據集  128

5.7ICDAR的任務和數據集  131

5.8本章小結  138

5.9參考文獻  138

第6章深度學習高級方法  140

6.1圖像分類模型  140

6.1.1LeNet5  140

6.1.2AlexNet  142

6.1.3VGGNet  143

6.1.4GoogLeNet  144

6.1.5ResNet  147

6.1.6DenseNet  151

6.1.7SENet  153

6.1.8輕量化網絡  154

6.2循環神經網絡  154

6.2.1RNN網絡  154

6.2.2GRU  156

6.2.3GRU的實現  158

6.2.4LSTM網絡  160

6.3Seq2Seq  163

6.4CTC Loss  164

6.4.1算法詳解  166

6.4.2前向傳播  168

6.4.3後向傳播  173

6.4.4前向/後向算法  173

6.4.5CTC算法特性  174

6.4.6代碼解析  175

6.5Attention  178

6.6本章小結  181

6.7參考文獻  182

第7章文字檢測  183

7.1研究意義  183

7.2目標檢測方法  185

7.2.1目標檢測相關術語  186

7.2.2傳統檢測方法  189

7.2.3Two-stage 方法  195

7.2.4One-stage 方法  210

7.3文本檢測方法  217

7.3.1傳統文本檢測方法  217

7.3.2基於深度學習的文本檢測方法  222

7.4本章小結  228

7.5參考文獻  228

第8章字符識別  232

8.1任務概覽  232

8.2數據集說明  233

8.2.1數據集意義  233

8.2.2常見識別數據集介紹  234

8.3評測指標  238

8.3.1編輯距離  239

8.3.2歸一化編輯距離  239

8.3.3字符準確度  239

8.3.4詞準確率  239

8.3.5語境相關的評測方式  239

8.4主流算法介紹  240

8.4.1傳統光學方法  240

8.4.2完全基於深度學習的方法  244

8.5CRNN模型實戰  274

8.5.1簡介  274

8.5.2運行環境  274

8.5.3測試部分講解  274

8.5.4測試運行結果  279

8.5.5訓練部分  279

8.5.6用ICDAR2013數據集訓練CRNN模型  282

8.6本章小結  284

8.7參考文獻  285

第9章OCR後處理方法  288

9.1文本糾錯  288

9.1.1BK-tree  289

9.1.2基於語言模型的中文糾錯  293

9.2文本結構化  297

9.2.1模板匹配  298

9.2.2文本分類  300

9.3本章小結  304

9.4參考文獻  304

第10章版面分析  306

10.1版面分析詳解  306

10.2復雜版面識別  309

10.3文檔恢復  310

10.4本章小結  311

10.5參考文獻  311

◆推薦序 ◆

文字識別（OCR）是視覺感知中一個重要的技術，目的是從照片中提取文字信息。這項技術有著廣泛的應用前景。比如，自動駕駛汽車路標識別，或把掃描文檔轉化成結構化的文字信息以方便檢索。近幾年來，隨著深度學習等技術的發展，文字識別相關技術取得了突破性進展，特別是場景文字的檢測、識別和結構化技術。這些技術的發展使得文字識別在工業界受到了廣泛關注。阿裡巴巴、騰訊、百度、谷歌、微軟等互聯網公司都有大規模的文字識別應用，提供了各式各樣的文字識別相關的服務。

本書繫統地介紹了文字識別的各類方法，內容翔實，包括圖像預處理、數據生成與增強、文字檢測、文字識別以及後處理和結構化等，這些方法是文字識別的基礎。同時，本書還介紹了學習這些方法所必需的一些基礎，比如，殘差神經網絡以及通用目標檢測技術。另外，本書詳細地介紹了這些方法具體的代碼實現，供讀者學習和使用。目前，關於文字識別的專業書籍還比較缺乏，本書將給廣大文字識別研究人員和應用人員帶來便利。

本書的作者在文字識別學術研究和產業應用方面有豐富的經驗，書中很好地融合了學術理論和產業化實踐。相信本書的出版對於文字識別技術的普及和發展會產生積極的作用。

——FCOS，CTPN模型作者，田值

前言

文字作為人類傳播文明、傳遞信息、記錄思想的重要載體，在我們的生活中占據著舉足輕重的地位，所以文字識別是目前受關注的AI技術之一。OCR技術應用非常廣泛，相較於圖像，文字作為抽像的符號，承載著大量的信息，所以識別文字有非常大的價值。從歷史角度看，文字識別是一門古老的技術，但是從實驗室走出來，走進人們的生活，也隻是近些年纔發生的事情。特別是在深度學習應用於文字識別領域後，文字識別精度逼近人工水平，發展出非常多的應用。

筆者作為機器視覺方面的從業者，在剛開始將的深度學習技術應用到文字識別時遇到很多困難，常常苦惱於市面上鮮有全面介紹文字識別實現原理和方法的資料，特別是中文書籍，即使有，所介紹的技術也非常落後，遠遠脫離產業以及學術前沿。隨著自己不斷地學習和嘗試，在反復試錯以及與同行交流後，慢慢掌握了其中的方法。為了幫助更多與我有相似經歷的人，我們幾位同事把基於深度學習的OCR方法整理出來，希望能幫助更多相關從業人員。

本書從OCR的出現講到中間經歷的傳統技術，再到的基於深度學習的技術，同時根據OCR常用技術流程——從數據、模型對文字的定位、識別到後處理等，對OCR技術做了一個深度梳理，帶領讀者進入一個引人入勝的文字識別智能世界，領略各種神經網絡的魅力及挑戰。

全書總共有10章，邏輯上分為四個部分。

部分（第1～3章），主要介紹傳統OCR技術。

第二部分（第4～6章），主要介紹OCR中一些基礎的組件和方法。

第三部分（第7～8章），主要跟蹤前沿的文字檢測和文字識別技術。

第四部分（第9～10章），主要介紹一些常用的後處理方法和版面分析方法。

本書在內容上盡可能涵蓋了OCR領域的基礎知識，在合著伙伴的組成上，有學術界梯隊的青年學者，同時也有產業界一線從業者，希望盡可能實現理論與實踐並重。

寫作分工

劉樹春編寫第1章、第5章、第6章、第10章。

賀盼編寫第7章。

馬建奇編寫第8章。

王佳軍編寫第9章。

謝雨飛編寫第3章。

陳明曦編寫第2章、第4章。

本書特點

本書具有如下特點：

1.作者有學術界的OCR研究者，也有工作在一線的OCR從業者，試圖做到理論與實踐結合。

2.涵蓋的知識面比較全，包括傳統的OCR方法以及的基於深度學習的OCR方法。

3.強化了對代碼的梳理，方便讀者實戰運行。

本書讀者

本書可作為OCR從業人士或者研究生的參考資料或者入門教程，用來了解OCR相關前沿技術。

感謝

本書在後期修訂中得到、張飛雲、劉樹芳、龍力等同仁的幫助。他們抽出寶貴的時間幫忙審閱，並提出了中肯的意見和建議。

感謝阿裡巴巴本地生活研究院提供的支持與幫助，特別是李佩博士與何田院士對我們工作的鼎力支持。

感謝機械工業出版社的編輯楊福川、張錫鵬和董惠芝，沒有他們的努力就沒有本書的順利出版。

後，感謝各位讀者朋友。

讀者服務

由於OCR領域的發展日新月異，本書無法做到在所有細分領域面面俱到。而且筆者筆力有限，書中會有很多不足的地方，還望讀者能夠幫忙指正，不勝感激，日後定將勤加修訂升級。

本書通過GitHub（https://github.com/ocrbook/ocrinaction）進行各種資源的交互，以及信息的反饋。

謝謝大家！

劉樹春