目錄
第1章數學基礎

1.1數據表示——標量、向量、矩陣和張量

1.1.1標量、向量、矩陣和張量

1.1.2向量的範數

1.1.3常用的向量

1.1.4常見的矩陣

1.1.5矩陣的操作

1.1.6張量的常用操作

1.2優化的基礎——導數及其應用

1.2.1導數

1.2.2泰勒公式

1.2.3拉格朗日乘數法

1.3概率模型的基礎——概率論

1.3.1隨機變量

1.3.2概率分布

1.3.3邊緣概率

1.3.4條件概率

1.3.5獨立性

1.3.6期望、方差與協方差

1.3.7常用的概率分布

1.4習題

第2章Python入門

2.1Python簡介

2.2Python基礎語法

2.2.1數據結構類型

2.2.2運算符

2.2.3條件語句

2.2.4循環語句

2.2.5函數

2.2.6面向對像與類

2.2.7腳本

2.3NumPy

2.3.1NumPy數組創建與訪問

2.3.2NumPy數組計算

2.3.3廣播

2.4Matplotlib

2.4.1Matplotlib的安裝

2.4.2Matplotlib圖像的組成部分

2.4.3Pyplot繪制簡單圖形

2.4.4Matplotlib多圖像繪制

 
 
2.5實踐： 豆瓣高分電影爬取

2.5.1思路分析

2.5.2獲取頁面

2.5.3解析頁面

2.5.4存儲數據

2.5.5數據展示與分析

2.6習題

第3章機器學習基礎

3.1機器學習概述

3.1.1機器學習定義與基本術語

3.1.2機器學習的三要素

3.1.3機器學習方法概述

3.2數據預處理

3.2.1數據清洗

3.2.2數據集拆分

3.2.3數據集不平衡

3.3特征工程

3.3.1特征編碼

3.3.2特征選擇與特征降維

3.3.3特征標準化

3.4模型評估

3.5實踐： 鳶尾花分類

3.5.1數據準備

3.5.2配置模型

3.5.3模型訓練

3.5.4數據可視化

3.6習題

第4章深度學習基礎

4.1深度學習發展歷程

4.2感知機

4.2.1感知機的起源

4.2.2感知機的局限性

4.3前饋神經網絡

4.3.

4.3.2網絡結構

4.3.3訓練與預測

4.3.4反向傳播算法

4.4提升神經網絡訓練的技巧

4.4.1參數更新方法

4.4.2數據預處理

4.4.3參數的初始化

4.4.4正則化

4.5深度學習框架

4.5.1深度學習框架的作用

4.5.2常見深度學習框架

4.5.3飛槳概述

4.6實踐： 手寫數字識別

4.6.1數據準備

4.6.2網絡結構定義

4.6.3網絡訓練

4.6.4網絡預測

4.7習題

第5章卷積神經網絡

5.1概述

5.2整體結構

5.3卷積層

5.3.1全連接層的問題

5.3.2卷積運算

5.3.3卷積的導數

5.3.4卷積層操作

5.3.5矩陣快速卷積

5.4池化層

5.5歸一化層

5.6參數學習

5.7典型卷積神經網絡

5.7.1LeNet

5.7.2AlexNet

5.7.3VGGNet

5.7.4Inception

5.7.5ResNet

5.7.6DenseNet

5.7.7MobileNet

5.7.8ShuffleNet

5.8實踐： 貓狗識別

5.8.1數據準備

5.8.2網絡配置

5.8.3網絡訓練

5.8.4網絡預測

5.9習題

第6章循環神經網絡

6.1循環神經網絡簡介

6.1.1循環神經網絡的結構與計算能力

6.1.2參數學習

6.1.3循環神經網絡變種結構

6.1.4深度循環神經網絡

6.1.5遞歸神經網絡

6.2長期依賴和門控RNN

6.2.1長期依賴的挑戰

6.2.2循環神經網絡的長期依賴問題

6.2.3門控RNN

6.2.4優化長期依賴

6.3雙向RNN

6.4序列到序列架構

6.4.1Seq2Seq

6.4.2注意力機制

6.5實踐： 電影評論情感分析

6.5.1數據準備

6.5.2網絡結構定義

6.5.3網絡訓練

6.5.4網絡預測

6.6習題

第7章深度學習進階

7.1深度生成模型

7.1.1變分自編碼器

7.1.2生成對抗網絡

7.2深度強化學習

7.2.1強化學習模型

7.2.2強化學習分類

7.2.3深度強化學習

7.2.4深度Q網絡

7.2.5深度強化學習應用

7.3遷移學習

7.3.1遷移學習的定義與分類

7.3.2遷移學習的基本方法

7.4實踐：  生成對抗網絡

7.4.1數據準備

7.4.2網絡配置

7.4.3模型訓練與預測

7.5習題

第8章深度學習應用：  計算機視覺

8.1目標檢測

8.1.1傳統目標檢測

8.1.2基於區域的卷積神經網絡目標檢測

8.1.3基於回歸的卷積神經網絡目標檢測

8.2語義分割

8.2.1傳統語義分割方法

8.2.2基於卷積神經網絡的語義分割

8.3實踐： 目標檢測

8.3.1數據準備

8.3.2網絡配置

8.3.3模型訓練

8.3.4模型預測

8.4習題

第9章深度學習應用：  自然語言處理

9.1自然語言處理的基本過程

9.1.1獲取語料

9.1.2語料預處理

9.1.3特征工程

9.2自然語言處理應用

9.2.1文本分類

9.2.2機器翻譯

9.2.3自動問答

9.3實踐：  機器翻譯

9.3.1數據準備

9.3.2網絡結構定義

9.3.3網絡訓練

9.3.4網絡預測

9.4習題

參考文獻

前言
深度學習源於人工神經網絡，自2006年被提出後，受到學術界和工業界的高度關注，迅速成為機器學習領域為活躍的一個分支。深度學習是一種基於對數據進行表征學習的方法，通過構建具有多個隱層的學習網絡和海量的訓練數據，來學習有用的特征，通過逐層特征變換，將樣本在原空間的特征表示變換到新特征空間，從而實現更加準確高效的分類或預測。近年來，深度學習方法已經在計算機視覺、自然語言處理、語音識別、記憶網絡等諸多領域中得到廣泛應用，取得了令人驚喜的應用成果。
本書是一本關於深度學習的入門級教程，主要介紹深度學習的基本概念、基本原理和基本方法，從數學基礎、編程知識和機器學習基本知識開始，由淺入深地講解深度學習的主要內容，繫統深入地剖析深度學習各部分的原理、技術和方法，以及相關的應用，並結合百度深度學習框架——飛槳（PaddlePaddle），進行項目實戰，帶領讀者全面、清晰地理解和掌握深度學習技術。本書的一大特點是將深度學習的理論方法與編程、項目實踐結合起來，以便加深加快讀者對所學內容的理解和掌握。本書主要面向信息科學及相關領域的本科生、研究生、研究人員和深度學習愛好者。
全書共9章，可分為3部分： 第1部分包括第1~3章，介紹基本的數學、編程和機器學習知識； 第2部分包括第4~7章，繫統、深入地講解現今已成熟的深度學習方法和實踐； 第3部分包括第8~9章，介紹深度學習在計算機視覺和自然語言處理領域的應用和實踐。書中各章節相互獨立，讀者可根據自己的興趣和時間情況選擇使用。書中每章都給出了相應習題，一方面幫助讀者鞏固本章學習內容，另一方面引導讀者擴展相關知識。書中每章也都給出了相應的實踐性內容，建議讀者在閱讀時，輔以代碼實戰，快速上手深度學習，加深模型理解。
 感謝中國科學院大學的同事和學生積極參與。感謝你們對本書理論內容提出的寶貴建議和意見，讓本書內容更顯精彩； 感謝你們對本書實踐代碼的測試反饋，讓實踐代碼千錘百煉； 感謝你們在書稿校對時的認真負責、不辭辛苦。同時感謝百度公司長久以來對於高校人工智能教育的重視與情懷。感謝吳甜、徐菁、喻友平、計湘婷等同事在本書撰寫過程中發揮的巨大作用。
目前，深度學習方法並不完美，還有許多需要進一步研究解決的問題。如果通過本書的學習，能夠引領讀者迅速進入深度學習研究和應用前沿，取得突破性的成果，那將是本書作者的榮幸！
作者
2019年6月

第3章機器學習基礎

機器學習作為實現人工智能的一種手段，近年來日益流行。而本書的重點——深度學習，也正是實現機器學習的一種重要技術。因此，了解機器學習中的一些概念和算法對於理解深度學習算法有很大的幫助。在這一章，我們將介紹這些機器學習中的重要概念、數據處理方法、評價指標等，人工智能、機器學習和深度學習之間的關繫，如圖3.1所示。

圖3.1人工智能、機器學習和深度學習之間的關繫

3.1機器學習概述
3.1.1機器學習定義與基本術語

首先，還是從人工智能出發來介紹機器學習。人工智能是一門研究用於模擬、延伸和拓展人的智能的理論和方法的學科。根據實現效果，可以將人工智能分為強人工智能和弱人工智能。強人工智能是指機器能夠實現推理、獨立思考、解決未知問題並且擁有自我意識和價值觀； 弱人工智能是指機器不能真正實現自我思考、推理和解決問題，它們隻是看起來像擁有了智能。雖然科幻電影中大多描繪的是強人工智能，但是目前人們做出的努力隻是集中在弱人工智能部分，隻能賦予機器感知環境的能力。而這部分的成功主要歸功於一種實現人工智能的方法——機器學習。
機器學習(Machine Learning, ML)就是讓機器通過學習數據來獲得某種知識，從而獲得解決問題的能力。從學科的角度出發，機器學習往往指一類通過學習數據來完成任務的算法。其實，這種通過學習數據來解決問題的思路還是源於人思考的方式。我們經常會聽到很多的俗語，例如“朝霞不出門，晚霞行千裡”“瑞雪兆豐年”“干鼕濕年”等，這些都體現了從古至今人類的智慧。那麼為什麼朝霞出現就會下雨，晚霞出現天氣就會晴朗呢？原因就在於人具有很強大的歸納能力，根據每天的觀察和總結，慢慢“訓練”出了這樣一種分辨是否下雨的“分類器”。

 
 
針對機器學習的定義，Mitchell給出了一個更形式化的說明： 對於一個任務(Task) T和性能指標(Performance Metric) P，如果程序通過經驗(Experience) E在任務T上的指標P獲得了提升，那麼我們就說針對T和P，程序對E進行了學習。這個定義可能比較拗口，表3.1列舉了幾個例子來幫助理解。

表3.1機器學習中的任務、性能指標和經驗

實例1
T下像棋
P對弈任意對手的勝率
E與自己不斷對戰

實例2
T識別人臉
P識別結果的正確率、誤檢率和漏檢率
E人工標定的圖片數據集

實例3
T自動駕駛
P從出發點到目的地的踫撞次數、行駛時間、耗油量等
E有駕駛規則的行駛環境數據集

實例4
T通過面部觀察判斷罪犯
P識別結果的正確率、誤檢率和漏檢率
E包含罪犯與非罪犯面部照片的數據集

了解了機器學習的定義之後，再來關注所有機器學習算法都會涉及的一些概念。以“預測下雨”為例，在預測之前，我們肯定需要獲取一些特征(Feature)或屬性(Attribute)，比如是否出現了朝霞、是否出現了晚霞、溫度、空氣濕度、雲量，甚至是衛星雲圖,等等。通常，為了能夠進行數學計算，我們需要將這些特征表示為一個d維的特征向量(Feature Vector)，記作x=［x1,x2,…,xd］T，向量的每一個維度代表一個特征，總共選取了d個特征。
這樣的特征有無窮多種，但是並不是每一種都對終的判斷有幫助。所以，為了通過學習來了解哪些特征是有幫助的，以及這些特征取哪些值時會下雨，我們還要獲得它們對應的標簽(Label)。標簽可以是連續值，比如下雨量、下雨持續時間等； 標簽也可以是離散的，比如是否會下雨。標簽的選取通常與需要完成的任務有關。當標簽是連續值時，這樣的機器學習任務稱為回歸(Regression)問題； 當標簽是有限數量的離散值時，這樣的機器學習任務稱為分類(Classification)問題； 當標簽是標記序列時，這樣的機器學習任務稱為標注(Tagging)問題。標注問題可以看成是分類問題的一種。
一組記錄好的特征值以及它的標簽稱為一個樣本(Sample)或實例(Instance)，例如(特征： (出現朝霞、沒有出現晚霞、空氣濕度為50%)，標簽： (下雨))。一組樣本構成的集合稱為數據集(Dataset)。
現在再回顧機器學習的定義，為了能夠在任務T上提高性能P，需要學*種經驗E。這裡，需要學習的就是數據集，而為了確定性能P是否能夠提高，還需要一個不同的數據集來測量性能P。因此，數據集需要分為兩部分，用於學習的數據集稱為訓練集(Training Set)，用於測試終性能P的數據集稱為測試集(Test Set)。為了保證學習的有效性，我們需要保證這兩個集合不相交。
數據集中的樣本還需要保證一個基本的特性——獨立同分布(Identically and Independently Distributed, IID)假設，即每一個樣本都需要獨立地從相同的數據分布中提取。“獨立”保證了任意兩個樣本之間不存在依賴關繫； “同分布”保證了數據分布的統一，從而在訓練集上的訓練結果對於測試集也是適用的。例如，當訓練集的數據都是“地球的天氣”，而測試集中都是“火星的天氣”，這很顯然是不合理的。
機器學習的重點是如何更好地利用這些數據。給定訓練集，我們希望算法能夠擬合一個函數f(x,θ)來完成從輸入特征向量到標簽的映射。對於連續的標簽或者非概率模型，我們通常會直接擬合標簽的值： 

y^=f(x,θ)

其中，θ為算法模型可學習的參數。對於離散的標簽或者概率模型，通常會擬合一個條件概率分布函數： 

py^|x=f(x,θ)

用於預測每一類的概率值。
為了獲得這樣的一組模型參數θ，我們需要有一套學習算法(Learning Algorithm)來優化這個函數映射，這個優化的過程就稱為學習(Learning)或者訓練(Training)，這個需要擬合的函數就稱為模型(Model)。學習的目的就在於找到一個好的模型，而這樣一個模型應當是輸入空間至輸出空間映射集合中的一個映射，這個映射集合稱為假設空間(Hypothesis Space)。換句話說，學習的目的就在於從這個假設空間中選擇出一素。