了得網計算機/網絡_神經網絡與深度學習：案例與實踐

內容簡介

作為邱錫鵬老師出品的《神經網絡與深度學習》配套案例，與《神經網絡與深度學習》深度融合，從實踐角度詮釋原書理論內容。

序
前言
第1章實踐基礎1
1.1如何運行本書的代碼.2
1.1.1本地運行.2
1.1.2代碼下載與使用方法..3
1.1.3在線運行.4
1.2張量..6
1.2.1創建張量.6
1.2.2張量的屬性..9
1.2.3張量與Numpy數組轉換..13
1.2.4張量的訪問..13
1.2.5張量的運算..16
1.3算子..20序
前言
第1章實踐基礎1
1.1如何運行本書的代碼.2
1.1.1本地運行.2
1.1.2代碼下載與使用方法..3
1.1.3在線運行.4
1.2張量..6
1.2.1創建張量.6
1.2.2張量的屬性..9
1.2.3張量與Numpy數組轉換..13
1.2.4張量的訪問..13
1.2.5張量的運算..16
1.3算子..20
1.3.1算子定義.21
1.3.2自動微分機制..25
1.3.3預定義的算子..27
1.3.4本書中實現的算子..27
1.3.5本書中實現的優化器..29
1.4本書中使用的數據集和實現的Dataset類..29
1.4.1數據集..29
1.4.2Dataset類..31
1.5本書中實現的Runner類.31
1.6小結..32
第2章機器學習概述33
2.1機器學習實踐五要素.34
2.1.1數據..35
2.1.2模型..36
2.1.3學習準則.36
2.1.4優化算法.37
2.1.5評價指標.37
2.2實現一個簡單的線性回歸模型..38
2.2.1數據集構建..38
2.2.2模型構建.40
2.2.3損失函數.42
2.2.4優化器..43
2.2.5模型訓練.45
2.2.6模型評價.45
2.3多項式回歸..46
2.3.1數據集構建：ToySin25..46
2.3.2模型構建.48
2.3.3模型訓練.49
2.3.4模型評價.50
2.3.5通過引入正則化項來緩解過擬合..52
2.4構建Runner類..53
2.5實踐：基於線性回歸的波士頓房價預測.55
2.5.1數據處理.55
2.5.2模型構建.62
2.5.3完善Runner類：RunnerV1.62
2.5.4模型訓練.63
2.5.5模型評價.64
2.5.6模型預測.64
2.6小結..65
第3章線性分類67
3.1基於Logistic回歸的二分類任務.68
3.1.1數據集構建..69
3.1.2模型構建.71
3.1.3損失函數.73
3.1.4模型優化.74
3.1.5評價指標.77
3.1.6完善Runner類：RunnerV2.77
3.1.7模型訓練.80
3.1.8模型評價.82
3.2基於Softmax回歸的多分類任務..82
3.2.1數據集構建..83
3.2.2模型構建.86
3.2.3損失函數.88
第3章線性分類67
3.1基於Logistic回歸的二分類任務.68
3.1.1數據集構建..69
3.1.2模型構建.71
3.1.3損失函數.73
3.1.4模型優化.74
3.1.5評價指標.77
3.1.6完善Runner類：RunnerV2.77
3.1.7模型訓練.80
3.1.8模型評價.82
3.2基於Softmax回歸的多分類任務..82
3.2.1數據集構建..83
3.2.2模型構建.86
3.2.3損失函數.88
3.2.4模型優化.89
3.2.5模型訓練.91
3.2.6模型評價.92
3.3實踐：基於Softmax回歸完成鳶尾花分類任務.92
3.3.1數據處理.93
3.3.2模型構建.95
3.3.3模型訓練.96
3.3.4模型評價.96
3.3.5模型預測.97
3.4小結..97
第4章前饋神經網絡994..99
4.1.1淨活性值.100
4.1.2激活函數.101
4.2基於前饋神經網絡的二分類任務..104
4.2.1數據集構建..105
4.2.2模型構建.105
4.2.3損失函數.108
4.2.4模型優化.109
4.2.5完善Runner類：RunnerV2_1..115
4.2.6模型訓練.117
4.2.7模型評價.118
4.3自動梯度計算和預定義算子.119
4.3.1利用預定義算子重新實現前饋神經網絡..119
4.3.2完善Runner類：RunnerV2_2..120
4.3.3模型訓練.122
4.3.4模型評價.124
4.4優化問題.124
4.4.1參數初始化..124
4.4.2梯度消失問題..126
4.4.3死亡ReLU問題.129
4.5實踐：基於前饋神經網絡完成鳶尾花分類任務.130
4.5.1小批量梯度下降法..130
4.5.2數據處理.132
4.5.3模型構建.133
4.5.4完善Runner類：RunnerV3.135
4.5.5模型訓練.140
4.5.6模型評價.142
4.5.7模型預測.142
第5章卷積神經網絡145
5.1卷積..146
5.1.1二維卷積運算..146
5.1.2二維卷積算子..147
5.1.3卷積的變種..148
5.1.4帶步長和零填充的二維卷積算子..149
5.1.5使用卷積運算完成圖像邊緣檢測任務.151
5.2卷積神經網絡的基礎算子..152
5.2.1卷積層算子..152
5.2.2彙聚層算子..156
5.3基於LeNet實現手寫體數字識別任務..157
5.3.1數據集構建..158
5.3.2模型構建.161
5.3.3模型訓練.164
5.3.4模型評價.165
5.3.5模型預測.165
5.4基於殘差網絡的手寫體數字識別..166
5.4.1模型構建.167
5.4.2沒有殘差連接的ResNet18.173
5.4.3帶殘差連接的ResNet18.174
5.5實踐：基於ResNet18網絡完成圖像分類任務..175
5.5.1數據處理.176
5.5.2模型構建.179
5.5.3模型訓練.179
5.5.4模型評價.181
5.5.5模型預測.181
5.6小結..182
第6章循環神經網絡183
6.1循環神經網絡的記憶能力實驗..184
6.1.1數據集構建..185
6.1.2模型構建.189
6.1.3模型訓練.194
6.1.4模型評價.196
6.2梯度爆炸實驗.196
6.2.1梯度打印函數..197
6.2.2復現梯度爆炸問題..197
6.2.3使用梯度截斷解決梯度爆炸問題..199
6.3LSTM的記憶能力實驗..200
6.3.1模型構建.202
6.3.2模型訓練.204
6.3.3模型評價.206
6.4實踐：基於雙向LSTM模型完成文本分類任務.207
6.4.1數據處理.207
6.4.2模型構建.212
6.4.3模型訓練.214
6.4.4模型評價.215
6.4.5模型預測.216
6.5小結..216
第7章網絡優化與正則化217
7.1小批量梯度下降法..218
7.2批大小的調整實驗..218
7.3不同優化算法的比較分析..221
7.3.1優化算法的實驗設定..222
7.3.2學習率調整..229
7.3.3梯度估計修正..235
7.3.4不同優化器的3D可視化對比..240
7.4參數初始化..244
7.4.1基於固定方差的參數初始化.244
7.4.2基於方差縮

前言

“我不能創造的東西，我就不理解（ What I cannot create, I do not understand）．”這是諾貝爾物理獎獲得者理查德 ·費恩曼（ Richard Feynman）在他辦公室黑板上留下的一句話．深度學習的學習中也是如此，隻有通過實踐纔能更深入地理解理論．
《神經網絡與深度學習》電子版 ①從 2015年年底在網上開放共享以來，收到很多讀者的反饋，其中有很多寶貴的建議和意見．這些反饋也使得《神經網絡與深度學習》不斷改進． 2020年年初，由於疫情影響我封閉在家，終於有時間把這本書正式整理出版．這本書出版後，也得到廣大讀者的支持．《神經網絡與深度學習》主要闡述了神經網絡與深度學習技術的基本原理和方法．很多讀者希望能在學習的同時進行實踐，以加深對理論的理解．雖然我在 GitHub上留了一些實踐練習的作業，但深知這些作業本身具有一定的門檻，對深度學習的入門讀者有一定難度．因此，給《神經網絡與深度學習》配一本實踐書，一直是我的願望．剛好百度飛槳團隊也在給一些人工智能教材配備實踐內容，使得我的願望提前實現．基於教學需求和投入精力的考慮，本書隻選擇了《神經網絡與深度學習》的前 8章進行實踐配套，對於其餘章節，希望以後有機會再進行實踐配套．飛槳是一款非常成熟的深度學習框架，其生態建設也非常完善．飛槳在 2.0版本之後支持了動態圖，變得更加易用．因此本書以飛槳框架來編寫實踐內容，同時支持在 AI Studio上運行，進一步降低了使用門檻．“我不能創造的東西，我就不理解（ What I cannot create, I do not understand）．”這是諾貝爾物理獎獲得者理查德 ·費恩曼（ Richard Feynman）在他辦公室黑板上留下的一句話．深度學習的學習中也是如此，隻有通過實踐纔能更深入地理解理論．
《神經網絡與深度學習》電子版 ①從 2015年年底在網上開放共享以來，收到很多讀者的反饋，其中有很多寶貴的建議和意見．這些反饋也使得《神經網絡與深度學習》不斷改進． 2020年年初，由於疫情影響我封閉在家，終於有時間把這本書正式整理出版．這本書出版後，也得到廣大讀者的支持．《神經網絡與深度學習》主要闡述了神經網絡與深度學習技術的基本原理和方法．很多讀者希望能在學習的同時進行實踐，以加深對理論的理解．雖然我在 GitHub上留了一些實踐練習的作業，但深知這些作業本身具有一定的門檻，對深度學習的入門讀者有一定難度．因此，給《神經網絡與深度學習》配一本實踐書，一直是我的願望．剛好百度飛槳團隊也在給一些人工智能教材配備實踐內容，使得我的願望提前實現．基於教學需求和投入精力的考慮，本書隻選擇了《神經網絡與深度學習》的前 8章進行實踐配套，對於其餘章節，希望以後有機會再進行實踐配套．飛槳是一款非常成熟的深度學習框架，其生態建設也非常完善．飛槳在 2.0版本之後支持了動態圖，變得更加易用．因此本書以飛槳框架來編寫實踐內容，同時支持在 AI Studio上運行，進一步降低了使用門檻．
本書的定位是把神經網絡模型、深度學習原理和工程實踐結合起來，讓讀者在動手實踐中更深入地理解深度學習的模型和原理．因此，本書在章節設計上和《神經網絡與深度學習》一一對應，並以模型解讀 +案例實踐的形式進行介紹：
1）模型解讀主要聚焦如何從零開始一步步實現機器學習模型和算法，並結合簡單的任務來加深讀者對模型和算法的理解．
2）案例實踐主要強調如何在實際應用的任務中使用飛槳 API來更好地實現模型和算法，會涉及一些在實際任務上踫到的數據預處理等問題．
為了更適合深度學習的入門者使用，我們力求代碼簡潔，並從零開始一步步進行深度學習的實踐，搭建一個輕量級的機器學習框架以及相應的算子庫：
1）從學習流程角度出發，構建一個輕量級機器學習框架 Runner，用它來將機器學習實踐中的要素（包括數據、模型、學習準則 [損失函數 ]、優化算法、評價指標）以及機器學習流程（模型準備、模型訓練、模型評價以及模型預測）封裝為一個整體，以方便讀者快速開發一個機器學習繫統來完成實際任務． Runner類也隨著學習內容的遞進不斷完善，終可以用來處理大多數機器學習任務，有很高的實用性．

①本書出版後因封面上專門設計了蒲公英圖案，寓意幫助更多的讀者進入深度學習以及人工智能領域，為人工智能領域注入新的生機與活力，而被廣大讀者昵稱為蒲公英書．——編輯注
2）從模型構建角度出發，借鋻深度學習框架中算子的概念，本書從零開始一步步實現自定義的基本算子庫，進一步通過組合自定義算子來搭建機器學習模型，終搭建自己的機器學習模型庫nndl．這使得讀者在實踐過程中不僅知其然還知其所以然，更好地掌握深度學習的模型和算法，並理解深度學習框架的實現原理．
本書中構建的輕量級機器學習框架 Runner和算子庫 nndl基本可以滿足我們在日常實踐中的大部分機器學習任務的需要，讀者也可以在具體的應用中不斷完善，終打造一個適合自己的個性化機器學習框架．
此外，本書還對《神經網絡與深度學習》中的一些數學公式和術語翻譯進行更新：
1）在數學公式方面，《神經網絡與深度學習》中使用矩陣表示一組樣本時，每一列為一個樣本．而在實踐中，矩陣計算是以張量（ Tensor）為單位進行的．因此，為了更加符合目前深度學習框架中的張量的特性和使用方式，本書使用每一行為一個樣本．這樣就需要對原來的公式進行重新的推導，好處是可以直接根據公式快速地實現代碼．
2）在術語翻譯方面，機器學習領域的很多名詞存在難翻譯和亂翻譯的現像．在李航老師的建議下，我有幸與周志華老師、李沐、阿斯頓 ·張一起討論了機器學習相關術語的翻譯問題，對各自教材中不一致的譯法進行統一，因此本書中采用我們當時討論確定的新譯法，比如將 Dropout翻譯為“暫退法”，將 Normalization翻譯為“規範化”等．
本書能夠完成，離不開飛槳教材編寫組的安夢濤、畢然、遲愷、程軍、呂健、劉其文、馬艷軍、文燦、吳高升、吳蕾、汪慶輝、吳甜、徐肜肜、於佃海、張翰迪、張一超、張亞嫻的大力支持，他們為本書撰寫了邏輯嚴謹的模型解讀內容和簡潔易用的實踐代碼．特別感謝我的學生李鵬和林天揚，他們也為本書的出版付出了很多時間和精力．
因為個人能力有限，書中難免有不當和錯誤之處，還望讀者海涵和指正，不勝感激．
後，我衷心希望本書能為國產深度學習框架的普及做出一點點貢獻．

邱錫鵬
於上海 .復旦大學
2022年 7月 1日

商品搜索

商品分类

【醫學】

【各大出版社】