·學習如何通過變分自動編碼器改變圖像中人物的面部表情。

·學習如何構建GAN模型，包括風格遷移模型CycleGAN以及音樂生成模型MuseGAN。

·學習如何通過循環生成模型來生成文本，以及如何利用注意力機制改善模型。

·學習如何利用生成模型幫助智能體在強化學習環境中完成任務。

·探索Transformer（BERT、GPT-2），以及ProGAN和StyleGAN等圖像生成模型的架構。

David Foster是Applied Data Science的聯合創始人，這是一家數據科學咨詢公司，為客戶提供創新的解決方案。他擁有英國劍橋三一學院的數學碩士學位，以及華威大學運籌學碩士學位。

“本書深入淺出地介紹了生成式建模的深度學習工具包。如果你是一位富有創造力的編程愛好者，希望在實際工作中應用深度學習，那麼本書是不B二之選。”

——David Ha

Google Brain的研究科學家

目錄
前言 .1
第一部分 生成式深度學習概述
第1 章 生成建模 11
1.1 什麼是生成建模？ 11
1.1.1 生成建模與判別建模 13
1.1.2 機器學習的發展 . 14
1.1.3 生成建模的興起 . 15
1.1.4 生成建模的框架 . 18
1.2 概率生成模型 21
1.2.1 你好，Wrodl ！ 24
1.2.2 你的第一個概率生成模型 . 25
1.2.3 樸素貝葉斯 28
1.2.4 你好，Wrodl ！續篇 . 31
1.3 生成建模的難題 33
表示學習 34
1.4 設置環境 37
1.5 小結 40
第2 章 深度學習 41
2.1 結構化與非結構化數據 41
2.2 深度神經網絡 43
Keras 和TensorFlow 44
2.3 第一個深度神經網絡 . 45
2.3.1 加載數據. 46
2.3.2 建立模型. 48
2.3.3 編譯模型. 52
2.3.4 訓練模型. 54
2.3.5 評估模型. 55
2.4 改進模型 58
2.4.1 卷積層 . 58
2.4.2 批標準化. 64
2.4.3 Dropout 層 . 66
2.4.4 結合所有層 68
2.5 小結 71
第3 章 變分自動編碼器 73
3.1 畫展 73
3.2 自動編碼器 . 76
3.2.1 第一個自動編碼器 . 77
3.2.2 編碼器 . 78
3.2.3 解碼器 . 80
3.2.4 連接編碼器與解碼器 82
3.2.5 分析自動編碼器 . 84
3.3 變化後的畫展 87
3.4 構建變分自動編碼器 . 89
3.4.1 編碼器 . 89
3.4.2 損失函數. 94
3.4.3 分析變分自動編碼器 97
3.5 使用VAE 生成面部圖像 98
3.5.1 訓練VAE 99
3.5.2 分析VAE . 102
3.5.3 生成新面孔 . 103
3.5.4 隱空間的算術 104
3.5.5 面部變形 106
3.6 小結 . 107
第4 章 生成對抗網絡 108
4.1 神秘獸 108
4.2 生成對抗網絡簡介 111
4.3 第一個生成對抗網絡 112
4.3.1 判別器 113
4.3.2 生成器 115
4.3.3 訓練GAN 119
4.4 GAN 面臨的難題 125
4.4.1 損失震蕩 125
4.4.2 模式收縮 126
4.4.3 不提供信息的損失函數 126
4.4.4 超參數 127
4.4.5 解決GAN 面臨的難題 . 127
4.5 WGAN 127
4.5.1 Wasserstein 損失 128
4.5.2 利普希茨約束 130
4.5.3 權重裁剪 131
4.5.4 訓練WGAN 132
4.5.5 分析WGAN 133
4.6 WGAN-GP 134
4.6.1 梯度懲罰損失 135
4.6.2 分析WGAN-GP 139
4.7 小結 . 140
第二部分 教機器繪畫、寫作、作曲和玩遊戲
第5 章 繪畫 145
5.1 蘋果和橙子 146
5.2 CycleGAN 149
5.3 第一個CycleGAN 模型 . 151
5.3.1 簡介 151
5.3.2 生成器（U-Net） 153
5.3.3 判別器 157
5.3.4 編譯CycleGAN 158
5.3.5 訓練CycleGAN 161
5.3.6 分析CycleGAN 162
5.4 創建一個模仿莫奈作品的CycleGAN . 164
5.4.1 生成器（ResNet） 165
5.4.2 分析CycleGAN 166
5.5 神經風格遷移 . 168
5.5.1 內容損失 169
5.5.2 風格損失 172
5.5.3 總方差損失 . 175
5.5.4 運行神經風格遷移 176
5.5.5 分析神經風格遷移模型 177
5.6 小結 . 178
第6 章 寫作 179
6.1 壞家伙們的文學社 180
6.2 長短期記憶網絡 181
6.3 第一個LSTM 網絡 182
6.3.1 分詞 183
6.3.2 建立數據集 . 185
6.3.3 LSTM 架構 . 187
6.3.4 嵌入層 187
6.3.5 LSTM 層 188
6.3.6 LS胞 . 190
6.4 生成新文本 192
6.5 RNN 擴展 . 196
6.5.1 堆疊式循環網絡 196
6.5.2 門控制 198
6.5.3胞 200
6.6 編碼器- 解碼器模型 200
6.7 問答生成器 203
6.7.1 問答數據集 . 204
6.7.2 模型架構 205
6.7.3 推斷 210
6.7.4 模型的結果 . 212
6.8 小結 . 214
第7 章 作曲 215
7.1 前提知識 216
音符 216

前言
What I cannot create, I do not understand.
——Richard Feynman
創造能力是人類的先天優勢之一。從最早的穴居人開始，我們一直尋找機會創造美麗的作品。早期的人類在洞穴的牆壁上描繪野生動物和抽像的圖案，他們小心而有條理地將顏料塗到岩石上。浪漫主義時代的人類創造了柴可夫斯基交響曲，聲波與美麗的旋律以及和聲交織在一起，澎湃而又悲傷的情緒襲上每個人的心頭。如今這個時代，有時我們會在深夜匆匆趕往書店，購買一本虛構的故事書，因為許許多多的文字凝聚的故事讓我們欲罷不能地翻動著書頁，隻為了看看主人公接下來的命運。
因此，人類開始思考有關創造力的終極問題：能否創造出本身具有創造力的東西？
這便是生成建模旨在解決的問題。隨著方法與技術的日益發展，如今我們能夠讓機器按照一定的風格繪制藝術畫作，撰寫內容連貫的長篇巨作，創作悅耳的樂曲，並通過生成想像的場景制訂出高端遊戲制勝策略。這僅僅是生成式革命的開端，我們別無選擇，唯有尋找有關創造力難題的答案，並最終挑戰人類。
長話短說，現在就是學習生成建模的最佳時機，那麼下面就讓我們開始吧！
本書的組織結構
本書涵蓋了近年來在生成建模領域占主導地位的關鍵技術，我們通過這些技術在創作任務方面取得了令人矚目的進步。除了介紹生成建模的核心理論之外，我們還會完整地示範如何構建各大文獻中提及的關鍵模型，並逐步介紹每個模型的代碼庫。
本書還講述了一些簡短的寓言故事，這些故事有助於我們理解將要構建的某些模型的機制。我認為，講解抽像理論的最佳方式之一就是將其轉化為不太抽像的事物（例如故事），然後再深入講解技術。在故事的背景下，理論的各個步驟更為清晰，因為這些故事融合了人、動作和情感，非常便於理解，不像神經網絡、反向傳播和損失函數那麼晦澀難懂（它們是抽像的結構）。故事和模型講解隻是在兩個不同領域中講解同一個機制。因此，你可以在學習每種模型時回顧相關的故事。如果你已經非常熟悉某個技術，則可以在故事中找到每素的對應部分！
本書的第一部分將介紹構建生成模型的關鍵技術，包括深度學習、變分自動編碼器以及生成對抗網絡的概述。在第二部分中，我們將利用這些技術來解決一些創造性的任務，例如通過CycleGAN、編碼器- 解碼器模型和MuseGAN 等模型來完成繪畫、寫作和作曲。此外，我們還將介紹如何利用生成建模來優化玩遊戲的策略（世界模型），並了解當今最尖端的生成架構，例如StyleGAN、BigGAN、BERT、GPT-2 和MuseNet 等。
本書面向的讀者對像
我們希望本書的讀者擁有一定的Python 編程經驗。如果你不熟悉Python，那麼最好先從LearningPython.org 開始學習。有關Python 學習的免費在線資源非常多，可以幫助你積累足夠的Python 基礎知識，以更好地理解本書中的示例。此外，由於部分模型的描述用到了數學符號，因此讀者最好對線性代數（例如矩陣乘法等）和一般概率論有扎實的了解。
最後，讀者還需要一個環境，能夠在其中運行本書GitHub 代碼庫中的示例。作者盡最大努力確保書中的所有示例都無須耗費大量的計算資源。
雖然有人說訓練深度學習模型需要GPU，盡管GPU 確實有幫助，而且可以加快訓練速度，但不是必需條件。實際上，如果你不熟悉深度學習，那麼我建議你先花些時間在筆記本電腦上嘗試一些小示例，等到掌握基礎知識後，再投入時間和精力研究如何利用硬件加快訓練速度。
其他資源
我強烈推薦以下兩本書作為機器學習和深度學習的入門書籍：
? 《Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow:Concepts, Tools, and Techniques to Build Intelligent Systems》，作者：Aurelien Geron，O’Reilly 出版。
? 《Deep Learning with Python》，作者： Francois Chollet，Manning 出版。
本書中的大多數論文都來自arXiv（這是一個免費的科學研究論文存儲庫）。如今，在論文經過全面的同行評審之前，通常作者都會先將論文發布到arXiv。查閱最新提交的論文是掌握該領域最前沿發展的一種好方法。
此外，我還強烈推薦網站Papers with Code（地址：https://paperswithcode.com/），你可以在這個網站上找到各種機器學習任務的最新技術成果，以及論文和GitHub 官方代碼庫的鏈接。如果你想要快速了解目前哪些技術在各項任務中的表現最佳，那麼這是一個非常好的資源，而且該網站也幫助我決定了本書涵蓋的技術。
最後， 有關在加速硬件上訓練深度學習模型的資源， 我推薦Google Colaboratory（地址：https://colab.research.google.com/notebooks/intro.ipynb#recent=true）。這是一個免費的Jupyter Notebook 環境，無需任何設置即可在雲中運行。你可以在免費的GPU 運行notebook，最多12 個小時。雖然你不必在GPU 上運行本書中的示例，但GPU 可以加快訓練過程。不管怎樣，Colab 都是免費訪問GPU 資源的絕佳方法。
排版約定
本書使用了下述排版約定。
斜體（Italic）
表示新術語、URL、示例電子郵件地址、文件名和擴展名。
等寬字體（Constant Width）
表示代碼，在段內用以表示與代碼素，例如變量或函數名、數據庫、數據類型、環境變量、聲明和關鍵字。
等寬粗體字（Constant width bold）
表示命令或其他用戶輸入的文本。
斜體等寬字體（Constant Width Italic）
表示該文本應當由用戶提供的值或由用戶根據上下文決定的值替換。
使用代碼示例
你可以通過以下網址下載本書的補充材料（代碼示例，練習等）：https://github.com/davidADSP/GDL_code。
本書的目的是幫助你完成工作。一般來說，在自己的程序或者文檔中使用本書附帶的示例代碼。你無須聯繫我們獲得使用許可，除非你要復制大量的代碼。
例如，使用本書中的多個代碼片段編寫程序就無需獲得許可。但以CD-ROM的形式銷售或者分發O’Reilly 書中的示例代碼則需要獲得許可。回答問題時援引本書內容以及書中示例代碼，無需獲得許可。在你自己的項目文檔中使用本書大量的示例代碼時，則需要獲得許可。
我們不強制要求署名，但如果你這麼做，我們深表感激。署名一般包括書名、作者、出版社和國際標準書號。例如：“Generative Deep Learning by David Foster (O’Reilly). Copyright 2019 Applied Data Science Partners Ltd., 978-1-492-04194-8”。
如果你覺得自身情況不在合理使用或上述允許的範圍內，請通過郵件和我們聯繫，地址是 permissions@oreilly.com。
O’Reilly 在線學習平臺（O’Reilly Online Learning）
近40 年來，O’Reilly Media 致力於提供技術和商業培訓、知識和卓越見解，來幫助眾多公司取得成功。
我們擁有獨一無二的專家和革新者組成的龐大網絡，他們通過圖書、文章、會議和我們的在線學習平臺分享他們的知識和經驗。O’Reilly 的在線學習平臺允許你按需訪問現場培訓課程、深入的學習路徑、交互式編程環境，以及O’Reilly 和200 多家其他出版商提供的大量文本和視頻資源。有關的更多信息，請訪問http://oreilly.com。
意見和疑問
請把你對本書的意見和疑問發給出版社：
美國：
O’Reilly Media, Inc.
1005 Gravenstein Highway North
Sebastopol, CA 95472
中國：
北京市西城區西直門南大街2號成銘大廈C座807室（100035）
奧萊利技術咨詢（北京）有限公司
這本書有專屬網頁，你可以在上面找到本書的勘誤、示例和其他信息。網址是：http://shop.oreilly.com/product/0636920189817.do。
如果你對本書有一些評論或技術上的建議， 請發送電子郵件到
bookquestions@oreilly.com。
要了解O’Reilly 圖書、培訓課程、會議和新聞的更多信息，請訪問我們的網站，網址是：http://www.oreilly.com。
我們的Facebook：http://facebook.com/oreilly。
我們的Twitter：http://twitter.com/oreillymedia。
我們的Youtube：http://www.youtube.com/oreillymedia。
致謝
本書得以付梓，我要感謝很多人給予的幫助。
首先， 我要感謝所有的技術審查人員， 特別感謝Luba Elliott、Darren Richardson、Eric George、Chris Schon、Sigurður Skúli Sigurgeirsson、Hao-Wen Dong、David Ha 和Lorna Barclay。
此外，我要感謝Applied Data Science Partners 的同事Ross Witeszczak、Chris Schon、Daniel Sharp 和Amy Bull。感謝你們在創作本書過程中的耐心等待，我非常期待未來我們攜手共同完成的所有機器學習項目！我還要特別感謝Ross，如果當初我們沒有決定一起開展業務，那麼也就沒有這本書的問世，所以感謝你信任我作為你的業務合作伙伴！
還要感謝那些曾經教過我數學的所有人，我有幸在學校遇到了最優秀的數學老師，在他們的引導下我對數學產生了濃厚的興趣，並鼓勵我在大學繼續深造。我要感謝你們的付出，並毫無保留地教授該主題的知識。
非常感謝O’Reilly 的工作人員指導我完成本書的創作。特別感謝Michele Cronin 一路相伴，為我提供了很多反饋，並友好地提醒我完成每個章節！我要感謝Katie Tozer、Rachel Head 和Melanie Yarbrough 對本書的付出，還有Mike Loukides 第一個拋出橄欖枝，詢問我是否對寫書感興趣。你們給予了本書如此大力的支持，我要感謝各位為我提供了一個自由創作的平臺。
在本書的創作過程中，我的家人一直是鼓勵和支持的源泉。非常感謝我的媽媽Gillian Foster，她幫助我檢查了每一行的錯字，當初也是她教我學習數學加法！您在審閱本書時對細節的關注至關重要，對於您和爸爸為我創造的所有機遇，我深表感謝。還有我的父親Clive Foster，他是我學習計算機編程的啟蒙老師，這本書大量的實例都要歸功於他早期給予我的耐心，當初我曾嘗試用BASIC 制作足球遊戲。我的兄弟Rob Foster 是這個世界上最謙虛的天纔，尤其是在語言學領域，與他談論AI 以及基於文本的機器學習的未來給予了我很多啟發。最後，我要感謝我的Nana，她是我們所有人的靈感和樂趣之源。她對文學的熱愛是我迷上寫書的原因之一。
最後，我要感謝我的未婚妻（即將成為我的妻子）Lorna Barclay。她不僅認真地審閱了本書中的每個單詞，而且還在整個創作過程中提供了源源不斷的支持，為我泡茶，帶來各種零食，而且她對細節的關注以及統計和機器學習的專業知識幫助我撰寫出了優秀的生成建模指南。沒有你，我就無法完成本書的創作，感謝你投入大量時間來幫我組織和擴展書中需要進一步解釋的內容。我向你保證，在這本書出版之後的（至少）幾周內，我不會在餐桌上談論生成模型。