●I第二版序言
III版序言
VI第三版前言
1章文字和語言vs數字和信息
文字和語言與數學,從產生起原本就有相通性,雖然它們的發展一度分道揚鑣,但是最終還是能走到一起。
1信息
2文字和數字
3文字和語言背後的數學
15第2章自然語言處理——從規則到統計
人類對機器理解自然語言的認識走了一條大彎路。早期的研究集中采用基於規則的方法,雖然解決了一些簡單的問題,但是無法從根本上將自然語言理解實用化。直到20多年後,人們開始嘗試用基於統計的方法進行自然語言處理,纔有了突破性進展和實用的產品。
1機器智能
2從規則到統計
27第3章統計語言模型
統計語言模型是自然語言處理的基礎,並且被廣泛應用於機器翻譯、語音識別、印刷體,或手寫體識別、拼寫糾錯、漢字輸入和文獻查詢。
1用數學的方法描述語言規律
2延伸閱讀:統計語言模型的工程訣竅
41第4章談談分詞
中文分詞是中文信息處理的基礎,它同樣走過了一段彎路,目前依靠統計語言模型已經基本解決了這個問題。
1中文分詞方法的演變
2延伸閱讀:如何衡量分詞的結果
50第5章隱馬爾可夫模型
隱馬爾可夫模型最初應用於通信領域,繼而推廣到語音和語言處理中,成為連接自然語言處理和通信的橋梁。同時,隱馬爾可夫模型也是機器學習的主要工具之一。
1通信模型
2隱馬爾可夫模型
3延伸閱讀:隱馬爾可夫模型的訓練
60第6章信息的度量和作用
信息是可以量化度量的。信息熵不僅是對信息的量化度量,也是整個信息論的基礎。它對於通信、數據壓縮、自然語言處理都有很強的指導意義。
1信息熵
2信息的作用
3互信息
4延伸閱讀:相對熵
72第7章賈裡尼克和現代語言處理
作為現代自然語言處理的奠基者,賈裡尼克教授成功地將數學原理應用於自然語言處理領域中,他的一生富於傳奇色彩。
1早年生活
2從水門事件到莫妮卡·萊溫斯基
3一位老人的奇跡
82第8章簡單之美——布爾代數和搜索引擎
布爾代數雖然非常簡單,卻是計算機科學的基礎,它不僅把邏輯和數學合二為一,而且給了我們一個全新的視角看待世界,開創了數字化時代。
1布爾代數
2索引
89第9章圖論和網絡爬蟲
互聯網搜索引擎在建立索引前需要用一個程序自動地將所有的網頁到服務器上,這個程序稱為網絡爬蟲,它的編寫是基於離散數學中圖論的原理。
1圖論
2網絡爬蟲
3延伸閱讀:圖論的兩點補充說明
980章PageRank——Google的民主表決式網頁排名技術
網頁排名技術PageRank是早期Google的殺手锏,它的出現使得網頁搜索的質量上了一個大的臺階。它背後的原理是圖論和線性代數的矩陣運算。
1PageRank算法的原理
2延伸閱讀:PageRank的計算方法
1041章如何確定網頁和查詢的相關性
確定網頁和查詢的相關性是網頁搜索的根本問題,其中確定查詢中每個關鍵詞的重要性有多高是關鍵。TF-IDF是目前通用的關鍵詞重要性的度量,其背後的原理是信息論。
1搜索關鍵詞權重的科學度量TF-IDF
2延伸閱讀:TF-IDF的信息論依據
1112章有限狀態機和動態規劃——地圖與本地搜索的核心技術
地圖與本地搜索中要用到有限狀態機和動態規劃技術。這兩項技術是機器智能和機器學習的工具,它們的應用非常廣泛,還包括語音識別、拼寫和語法糾錯、拼音輸入法、工業控制和生物的序列分析等。
1地址分析和有限狀態機
2全球導航和動態規劃
3延伸閱讀:有限狀態傳感器
1213章GoogleAK-47的設計者——阿米特·辛格博士
在所有輕武器中最有名的是AK-47衝鋒槍,因為它從不卡殼,不易損壞,可在任何環境下使用,可靠性好,殺傷力大並且操作簡單。Google的產品就是按照上述原則設計的。
1274章餘弦定理和新聞的分類
計算機雖然讀不懂新聞,卻可以準確地對新聞進行分類。其數學工具是看似毫不相干的餘弦定理。
1新聞的特征向量
2向量距離的度量
3延伸閱讀:計算向量餘弦的技巧
1365章矩陣運算和文本處理中的兩個分類問題
無論是詞彙的聚類還是文本的分類,都可以通過線性代數中矩陣的奇異值分解來進行。這樣一來,自然語言處理的問題就變成了一個數學問題。
1文本和詞彙的矩陣
2延伸閱讀:奇異值分解的方法和應用場景
1426章信息指紋及其應用
世間萬物都有一個唯一標識的特征,信息也是如此。每一條信息都有它特定的指紋,通過這個指紋可以區別不同的信息。
1信息指紋
2信息指紋的用途
3延伸閱讀:信息指紋的重復性和相似哈希
1537章由電視劇《暗算》所想到的——談談密碼學的數學原理
密碼學的根本是信息論和數學。沒有信息論指導的密碼是非常容易被破解的。隻有在信息論被廣泛應用於密碼學後,密碼纔真正變得安全。
1密碼學的自發時代
2信息論時代的密碼學
1628章閃光的不一定是金子——談談搜索引擎反作弊問題和搜索結果的權威性問題
閃光的不一定是金子,搜索引擎中排名靠前的網頁也未必是有用的網頁。消除這些作弊網頁的原理和通信中過濾噪聲的原理相同。這說明信息處理和通信的很多原理是相通的。
1搜索引擎的反作弊
2搜索結果的權威性
1719章談談數學模型的重要性
正確的數學模型在科學和工程中至關重要,而發現正確模型的途徑常常是曲折的。正確的模型在形式上通常是簡單的。
179第20章不要把雞蛋放到一個籃子裡——談談優選熵模型
優選熵模型是一個完美的數學模型。它可以將各種信息整合到一個統一的模型中,在信息處理和機器學習中有著廣泛的應用。它在形式上非常簡單、優美,而在實現時需要有精深的數學基礎和高超的技巧。
1優選熵原理和優選熵模型
2延伸閱讀:優選熵模型的訓練
186第21章拼音輸入法的數學原理
漢字的輸入過程本身就是人和計算機之間的通信。好的輸入法會自覺或不自覺地遵循通信的數學模型。當然要做出最有效的輸入法,應當自覺使用信息論做指導。
1輸入法與編碼
2輸入一個漢字需要敲多少個鍵——談談香農定理
3拼音轉漢字的算法
4延伸閱讀:個性化的語言模型
197第22章自然語言處理的教父馬庫斯和他的優秀弟子們
將自然語言處理從基於規則的研究方法轉到基於統計的研究方法上,賓夕法尼亞大學的教授米奇·馬庫斯功不可沒。他創立了今天在學術界廣泛使用的LCD語料庫,同時培養了一大批精英人物。
1教父馬庫斯
2從賓夕法尼亞大學走出的精英們
204第23章布隆過濾器
日常生活中,經常要判素是否在一個集合中。布隆過濾器是計算機工程中解決這個問題最好的數學
工具。
1布隆過濾器的原理
2延伸閱讀:布隆過濾器的誤識別問題
209第24章馬爾可夫鏈的擴展——貝葉斯網絡
貝葉斯網絡是一個加權的有向圖,是馬爾可夫鏈的擴展。而從認識論的層面看:貝葉斯網絡克服了馬爾可夫鏈那種機械的線性約束,它可以把任何有關聯的事件統一到它的框架下面。它在生物統計、圖像處理、決策支持繫統和博弈論中都有廣泛的使用。
1貝葉斯網絡
2貝葉斯網絡在詞分類中的應用
3延伸閱讀:貝葉斯網絡的訓練
217第25章條件隨機場、文法分析及其他
條件隨機場是計算聯合概率分布的有效模型,而句子的文法分析似乎是英文課上英語老師教的東西,這兩者有什麼聯繫呢?
1文法分析——計算機算法的演變
2條件隨機場
3條件隨機場在其他領域的應用
227第26章維特比和他的維特比算法
維特比算法是現代數字通信中使用最頻繁的算法,也是很多自然語言處理采用的解碼算法。可以毫不誇張地
講,維特比是對我們今天的生活影響力優選的科學家之一,因為基於CDMA的3G移動通信標準主要就是他和阨文·雅各布創辦的高通公司制定的。
1維特比算法
2CDMA技術——3G移動通信的基礎
238第27章上帝的算法——期望優選化算法
隻要有一些訓練數據,再定義一個優選化函數,采用EM算法,利用計算機經過若干次迭代,就可以得到所需要的模型。這實在是太美妙了,這也許是造物主刻意安排的,所以我把它稱作上帝的算法。
1文本的自收斂分類
2延伸閱讀:期望優選化和收斂的必然性
244第28章邏輯回歸和搜索廣告
邏輯回歸模型是一種將影響概率的不同因素結合在一起的指數模型,它不僅在搜索廣告中起著重要的作用,而且被廣泛應用於信息處理和生物統計中。
1搜索廣告的發展
2邏輯回歸模型
249第29章各個擊破算法和Google雲計算的基礎
Google頗為神秘的雲計算中最重要的MapReduce工具,其原理就是計算機算法中常用的“各個擊破”算法,它的原理原來這麼簡單——將復雜的大問題分解成很多小問題分別求解,然後再把小問題的解合並成原始問題的解。由此可見,在生活中大量用到的、真正有用的方法常常都是簡單樸實的。
1分治算法的原理
2從分治算法到MapReduce
254第30章Google大腦和人工神經網絡
Google大腦並不是一個什麼都能思考的大腦,而是一個很能計算的人工神經網絡。因此,與其說Google大腦很聰明,不如說它很能算。不過,換個角度來說,隨著計算能力的不斷提高,計算量大但簡單的數學方法有時能夠解決很復雜的問題。
1人工神經網絡
2訓練人工神經網絡
3人工神經網絡與貝葉斯網絡的關繫
4延伸閱讀:Google大腦
274第31章區塊鏈的數學基礎——橢圓曲線加密原理
希爾伯特講,“我們直到能夠把一門自然科學的數學內核剝出並完全地揭示出來,纔能夠掌握它。”以比特幣為代表的加密貨幣的基礎是數學的算法,隻有搞清楚加密貨幣的數學內核,我們纔能了解它的本質。
1不對稱、不透明之美
2橢圓曲線加密的原理
282第32章大數據的威力——談談數據的重要性
如果說在過去的40年裡,主導全球IT產業發展的是摩爾定律,那麼在今後的20年裡,主導IT行業繼續發展的動力則將來自於數據。
1數據的重要性
2數據的統計和信息技術
3為什麼需要大數據
304第33章隨機性帶來的好處——量子密鑰分發的數學原理
人們總是喜歡確定性而不喜歡隨機性。但是從對確定性規律的把握上升到對隨機性規律的把握,恰恰是近代數學進步的標志。量子通信就是建立在把握了有關隨機性規律的基礎之上。
1用(激光)量子的偏振方向傳遞信息
2利用隨機性保證信息安全
312第34章數學的極限——希爾伯特第十問題和機器智能的極限
世界上隻有一小部分問題是數學問題,而數學問題中又隻有極小的一部分問題有解。在這些問題中,今天已經找到相應算法的少之又少。因此,數學不是萬能的,我們需要了解數學的邊界在哪裡。
1圖靈劃定計算機可計算問題的邊界
2希爾伯特劃定有解數學問題的邊界
3延伸閱讀:關於圖靈機
323附錄計算復雜度
327第三版後記
333索引
內容簡介
八年前,“數學之美”繫列文章原刊載於谷歌黑板報,獲得上百萬次點擊,得到讀者高度評價。讀者說,讀了“數學之美”,纔發現大學時學的數學知識,比如馬爾可夫鏈、矩陣計算,甚至餘弦函數原來都如此親切,並且栩栩如生,纔發現自然語言和信息處理這麼有趣。
在紙本書的創作中,作者幾乎把所有文章都重寫了一遍,為的是把高深的數學原理講得更加通俗易懂,讓非專業讀者也能領略數學的魅力。讀者通過具體的例子學到的是思考問題的方式——如何化繁為簡,如何用數學去解決工程問題,如何跳出固有思維不斷去思考創新。
本書版榮獲國家圖書館第八屆文津圖書獎。第二版增加了針對大數據和機器學習的內容。第三版增加了三章新內容,分別介紹當今很好熱門的三個主題:區塊鏈的數學基礎,量子通信的原理,以及人工智能的數學極限。