了得網計算機/網絡_駕馭文本：文本的發現、組織和處理

編輯推薦

內容簡介

文本處理是目前互聯網內容應用(如搜索引擎、推薦引擎)的關鍵技術。本書涵蓋了文本處理概念和技術的多個方面，包括文本預處理、搜索、字符串匹配、信息抽取、命名實體識別、分類、聚類、標簽生成、摘要、問答等。本書的特點在於通過實例來理解文本處理的這些概念和技術，讀者利用現有的開源工具就可以自己實現這些實例。

第1章開始駕馭文本
1.1駕馭文本重要的原因
1.2預覽：一個基於事實的問答繫統
1.2.1嗨，弗蘭肯斯坦醫生
1.3理解文本很困難
1.4駕馭的文本
1.5文本及智能應用：搜索及其他
1.5.1搜索和匹配
1.5.2抽取信息
1.5.3對信息分組
1.5.4一個智能應用
1.6小結
1.7相關資源
第2章駕馭文本的基礎

第1章開始駕馭文本

1.1駕馭文本重要的原因

1.2預覽：一個基於事實的問答繫統

1.2.1嗨，弗蘭肯斯坦醫生

1.3理解文本很困難

1.4駕馭的文本

1.5文本及智能應用：搜索及其他

1.5.1搜索和匹配

1.5.2抽取信息

1.5.3對信息分組

1.5.4一個智能應用

1.6小結

1.7相關資源

第2章駕馭文本的基礎

2.1語言基礎知識

2.1.1詞語及其類別

2.1.2短語及子句

2.1.3詞法

2.2文本處理常見工具

2.2.1字符串處理工具

2.2.2詞條及切詞

2.2.3詞性標注

2.2.4詞干還原

2.2.5句子檢測

2.2.6句法分析和文法

2.2.7序列建模

2.3從常見格式文件中抽取內容並做預處理

2.3.1預處理的重要性

2.3.2利用Apache Tika抽取內容

2.4小結

2.5相關資源

第3章搜索

3.1搜索和多面示例：Amazon.com

3.2搜索概念入門

3.2.1索引內容

3.2.2用戶輸入

3.2.3利用向量空間模型對文檔排名

3.2.4結果展示

……

第4章模糊字符串匹配

第5章命名實體識別

第6章文本聚類

第7章分類及標注

第8章構建示例問答繫統

第9章未駕馭的文本：探索未來前沿

前言

譯者序
不知不覺，我進入信息內容處理這個領域已經有近20年了。這些年中，我的研究涉及機器翻譯、Web搜索、跨語言檢索、垃圾郵件過濾、問答、推薦、文本分類、聚類、情感分析等諸多技術或應用，也開發了多個原型以及實用繫統。我十分高興能夠在這個有趣的領域不斷地學習新技術，了解並開發新應用。與此同時，我也親眼目睹很多優秀的技術書籍不斷湧現。完全出於個人興趣愛好以及與大家分享的個人追求，我先後翻譯了《信息檢索導論》、《大數據：互聯網大規模數據挖掘與分布式處理》、《機器學習實戰》、《Mahout實戰》等教材或技術書籍。現在，我又推薦大家手邊的這本《駕馭文本》。
文本處理是很多應用的基本技術，包括上面提到的搜索、推薦、問答應用都離不開文本處理。“駕馭”文本對於這些繫統至關重要。然而，文本特別是自然語言文本本身的情況十分復雜，處理起來十分繁瑣，難度很大。如何利用已有開源工具高效地“駕馭”文本是本書的目標。很顯然，對於文本處理開發人員來說，這本書能夠提供支撐。當然，由於自然語言文本固有的歧義性，文本處理技術特別是深層“理解”技術還遠未成熟，研究人員還在不斷努力，全方面真正“駕馭”文本是所有文本處理工作人員的終極夢想。譯者序

不知不覺，我進入信息內容處理這個領域已經有近20年了。這些年中，我的研究涉及機器翻譯、Web搜索、跨語言檢索、垃圾郵件過濾、問答、推薦、文本分類、聚類、情感分析等諸多技術或應用，也開發了多個原型以及實用繫統。我十分高興能夠在這個有趣的領域不斷地學習新技術，了解並開發新應用。與此同時，我也親眼目睹很多優秀的技術書籍不斷湧現。完全出於個人興趣愛好以及與大家分享的個人追求，我先後翻譯了《信息檢索導論》、《大數據：互聯網大規模數據挖掘與分布式處理》、《機器學習實戰》、《Mahout實戰》等教材或技術書籍。現在，我又推薦大家手邊的這本《駕馭文本》。

文本處理是很多應用的基本技術，包括上面提到的搜索、推薦、問答應用都離不開文本處理。“駕馭”文本對於這些繫統至關重要。然而，文本特別是自然語言文本本身的情況十分復雜，處理起來十分繁瑣，難度很大。如何利用已有開源工具高效地“駕馭”文本是本書的目標。很顯然，對於文本處理開發人員來說，這本書能夠提供支撐。當然，由於自然語言文本固有的歧義性，文本處理技術特別是深層“理解”技術還遠未成熟，研究人員還在不斷努力，全方面真正“駕馭”文本是所有文本處理工作人員的終極夢想。

本書介紹了文本搜索、模糊字符串匹配、命名實體識別、文本聚類分類標注等多種文本處理關鍵技術，並通過融合上述技術構建了一個簡單的事實型問答繫統。所有的單項技術都有可供下載使用的數據集和相應的運行代碼，讀者可以下載這些代碼和數據進行嘗試，以便能夠更加深入地理解這些技術。

本書作者都是開源社區的重要貢獻者，他們在文本處理領域具有重要的開發經驗。這些經驗也都體現在本書的內容寫作中。

感謝出版社和編輯部的辛勤工作，感謝實驗室領導、同事以及譯者家人對翻譯本書的支持。

因本人各方面水平有限，現有譯文中肯定存在許多不足。希望讀者能夠和我進行聯繫，以便能夠不斷改進。

王斌

2015年3月15日於中關村

序

在高質量文本處理需求持續指數級增長的年代，很難想像某個部門或業務不依賴某種類型的文本信息。迅速發展的Web經濟也明顯迅速加大了這種依賴性。與此同時，對高水平技術專家的需求也迅速增加。《駕馭文本》這本書就是應這種環境而出版的一本優秀的實用性書籍，它能夠提供大量來自真實世界的經過實際驗證的指導案例。

Grant Ingersoll和Drew Farris是兩位優秀的高水平軟件工程師，和我一起工作過多年。而Tom Morton是在自然語言處理領域備受尊重的貢獻者。他們仨聯袂為我們奉獻了一本實際課程的教材，該課程可以指導其他有志加入文本處理高級人纔行列的技術人員，這些文本處理人纔稱為自然語言處理工程師。

本書采用學而致用的方法，為一個實際上十分復雜的過程褪去神秘的外衣。通過集中關注已有工具、可實現樣例和已驗證的代碼，幾位作者帶領讀者快速學習本來需要一學期的NLP課程。

作為軟件工程師，你已經具備基本能力能夠跟進這些樣例、代碼和書中提到的開源工具，從而能夠比預期更快地成為真正的專家，同時也能更快準備好面對來自實際世界的機會。

美國雪城大學信息研究學院院長 LIZ LIDDY

前.言

生活中充滿偶然瞬間，它們當中隻有極少數會脫穎而出，就像那個確定我（Grant）職業生涯的瞬間一樣。那是上世紀90年代末，當時我是一個年輕的軟件開發人員，主要從事分布式電磁仿真的工作。有一天我看到一則廣告，在紐約雪城（Syracuse）的一家小公司TextWise招聘一個開發職位。看完職位描述之後，我都沒想過能獲得這份工作，但是當時決定試試運氣，就提交了一份簡歷。莫名其妙地，我獲得了這份工作，於是開始了我的搜索和自然語言處理生涯。沒想到這麼多年以後，我仍然還在做搜索和自然語言處理，更沒想到還會寫一本這方面的書。

我那時候的個任務是開發一個跨語言信息檢索（CLIR）繫統，要求輸入英語查詢能夠找到法語、西班牙語和日語文檔，並將它們自動翻譯成英語。回想起來，那個繫統觸及了我開始喜歡文本處理工作的所有難題：搜索、分類、信息抽取、機器翻譯和所有那些奇怪的讓每個學習文法的學生都瘋狂的語言規則等等。個項目之後，我後來又參與了多個搜索和NLP繫統的開發工作，範圍從基於規則的分類器到問答繫統等等。後來在2004年，NLP中心的一份新工作讓我開始接觸Apache Lucene，這個時代的開源搜索庫（無論如何，至少目前還是）。後來我又參與開發一個CLIR繫統，不過這次處理的是英語和阿拉伯語。因為需要一些Lucene功能來完成這項任務，我開始提交一些功能和錯誤的修正補丁。過了一段時間之後，我成為該社區的貢獻者。從那之後，開源的“閘門”被轟然打開。我在開源領域涉入更深，並與Isabel Drost和Karl Wettin開始了Apache Mahout機器學習項目，並共同創立了一家利用Apache Lucene和Solr進行搜索和文本分析的公司Lucid Imagination。

轉了一圈之後，我認為搜索和NLP屬於計算機科學的定義範圍，不論是數據結構還是算法都需要復雜的方法來解決問題。除此之外，還有處理用戶生成的大規模Web和社交內容的擴展性需求，這構成你的開發者之夢。這本書由工程師撰寫給工程師，特別關注於使用現有、久經考驗的開源庫來解決文本處理中的艱難問題。個人認為目前這方面的市場還處於空白。我希望本書能夠幫助解決當前工作中每天遇到的問題，也能激發你看到帶來大量學習機會的文本世界。

GRANT INGERSOLL

我（Tom）在高二時就開始對人工智能感興趣，本科畢業時選擇去讀自然語言處理方向的研究生。在賓夕法尼亞大學，我學習了大量文本處理、機器學習、算法和數據結構知識。我也有機會和自然語言處理領域傑出的一些人共事並從他們身上學到很多東西。

在研究生階段的課程中，我參加了多個NLP繫統的開發工作，並參加了大量DARPA資助的有關共指、摘要和問答的評測。在這些工作中，我熟悉了Lucene和更大的開源運動。我也注意到能夠提供高效端對端處理的開源文本處理軟件還有較大欠缺。於是在我碩士論文的基礎上，我為OpenNLP項目提供了大量貢獻代碼，並在後面美國教育測試服務中心（Educational Testing Services）開發自動作文和短答案評分繫統時繼續學習NLP繫統的一些知識。

在開源社區工作教會我很多與其他人一起工作的方法，也使我成為一名更優秀的軟件工程師。現在，我在Comcast Cororation工作，與多個軟件工程師團隊一起使用本書中介紹的工具和技術。我希望本書能夠在研究人員的艱難工作（這些工作就像我在研究生階段學到的那樣）與以使用文本處理來解決實際問題為目標的軟件工程師之間架起橋梁。

THOMAS MORTON

和Grant一樣，我是上世紀90年代中期由Elizabeth Liddy博士、Woojin Paik以及其他一些在TextWise進行研究的人員引入信息檢索和自然語言處理領域的。我在完成雪城大學信息研究學院的碩士工作時和這個團隊一起工作。那時，TextWise正處於從研究組轉型為創業公司的階段，主要基於文本處理研究的成果開發商業應用。我在那個公司待了很多年，其間不斷地學習和發現新的東西，並與一些優秀的同事一起共事，他們從各個角度來應對“教機器理解語言”這個挑戰。

個人而言，我一開始是從軟件開發人員的角度切入到文本分析這個主題的。我有機會同優秀的研究人員一起工作，將他們的思想從實驗轉化為功能原型及大規模可擴展的繫統。在此過程中，我有機會從事大量現在被稱為“數據科學”的工作，發掘出對探索和理解大規模數據以及對它們進行學習的工具和技術的深深熱愛。

怎樣誇大開源軟件對我職業的巨大影響都毫不為過。作為研究的伴隨品，可用的開源代碼為學習文本分析的新技術和方法以及軟件開發提供了一條十分高效的途徑。在這裡我對所有盡力將知識和經驗共享給那些有熱情參加學習者的人表示敬意。我特別要感謝Apache軟件基金會的那些好伙計們，他們為開源軟件、人、處理過程和支持的社區貢獻出一個不斷成長的生機勃勃的生態繫統。

本書中的工具和技術深深扎根於開源軟件社區。Lucene、Solr、Mahout和OpenNLP都處於Apache這頂大傘之下。本書隻介紹這些工具能實現的一些表面功能。我們的目標是提供對文本處理核心概念的理解，並為本領域的未來探索打下堅實的基礎。

祝大家編程愉快！

DREW FARRIS

致.謝

本書經歷很長時間完成，代表了很多人的心血，這裡要對他們表示誠摯謝意。

感謝Apache Solr、Lucene、Mahout、OpenNLP和其他本書中工具的用戶和開發者

感謝Manning出版社，特別是和我們一直密切合作的Douglas Pundick、Karen Tegtmeyer和MarjanBace

感謝本書的開發編輯Jeff Bleiel，感謝他在我們瘋狂時間表的情況下仍然推進寫作過程，感謝他一直以來的優秀反饋，也感謝他將我們這些開發人員轉變為作者

感謝本書的評閱人，他們提出的問題、評論及批評提高了本書的質量。他們是：Adam Tacy、Amos Bannister、Clint Howarth、CostantinoCerbo、Dawid Weiss、Denis Kurilenko、Doug Warren、Frank Jania、Gann Bierner、James Hatheway、James Warren、Jason Rennie、Jeffrey Copeland、Josh Reed、Julien Nioche、Keith Kim、Manish Katyal、MargrietBruggeman、Massimo Perga、NikanderBruggeman、Philipp K. Janert、Rick Wagner、Robi Sen、SanchetDigh

商品搜索

商品分类

【醫學】

【各大出版社】