編寫第2版的目的是擴展終身學習的定義,更新部分章節的內容,並添加一個新的章節來介紹深度神經網絡中的持續學習(continual learning in deep neural networks),這部分內容在過去的兩三年裡一直被積極研究。另外,還重新組織了部分章節,使得內容更有條理。
編寫本書的工作始於我們在2015年第24屆國際人工智能聯合會議(IJCAI)上關於終身機器學習(lifelong machine learning)的教程。當時,我們已經對終身機器學習這個主題做了一段時間的研究,並在ICML、KDD和ACL上發表了幾篇文章。當Morgan & Claypool出版社聯繫我們要出版關於該主題的圖書時,我們很興奮。我們堅信終身機器學習(或簡稱終身學習)對未來的機器學習和人工智能(AI)至關重要。值得注意的是,終身學習有時在文獻中也被稱為持續學習(continual learning)或連續學習(continuous learning)。我們對該主題的初研究興趣源於幾年前在一個初創公司所做的關於情感分析(SA)的工作中所積累的廣泛應用經驗。(典型的SA項目始於客戶在社交媒體中對他們自己或競爭對手的產品或服務發表的消費者意見。)SA繫統包含兩個主要的分析任務:(1)發現人們在評論文檔(如在線評論)中談到的實體(例如,iPhone)和實體屬性/特征(例如,電池壽命);(2)確定關於每個實體或實體屬性的評論是正面的、負面的或中立的[Liu,2012,2015]。例如,從“iPhone真的很酷,但它的電池壽命很糟糕”這句話中,SA繫統應該發現:(1)作者對iPhone的評論是正面的;(2)作者對iPhone的電池續航時間的評論是負面的。
在參與許多領域(產品或服務的類型)的許多項目之後,我們意識到跨領域和跨項目之間存在著大量可共享的信息。隨著我們經歷的項目越來越多,遇到的新事物卻越來越少。很容易看出,情感詞和短語(如好的、壞的、差的、糟糕的和昂貴的)是跨領域共享的,大量的實體和屬性也是共享的。例如,每個產品都有價格屬性,大量電子產品有電池,大多數還有屏幕。如果不使用這些可共享的信息來大幅度提高SA的準確度,而是單獨處理每個項目及其數據,是比較愚蠢的做法。經典的機器學習範式完全孤立地學習。在這種範式下,給定一個數據集,學習算法在這個數據集上運行並生成模型,算法沒有記憶,因此無法使用先前學習的知識。為了利用知識共享,SA繫統必須保留和積累過去學到的知識,並將其用於未來的學習和問題的解決,這正是終身學習(lifelong learning)的目標。
不難想像,這種跨領域和跨任務的信息或知識共享在每個領域都是正確的。在自然語言處理中尤為明顯,因為單詞和短語的含義在不同領域和任務之間基本相同,句子語法也是如此。無論我們談論什麼主題,都使用相同的語言,盡管每個主題可能隻使用一種語言中的一小部分單詞和短語。如果情況並非如此,那麼人類也不會形成自然語言。因此,終身學習可以廣泛應用,而不僅僅局限於情感分析。
本書的目的是提出這種新興的機器學習範式,並對該領域的重要研究成果和新想法進行全面的回顧。我們還想為該研究領域提出一個統一的框架。目前,機器學習中有幾個與終身學習密切相關的研究課題,特別值得注意的是多任務學習和遷移學習,因為它們也采用了知識共享和知識遷移的思想。本書將集中介紹這些主題,並討論它們之間的相同和差異。我們將終身學習視為這些相關範式的擴展。通過本書,我們還想激勵研究人員開展終身學習的研究。我們相信終身學習代表了未來幾年機器學習和人工智能的主要研究方向。如果不能保留和積累過去學到的知識,對知識進行推理,並利用已學到的知識幫助未來的學習和解決問題,那麼實現通用人工智能(Artificial General Intelligence, AGI)是不可能的。
編寫本書遵循了兩個主要指導原則。首先,它應該包含開展終身學習研究的強大動機,以便鼓勵研究生和研究人員致力於研究終身學習的問題。其次,它的內容對於具有機器學習和數據挖掘基礎知識的從業者和高年級本科生應該是易於理解的。但是,對於計劃攻讀機器學習和數據挖掘領域博士學位的研究生來說,應該學習更加詳盡的資料。
因此,本書適用於對機器學習、數據挖掘、自然語言處理或模式識別感興趣的學生、研究人員和從業人員。
陳志源和劉兵
2018年8月