√ 舉一綱而萬目張，解一卷而眾篇明：本書旨在與龐雜的領域知識網格中點亮關鍵節點，為讀者的商業化落地開闢泛化通道。
√ 注重零啟動|全流程|成繫統|通用化：用整體、全局思維將商業級推薦繫統涉及的算法、模塊、架構與相關性鏈條全線貫通。
√ 國內首批實踐商業化推薦的老江湖：從轉轉到阿裡，十年知名電商企業主導推薦繫統研發和帶領相關算法團隊經驗。
√ 產品邏輯|數據|算法|架構四大體繫：用真實案例覆蓋電商、新聞、短視頻等主流場景和技術生態，面向工程師與產品經理。

本書是一本面向實踐的企業級推薦繫統開發指南，內容包括產品設計、相關性算法、排序模型、工程架構、效果評測、繫統監控等推薦繫統核心部分的設計與開發，可以幫助開發者逐步構建一個完整的推薦繫統，並提供了持續優化的繫統性思路。本書注重從繫統性和通用性的角度看待推薦繫統的核心問題，希望能夠幫助讀者做到知其然，也知其所以然，更能夠舉一反三，真正掌握推薦繫統的核心本質。此外，本書對於推薦繫統開發中常見的問題和陷阱，以及繫統構建過程，也做了重點介紹，力求讓讀者不僅知道做什麼，而且知道怎麼做。本書的目標讀者是推薦繫統研發工程師、產品經理以及對推薦繫統感興趣的學生和從業者。

張相於，本科和研究生畢業於中國人民大學，現任阿裡巴巴高級算法專家。多年來一直從事推薦繫統及相關領域的繫統研發，具有豐富的實踐經驗，並樂於分享經驗與教訓，在ResysChina上發表過多篇推薦繫統相關文章，也在全球架構師峰會等技術大會上做過多次演講。

相於兄是推薦領域的“老江湖”了，我們相識於ResysChina公眾號的寫作運營，他的文章一向接地氣且有深度，我也總是能從中汲取養分，時常感恩。所以，相於兄的書非常值得讀者期待。

—— 陳開江，貝殼找房算法架構師，《推薦繫統》作者

推薦繫統是移動互聯網時代非常成功的人工智能技術落地場景之一。在新聞、短視頻等信息領域，它很好地解決了碎片化時間下用戶精準消費信息的需求；在電商領域，它也是用戶下單的重要流量入口。相於是我多年的同學，也是大家公認的技術大牛。他畢業後一直從事推薦繫統的構建和迭代，可以說對推薦技術的演化進展與落地技術有非常深刻的理解和應用。本書是他多年實踐經驗的總結，對於從事推薦繫統研發的工程師、產品經理是非常實用的參考手冊，值得力薦！

—— 王仲遠，美團點評AI平臺搜索與NLP部負責人

多年來，相於一直從事推薦繫統研發工作，是推薦領域的資深專家，我們一起共事兩年，他帶領團隊幫助公司大幅度提升了推薦效果。本書源於企業級真實實踐，覆蓋完整的推薦繫統生態。作者通過企業級真實案例，深入淺出剖析推薦繫統的算法模型和工程架構，讓讀者能夠真正掌握推薦繫統設計的哲學本質，從而在面向不同業務場景時，能夠給出優雅的推薦繫統解決方案，真正達到企業降本增效的目的。本書是推薦繫統領域中的實踐類好書，特薦之。

——孫玄，奈學教育創始人&CEO， 58集團前技術委員會主席

此繫統是典型的應用科學，它不是深度學習一個概念就可以代表的，它至少包含產品邏輯、數據、算法、架構四大體繫。相於在推薦領域深耕多年，從早年的轉轉，到後來的阿裡巴巴等平臺，一線落地經驗扎實且豐富。相於也很樂於分享自己對推薦繫統的實踐總結和思考，為我們輸出過一繫列“拿來就能用”的文章。此書是相於多年實踐經驗的集大成之作，相信一定會對大家多角度理解推薦繫統，提供諸多有益啟發。

—— 劉思喆，51Talk首席數據科學家

推薦繫統是人工智能應用中相對成熟的應用領域，也是很好的兼具技術性和業務場景的人工智能發展方向。隨著推薦繫統在各種應用中的逐漸普及，如何構建實用化的推薦繫統成為技術人員關心的問題。相於從事推薦繫統研發多年，本書彙集了他多年研發推薦繫統的實踐經驗，有助於對此感興趣的技術人員從實踐角度深入了解推薦繫統。

——張俊林，新浪微博機器學習團隊AI Lab負責人

第１章推薦繫統的時代背景 1
1．1為什麼需要推薦繫統 1
1．1．1提高流量利用效率 1
1．1．2挖掘和匹配長尾需求 6
1．1．3提升用戶體驗 7
1．1．4技術積累 8
1．2推薦的產品問題 10
1．2．1推薦什麼東西 10
1．2．2為誰推薦 13
1．2．3推薦場景 14
1．2．4推薦解釋 16
1．3總結 18
第2章推薦繫統的核心技術概述 19
2．1核心邏輯拆解 19
2．2整體流程概述 20
2．3召回算法 21
2．4基於行為的召回算法 24
2．5用戶畫像和物品畫像 24
2．6結果排序 26
2．7評價指標 26
2．8繫統監控 27
2．9架構設計 28
2．10發展歷程 28
2．11總結 30
第3章基礎推薦算法 31
3．1推薦邏輯流程架構 31
3．2召回算法的基本邏輯 34
3．3常用的基礎召回算法 36
3．3．1用戶與物品的相關性 36
3．3．2物品與物品的相關性 42
3．3．3用戶與用戶的相關性 46
3．3．4用戶與標簽的相關性 47
3．3．5標簽與物品的相關性 48
3．3．6相關性召回的鏈式組合 50
3．4冷啟動場景下的推薦 51
3．5 總結 53
第4章算法融合與數據血統 54
4．1線性加權融合 55
4．2優先級融合 57
4．3基於機器學習的排序融合 59
4．4融合策略的選擇 61
4．5融合時機的選擇 63
4．6數據血統 64
4．6．1融合策略正確性驗證 65
4．6．2繫統效果監控 65
4．6．3策略效果分析 67
4．7 總結 68
第5章機器學習技術的應用 69
5．1機器學習技術概述 69
5．2推薦繫統中的應用場景 70
5．3機器學習技術的實施方法 72
5．3．1老繫統與數據準備 72
5．3．2問題分析與目標定義 74
5．3．3樣本處理 76
5．3．4特征處理 80
5．3．5模型選擇與訓練 98
5．3．6模型效果評估 101
5．3．7預測階段效果監控 104
5．3．8模型訓練繫統架構設計 105
5．3．9模型預測繫統架構設計 108
5．4常用模型介紹 109
5．4．1邏輯回歸模型 109
5．4．2GBDT模型 111
5．4．3LR+GDBT模型 112
5．4．4因子分解機模型 113
5．4．5Wide ＆ Deep模型 115
5．4．6其他深度學習模型 116
5．5機器學習實踐常見問題 117
5．5．1反模式1：隻見模型，不見繫統 117
5．5．2反模式2：忽視模型過程和細節 117
5．5．3反模式3：不注重樣本精細化處理 118
5．5．4反模式4：過於依賴算法 119
5．5．5反模式5：核心數據缺乏控制 120
5．5．6反模式6：團隊不夠“全棧” 121
5．5．7反模式7：繫統邊界模糊導致出現“巨型繫統” 121
5．5．8反模式8：不重視基礎數據架構建設 122
5．6總結 123
第6章用戶畫像繫統 124
6．1用戶畫像的概念和作用 124
6．2用戶畫像的價值準則 126
6．3用戶畫像的構成要素 128
6．3．1物品側畫像 129
6．3．2用戶側畫像 133
6．3．3用戶畫像擴展 139
6．3．4用戶畫像和排序特征的關繫 142
6．4用戶畫像繫統的架構演進 143
6．4．1用戶畫像繫統的組成部分 143
6．4．2野蠻生長期 144
6．4．3統一用戶畫像繫統架構 145
6．5總結 147
第7章繫統效果評測與監控 148
7．1評測與監控的概念和意義 148
7．2推薦繫統的評測指標繫統 150
7．3常用指標 151
7．4離線效果評測方法 158
7．5在線效果評測方法 163
7．5．1AB實驗 163
7．5．2交叉實驗 173
7．6繫統監控 178
7．7總結 181
第8章推薦效果優化 182
8．1準確率優化的一般性思路 183
8．2覆蓋率優化的一般性思路 185
8．3行為類相關性算法優化 188
8．3．1熱度懲罰 188
8．3．2時效性優化 190
8．3．3隨機遊走 194
8．3．4嵌入表示 196
8．4內容類相關性算法優化 200
8．4．1非結構化算法 201
8．4．2結構化算法 201
8．5影響效果的非算法因素 205
8．5．1用戶因素 205
8．5．2產品設計因素 206
8．5．3數據因素 208
8．5．4算法策略因素 208
8．5．5工程架構因素 209
8．6總結 210
第9章自然語言處理技術的應用 211
9．1詞袋模型 212
9．2權重計算和向量空間模型 214
9．3隱語義模型 216
9．4概率隱語義模型 218
9．5生成式概率模型 220
9．6LDA模型的應用 222
9．6．1相似度計算 222
9．6．2排序特征 222
9．6．3物品打標簽＆用戶打標簽 223
9．6．4主題＆詞的重要性度量 223
9．6．5更多應用 224
9．7神經概率語言模型 224
9．8行業應用現狀 226
9．9總結和展望 227
第10章探索與利用問題 228
10．1多臂老虎機問題 228
10．2推薦繫統中的EE問題 230
10．3解決方案 231
10．3．1?-Greedy算法 231
10．3．2UCB 234
10．3．3湯普森采樣 236
10．3．4LinUCB 237
10．4探索與利用原理在機器學習繫統中的應用 239
10．5EE問題的本質和影響 240
10．6總結 241
第11章推薦繫統架構設計 242
11．1架構設計概述 242
11．2繫統邊界和外部依賴 244
11．3離線層、在線層和近線層架構 246
11．4離線層架構 247
11．5近線層架構 249
11．6在線層架構 252
11．7架構層級對比 255
11．8繫統和架構演進原則 256
11．8．1從簡單到復雜 256
11．8．2從離線到在線 258
11．8．3從統一到拆分 258
11．9基於領域特定語言的架構設計 259
11．10總結 262
第12章推薦繫統工程師成長路線 263
12．1基礎開發能力 264
12．1．測試 264
12．1．2邏輯抽像復用 264
12．2概率和統計基礎 265
12．3機器學習理論 266
12．3．1基礎理論 267
12．3．2監督學習 268
12．3．3無監督學習 269
12．4開發語言和開發工具 270
12．4．1開發語言 270
12．4．2開發工具 270
12．5算法優化流程 271
12．6推薦業務技能 273
12．7總結 274
第13章推薦繫統的挑戰 275
13．1 數據稀疏性 275
13．2推薦結果解釋 277
13．3相關性和因果性 281
13．4信息繭房 283
13．5轉化率預估偏差問題 286
13．6召回模型的局限性問題 288
13．7用戶行為捕捉粒度問題 290
13．8總結 291

序
最近恰巧看到一段視頻，是傑夫·貝索斯在1997年的一段訪談，關於他如何開始創辦亞馬遜的。貝索斯之前在紐約的一家量化對衝基金公司工作，他在做數據統計時發現，當年互聯網的使用量在一年時間裡增長了2300%，數據告訴他通過互聯網賣東西這件事情不容錯過。
他列出了20種可以在網上銷售的產品，發現書籍是最佳選擇。書籍這個品類下的商品數量比第二名音樂品類要多得多。同時在售的音樂CD有大約20萬種，而各種語言的書籍有300萬種，其中光英文的書籍就有150萬種。當有如此之多的書籍可以選擇的時候，網上商店就是最佳的選擇了，其他方式都很難滿足。20世紀末，注意力是最稀缺的商品。如果想贏得消費者，就要做創新的東西，做全新的對用戶真正有價值的東西。
視頻的最後，貝索斯說道，“今天，1997年，互聯網和電子商務都纔剛剛起步，它還僅僅是day one。我相信，當多年以後回頭看的時候，人們會說，wow，20世紀末是這個星球上的一個偉大時代。”無疑，時間回報了這位能夠洞穿未來的冒險家。現如今亞馬遜已經成為世界上首屈一指的公司之一，貝索斯也隨之登上了世界首富的寶座。亞馬遜是全世界最早將個性化推薦技術作為商業繫統核心引擎的公司。他們早年關於協同過濾的論文對這個領域的發展影響深遠。
相於工作早期主要的一段經歷是在當當網。當當網是國內最早使用個性化推薦技術的商業公司之一，通過數據智能幫助讀者發現值得閱讀的好書。從2016年開始，相於陸續在ResysChina 公眾號上發表了多篇文章，對自己工作所得所想進行了無私的總結與分享。相於的文章深入淺出，把這項以數學模型為主，乍看起來讓人枯燥的工作，講解得清晰易懂。更難能可貴的是，相於不但精通算法模型，而且對推薦繫統的相關產品也有很多思考，受到了業內讀者的廣泛好評。這本書是相於的心血之作，打磨良久，如果你想繫統全面地了解如何構建企業級的推薦繫統，本書不容錯過。
——ResysChina發起人，谷文棟

自序
我第一次接觸推薦繫統是在2012年的電商行業，那時推薦繫統領域有兩大傳說：一是推薦繫統在Amazon的訂單貢獻達到30%以上；二是Netflix懸賞百萬美金尋找最強的推薦算法。在這種氣氛的烘托下，推薦繫統開始受到越來越多的關注，但這種關注並沒有在短時間內轉化成更豐碩的成果。在認知層面，除了電商和視頻等少數行業，在大多數行業中推薦繫統的重要性還沒有被廣泛認可，那時整個行業對於流量分發的認知也遠沒有今天這麼深入透徹，對於推薦繫統的認知也更多停留在“可以幫助電商網站賣貨”這樣的層面。在產品形態層面，彼時還是以各種“豆腐塊”為主，現在占據主導的feed流、直播以及內容混排等也都還沒有出現或者尚處在萌芽期。而在技術層面，機器學習技術還沒有開始廣泛應用，更遑論深度學習，那時推薦算法絕對的主角還是“常青樹”——協同過濾算法。那一年，現在以推薦技術名揚四海的字節跳動剛剛成立。
推薦繫統在後來幾年內的發展可謂一日千裡，也在各個領域受到了越來越多的重視，在業務、產品和技術層面都取得了長足的發展，與搜索和廣告一起，構成了互聯網算法行業不可或缺的三大核心組件。尤其是近年來隨著數據量的持續增長和算力的持續提升，推薦繫統這一以數據和算法為核心驅動力的產品，在深度學習技術的助推下，將業務效果不斷推向新的高度。
從2015年開始，受到ResysChina社區發起人谷文棟的邀請，我開始在ResysChina的公眾號上寫一些推薦繫統相關文章，其中有關於推薦算法的，有關於機器學習的，也有一些關於推薦繫統整體思考的。在這個過程中我發現，雖說關於推薦繫統受到關注更多的通常是各種炫酷的算法，但出自一線實踐的繫統構建一手經驗和教訓有時會引起更多的共鳴，這些經驗和教訓可能並不高端也不復雜，甚至很多時候不夠起眼，可是對於構建出成功的推薦繫統卻是非常重要的。於是，與大家分享我和我的團隊的實踐經驗和教訓就成為寫這本書的第一個驅動力。
寫這本書還有第二個驅動力，就是希望梳理出推薦繫統一些通用的可泛化的做法和思路。推薦繫統是一個涉及面非常廣的領域，從算法到工程都有很多比較有技巧性的點，這些技術點編織成了一張復雜的網絡。但這個世界的本質是簡單的，這張復雜的網絡中一定存在著一些關鍵的核心節點，這些節點代表了推薦繫統中最為本質、技術點共性的一些東西，掌握這些節點就好比抓住了一棵樹的主干，更多的具體實踐方法隻是主干上長出的樹杈和枝丫。正所謂“舉一綱而萬目張，解一卷而眾篇明”，希望能通過這本書和讀者一起探得推薦繫統中的些許思想精華。
以上均為作者的美好願望，但推薦繫統領域博大精深，技術日新月異，作者纔疏學淺，經多年努力也隻窺得皮毛，書中錯謬疏漏之處在所難免。因此，讀者讀完本書如能略有收獲，作者已是誠惶誠恐；如能得諸位讀者不吝賜教，更將不勝感激。讀者可以在ResysChina的微信公眾號、知識星球以及知乎專欄上找到我，也可通過zhangxy@live.com聯繫到我。
在這裡要感謝曾經和我一起工作過的同事們，和你們的共事過程給予了我寫作的靈感；感謝ResysChina社區的讀者們，你們的反饋和肯定是我寫就本書的動力；最後，感謝我永遠18歲的老婆和我可愛的兒子，你們的愛讓這一切成為可能。
張相於 2020年5月

前言
說起推薦繫統，大多數人第一時間想到的是協同過濾、機器學習這些算法技術，但是當你沉浸在其中足夠久的話就會發現，就如同一輛高級跑車不僅需要一臺高級的發動機，構建一套靠譜的推薦繫統需要的也不僅僅是那幾種“高大上”的算法，還有很多不那麼光鮮的工作需要完成。在掌握推薦算法和搭建一套可用的企業級推薦繫統之間，還有很多路要走。寫作本書的目的就是幫助大家從零開始一步步搭建一套可用的企業級推薦繫統。這裡面最寶貴的可能不是某種算法或某種架構，而是一些通用化、繫統化的思維，以及一些沒走過就不知道的“坑”或者技巧。而很多時候也正是這些不會在論文中出現的東西，撐起了推薦繫統的半邊天，確保了推薦算法能夠產生它應有的價值。
本書在寫作時力求達到良好的條理性、繫統性和通用性。在條理性方面，希望能將一種算法或一個模塊的演進過程從簡單到復雜、循序漸進地展開闡述，讀者可以結合自己的業務情況來決定從哪種狀態入手。在繫統性方面，希望能做到把散落的知識點連成面，例如在介紹相關性算法時，會對所有的相關性鏈條模式進行繫統性總結，這樣即使以後出現新的相關性算法，讀者也可以很快知道應該如何應用它。在通用性方面，希望能找到不同問題之間的共同點，例如在介紹如何應用機器學習技術時，會將特征類型按照維度和泛化能力進行通用抽像分類，讓讀者真正理解不同特征的作用原理和作用範圍。
本書的整體結構如下。
? 第1章：介紹推薦繫統的產生背景、價值及一些產品層面的思考，和讀者一起探討為什麼要有推薦繫統，以及什麼樣的推薦繫統是好的繫統。
? 第2章：對推薦繫統所涉及的技術做一個整體的概括性介紹，勾勒出推薦繫統技術的整體骨架，作為後續章節內容的指引。
? 第3章：介紹經久不衰的協同過濾算法和其他的基礎相關性算法，同時給出相關性鏈條的常用模式和規律，按照該模式可構建出任意相關性關繫。
? 第4章和第5章：介紹以機器學習模型為代表的算法融合方法及對應的數據血統策略，這裡會覆蓋在推薦繫統場景下應用機器學習技術的全流程，還會重點介紹機器學習應用中一些不易察覺但卻影響很大的“坑”及其應對方式。
? 第6章：介紹推薦繫統的基石數據之一——用戶畫像繫統，包括常用的算法及架構的演進，這套技術不僅可用來服務於推薦繫統，也可使用在其他需要用戶畫像繫統的場景中。
? 第7章：介紹推薦繫統的各種評測方法及繫統監控策略，包括離線的和在線的多維度效果評測方法，以及繫統上線之後保障繫統穩定運行的監控方法。
? 第8章：介紹推薦算法優化的常用方法，以及影響推薦繫統效果的一些非技術因素，這裡著重介紹效果優化的一般性思路，力求做到精練，通過舉一反三，可推廣到更多的場景中。
? 第9章：介紹自然語言處理技術在推薦繫統中的應用，包括常用技術的演進過程，以及它們之間的關繫。
? 第10章：介紹推薦繫統所特有的探索與利用問題，包括該問題對推薦繫統的影響，以及常用的解決方法。
? 第11章：介紹推薦繫統的整體架構設計，包括架構分層、在每一層上適合進行的操作，以及常用的架構演進規律。
? 第12章：介紹推薦繫統工程師的成長路線，包括其需要掌握的技術和進階過程。
? 第13章：介紹當今推薦繫統面對的挑戰，以及目前已有的一些嘗試，讀者可以從這裡了解到當前還有哪些重要問題沒有得到解決，以及它們對推薦繫統的影響。
對於推薦繫統的初學者，建議從第1章開始按順序閱讀；對於有一定經驗的讀者，則可以直接翻到感興趣的章節進行閱讀。