第1章推薦繫統概述

1.1推薦繫統的背景與價值

1.1.1推薦繫統的背景

1.1.2典型的推薦繫統應用

1.2推薦繫統是如何工作的

1.2.1推薦繫統的基本任務

1.2.2推薦繫統的工作過程

1.2.3推薦繫統的原理

1.3推薦繫統的歷史與分類

1.3.1推薦繫統的發展歷史

1.3.2推薦算法的分類

1.4推薦繫統評測

1.4.1推薦繫統的評測方法

1.4.2推薦繫統的評測指標

參考文獻

第2章生產環境下的推薦繫統

2.1推薦繫統的業務流程

2.1.1推薦總體流程

2.1.2召回環節

2.1.3排序環節

2.1.4後處理調整

2.2推薦繫統的主要業務模塊

2.2.1數據采集與處理模塊

2.2.2特征工程模塊

2.2.3推薦算法模塊

2.2.4用戶交互模塊

2.3推薦繫統架構設計

2.3.1總體業務架構

2.3.2數據層

2.3.3算法層

2.3.4繫統層

2.4線上繫統的A/B測試

2.4.1前端接口

2.4.2數據讀取接口

2.4.3測試及評估接口

2.4.4監控接口

參考文獻

第3章機器學習算法基礎

3.1機器學習算法概述

3.1.1機器學習算法基本過程

3.1.2機器學習算法的分類

3.2線性回歸算法

3.2.1線性回歸模型

3.2.2線性回歸模型的損失函數

3.2.3梯度下降求解線性回歸模型參數的值

3.2.4線性回歸算法正則化

3.2.5實驗

3.2.6線性回歸算法特點

3.3邏輯回歸算法

3.3.1邏輯回歸模型

3.3.2邏輯回歸損失函數

3.3.3梯度下降求解值

3.3.4邏輯回歸算法的正則化

3.3.5實驗

3.3.6邏輯回歸算法特點

3.4決策樹

3.4.1決策樹的結構

3.4.2決策樹算法

3.4.3決策樹算法總結

3.4.4基於sklearn的決策樹實驗

3.5樸素貝葉斯

3.5.1樸素貝葉斯相關的統計學知識

3.5.2樸素貝葉斯模型

3.5.3總結

3.5.4基於sklearn的NaiveBayes實驗

3.6神經網絡

3.6.模型

3.6.2全連接神經網絡

3.6.3卷積神經網絡

3.6.4循環神經網絡

3.6.5圖神經網絡

3.6.6實驗評估

參考文獻

第4章典型推薦算法

4.1推薦算法相關知識

4.1.1推薦算法的分類

4.1.2推薦繫統中的隱式反饋、顯式反饋

4.1.3推薦繫統中的損失函數

4.2非個性化推薦算法

4.2.1基於流行度的推薦方法

4.2.2基於關聯規則的推薦方法

4.3基於內容的推薦

4.3.1基本思想和過程

4.3.2一個基於內容推薦的示例

4.3.3基於標簽的推薦

4.4基於統計（相似度）的方法

4.4.1基於用戶的協同過濾

4.4.2基於物品的協同過濾

4.5基於矩陣分解的個性化推薦

4.5.1Matrix Factorization算法（MF/SVD）

4.5.2BiasSVD算法

4.5.3SVD 算法

4.5.4WRMF和EALS算法

4.6基於物品的協同過濾

4.6.1背景簡介

4.6.2SLIM算法

4.6.3FISM算法

參考文獻

第5章點擊率預估算法

5.1推薦繫統中的召回和排序過程

5.1.1為什麼需要召回和排序環節

5.1.2召回、排序環節的典型方法

5.2點擊率預測簡介

5.3邏輯回歸模型

5.3.1背景

5.3.2基於LR模型的CTR預測流程

5.3.3實驗

5.4因式分解機模型

5.4.1背景

5.4.2FM模型原理

5.4.3實驗

5.5梯度提升樹模型

5.5.1背景

5.5.2模型原理

5.5.3實驗

5.6梯度提升樹 邏輯回歸模型（GBDT LR）

5.6.1背景

5.6.2模型原理

5.6.3實驗

5.7基於深度學習的CTR模型

5.7.1模型的記憶能力和泛化能力

5.7.2Wide&Deep模型

5.7.3DeepFM模型

5.7.4xDeepFM模型

5.7.5實驗

5.8本章小結

參考文獻

第6章基於深度學習的推薦算法

6.1為什麼需要深度學習

6.1.1推薦算法應用的挑戰

6.1.2深度學習的優勢

6.2深度學習與推薦繫統的分類

6.2.1表征學習

6.2.2交互建模

6.3基於深度學習的矩陣分解推薦算法DeepMF

6.3.1背景

6.3.2模型原理

6.3.3實驗

6.3.4模型總結

6.4基於深度學習的協同過濾推薦算法NeuralCF

6.4.1背景

6.4.2模型原理

6.4.3實驗

6.4.4模型總結

6.5基於深度學習的物品協同過濾算法DICF

6.5.1DICF模型結構

6.5.2DICF模型優化

6.5.3實驗評估

6.5.4DICF模型總結

6.6基於GNN的協同過濾算法

6.6.1背景

6.6.2模型原理

6.6.3實驗

6.6.4模型改進

6.6.5模型總結

6.7基於GNN的混合推薦算法

6.7.1DiffNet模型

6.7.2AGCN模型

6.8本章小結

參考文獻

第7章一個簡易的推薦繫統

7.1簡易推薦繫統需求描述

7.1.1數據集準備

7.1.2推薦模型準備

7.1.3構建在線推薦接口

7.2數據集處理

7.2.1用戶數據處理

7.2.2物品（電影）數據處理

7.2.3評分數據處理

7.2.4構建數據讀取器

7.3基於PaddlePaddle實現的神經網絡推薦模型

7.3.1用戶特征向量構造

7.3.2電影特征向量構造

7.3.3模型訓練和參數保存

7.4模擬在線電影推薦

第8章推薦繫統中的問題與挑戰

8.1冷啟動問題

8.1.1冷啟動問題定義

8.1.2冷啟動解決方法

8.2數據稀疏性問題

8.2.1數據稀疏問題定義

8.2.2數據稀疏問題解決方法

8.3推薦可解釋性問題

8.3.1可解釋問題定義

8.3.2推薦解釋方法

8.4大數據處理與增量計算問題

8.4.1大數據問題定義

8.4.2大數據問題解決方法

8.5數據偏差問題

8.5.1數據偏差問題定義

8.5.2緩解數據偏差的方法

8.6其他問題

8.6.1時效性問題

8.6.2多樣性問題

8.6.3用戶意圖檢測問題

參考文獻

回首剛剛開始動意寫這本書的時候，當時心裡不是很有底，不確定能否如期完成交稿任務。經過和我的學生團隊多輪討論，確定書稿大綱和寫作計劃，互相監督各種踫會，終於完成了書稿的文字和代碼，提交並通過了百度PaddleRec團隊審核。

推薦繫統是為解決當前（移動）互聯網背景下“信息過載”問題而誕生的一種智能應用，通常以後臺服務的形式內置於大型互聯網軟件中。以新聞資訊類移動應用軟件為例，當前網民們每天可以接觸成千上萬條新聞，上到新發布的國家政策，下至各地日常的奇聞趣事，各式各樣的新聞也為用戶帶來了選擇困境問題，這便是“信息過載”。而智能推薦繫統能夠在用戶閱讀新聞的過程中不斷積累用戶閱讀歷史，通過這些歷史記錄構建每個用戶獨特的用戶畫像，從而在用戶下一次進入軟件時，有針對性地為他推薦可能會吸引他的資訊，降低用戶進入選擇困境的可能性，提高用戶在使用軟件時候的體驗。在當下流行的移動互聯網應用中，個性化的推薦功能已經占據了核心（首頁）模塊，無論是出售商品的電子商務平臺還是提供信息的新聞、短視頻類軟件，都希望用戶在軟件的首頁能夠快速、方便地發現其感興趣的內容，從而增加用戶使用軟件的頻次和時長，增強產品的核心競爭力。

推薦繫統之所以大行其道，原因在於能夠為尊貴的C端用戶提供價值。從1994年個自動化新聞推薦繫統被發明，到如今各種以個性化推薦為主打服務的軟件層出不窮，無論是工業界還是學術界都在極力推動個性化推薦算法的研究和發展。在現今的智能推薦領域，“協同過濾”仍然是當之無愧的主流方法，其遵從“協同智慧”思想，認為以往擁有相似偏好的用戶在未來也會具有相似的交互行為。早期的協同過濾推薦使用的是基於統計的方法，如1998年亞馬遜公司上線的基於物品的協同過濾算法，它統計並使用物品兩兩之間被同一用戶交互的相似情況來完成推薦任務，這類方法原理簡單，可擴展性強，並且也很適合用於用戶冷啟動的場景。相比較基於統計的協同過濾方法，基於模型的協同過濾方法效果似乎更好一些，並逐漸成為學術界、工業界研究的主流。基於模型的協同過濾利用了從數據中學習規律這一傳統機器學習思想，將繫統已經采集到的歷史交互數據用於訓練推薦模型，後續再讓模型來生成推薦結果，一切都是傳統的機器學習的手法和思想。其中，經典的當屬矩陣分解方法，這一類方法將用戶和物品的交互矩陣分解為低維的、隱語義的用戶向量矩陣和物品向量矩陣，在預測評分時，將目標用戶和目標物品的低維向量分別抽取出來，通過計算目標用戶和目標物品的隱語義向量的內積得出評分。發展到現在，各種基於深度學習的方法、基於圖學習的方法也被融入協同過濾方法中，科研學者們熱衷於探索計算機科學領域裡的技術，並將其用於提高推薦算法的準確性、多樣性等各類指標，從而不斷優化個性化推薦帶給網絡用戶的體驗，這些或經典、或先進，甚至曇花一現的推薦算法，本書都會盡力介紹，讓讀者盡可能多地了解到推薦繫統領域的全貌。

本書將推薦繫統的理論基礎與代碼實踐相結合，可以作為推薦繫統入門級教程，也可以作為科研工作者的參考書籍。本書內容涵蓋各類非個性化和個性化、經典及先進的推薦算法，以及工業界推薦繫統的基本流程、步驟。作者試圖幫助讀者快速了解、理解和掌握推薦繫統的方方面面。通過本書，讀者可以掌握推薦繫統的基本概念、評價指標，熟悉推薦繫統在工業界應用的具體過程，既可以了解基於傳統機器學習的推薦算法，也可以學習基於深度學習的前沿推薦算法。
本書的後一章帶領讀者熟悉推薦繫統領域的關鍵問題和挑戰。

全書共分為8章，第1章為推薦繫統概述，為讀者學習推薦繫統建立一個基本的理解； 第2章介紹生產環境下的推薦繫統； 第3章介紹機器學習算法基礎，作為如今推薦繫統所運用的主要技術之一，有助於後續學習具體的推薦算法； 第4~6章正式開始介紹各類推薦算法，從基礎的非個性化推薦算法到前沿的基於深度學習、圖學習的算法，將在這幾章逐一進行介紹； 第7章是一個面向工程實戰能力的訓練，介紹如何搭建一個簡易的推薦繫統； 第8章介紹推薦繫統領域裡現存的一些問題與挑戰。其中第1、2、3、4、7、8章及6.5節由薛峰編寫，第5章和6.1節~6.4節、6.6節~6.8節由吳樂編寫，
吳志華、張文慧、楊晴虹等也參與編寫，並
對書稿及對應的實踐代碼做了審閱和修改。此外，特別感謝周文傑、劉康、盛一城、邵鵬陽、蔡苗苗、楊添、李帥洋、桑勝等對書稿的材料整理和校訂工作。

第1章為推薦繫統概述，幫助讀者熟悉推薦繫統這一應用型科學的整體概念，包括推薦繫統的背景與價值； 推薦繫統的基本任務、工作過程和工作原理； 推薦繫統的發展歷史； 推薦算法的分類以及如何評價一個推薦繫統所用到的評測方法和評價指標。

第2章介紹生產環境下的推薦繫統，在學術研究之外，讓讀者熟悉工業界推薦繫統的一些基本方法和流程步驟，包括推薦繫統的業務流程、主要業務模塊； 推薦繫統的架構設計和線上繫統的A/B測試。

第3章是機器學習算法基礎知識，從機器學習算法基本過程和基本分類入手，逐步介紹各個類別的傳統機器學習方法，包括線性回歸算法、邏輯回歸算法、決策樹算法、樸素貝葉斯算法、神經網絡及深度學習基礎知識。雖然本書不是專門講解機器學習的，但是在本章中，作者試圖將機器學習中的一些經典概念借助各種類比的方式講通講透，例如，梯度下降的直觀理解、正則化的動機、激活函數的作用、深度神經網絡為什麼有效等。

第4章開始進入推薦算法的學習，介紹近二十年來經典的推薦算法，包括兩種非個性化推薦算法、基於內容的推薦算法、基於鄰域的協同過濾算法（基於用戶的協同過濾和基於物品的協同過濾）、基礎的矩陣分解的推薦方法和它的多種改良變體、兩類與基於物品協同過濾方法相關的改良方法： SLIM和FISM算法。

第5章針對推薦繫統領域內一個具有代表性的應用場景——點擊率（Click Through Rate，CTR）預估進行專門介紹，主要包括CTR的概念和CTR典型算法兩方面。其中，CTR算法包括邏輯回歸模型、因式分解模型、梯度提升樹模型、梯度提升樹與邏輯回歸的組合模型，以及基於深度學習的幾種CTR模型。

第6章重點介紹幾種前沿的基於深度學習技術的推薦算法，首先講解為什麼在推薦繫統中引入深度學習的作用與動機，然後介紹幾種典型的基於深度學習的推薦算法，包括基於深度學習的矩陣分解推薦算法（DeepMF）、基於深度學習的協同過濾推薦算法（NCF）、基於深度學習的物品協同過濾算法（DeepICF），後介紹基於圖神經網絡的協同過濾算法和混合推薦算法。

第7章為實戰環節，以百度飛槳官方教程中推薦繫統案例為參考樣例，帶領讀者以一個公開電影數據集MovieLens作為數據集素材，依賴百度飛槳深度學習框架，從零開始搭建一個神經網絡推薦模型，並以B/S架構將推薦模型部署為網絡應用，模擬在線電影推薦的功能，加強讀者對推薦繫統的理解和運用。

第8章介紹推薦繫統領域現存的一些問題和挑戰，包括推薦繫統中的冷啟動問題、數據稀疏問題、推薦的可解釋性問題、大數據處理與增量計算問題、推薦數據偏差問題、推薦繫統的時效性問題、多樣性問題和用戶意圖檢測問題。

書中算法章節都采用理論與實踐相結合的方式，對算法的描述都提供了相應的實驗代碼，其中，基於深度學習的多種算法還可以在百度飛槳AI Studio上進行部署和運行，鏈接為https://aistudio.baidu.com/aistudio/education/group/info/25058/teacher。讀者閱讀本書的同時，可以進行代碼實戰，加深對深度學習理論及模型的理解。

本書面向智能推薦繫統領域的工程師、研發人員、在校大學生、研究生，以及對個性化推薦繫統感興趣的讀者。通過對本書的深入學習，讀者將熟悉各種類型的智能推薦算法，針對不同場景，開發合適的推薦應用。作為人工智能大方向下的一個子領域，盡管推薦繫統的發展仍存在諸多問題，但其對於如今“信息過載”大背景下的互聯網產品具有重要的意義和作用，是產研結合的一門科學，希望本書能為廣大讀者學習推薦繫統開發或推薦算法研究帶來價值。

作者2022年12月