本書可作為在線凸優化大量理論的導論教程。第2~5章主要介紹在線凸優化的基本概念、架構和核心算法。本書其餘部分則處理更為高級的算法、更為困難的設定和與有名的機器學習範式之間的關繫。

●前言致謝第1章 導論 11.1 在線凸優化模型 21.2 可以用OCO建模的例子 31.3 一個溫和的開始: 從專家建議中學習 81.3.1 加權多數算法 101.3.2 隨機加權多數算法 121.3.3 對衝 141.4 習題 161.5 文獻點評 17第2章 凸優化的基本概念 182.1 基本定義和設定 182.1.1 在凸集上的投影 202.1.2 很優條件簡介 212.2 梯度、次梯度下降法 232.3 非光滑和非強凸函數的歸約 272.3.1 光滑非強凸函數的歸約 282.3.2 強凸非光滑函數的歸約 292.3.3 一般凸函數的歸約 322.4 例子: 支持向量機訓練 332.5 習題 352.6 文獻點評 37第3章 在線凸優化的一階算法 383.1 在線梯度下降法 393.2 下界 423.3 對數遺憾 433.4 應用: 隨機梯度下降法 453.5 習題 493.6 文獻點評 50第4章 二階方法 514.1 動機: 通用投資組合選擇 514.1.1 主流投資組合理論 514.1.2 通用投資組合理論 524.1.3 持續再平衡投資組合 544.2 exp-凹函數 554.3 在線牛頓步算法 574.4 習題 634.5 文獻點評 64第5章 正則化 665.1 正則函數 675.2 RFTL 算法及其分析 695.2.算法的定義 705.2.2 遺憾界 705.3 在線鏡像下降法 745.3.1 遲緩型OMD算法與RFTL 算法的等價性 755.3.2 鏡像下降的遺憾界 765.4 應用及特殊情形 785.4.1 在線梯度下降法的導出 795.4.2 乘法更新的導出 795.5 隨機正則化 815.5.1 對凸代價函數的擾動 825.5.2 對線性代價函數的擾動 865.5.3 專家建議中的擾動領袖追隨算法 875.6 很優正則化（選學） 905.7 習題 965.8 文獻點評 98第6章 Bandit凸優化 1006.1 BCO設定 1006.2 多臂 問題 1016.3 從有限信息到完整信息的歸約 1076.3.1 第1部分: 使用無偏估計 1076.3.2 第2部分: 點點梯度估計 1106.4 不需要梯度的在線梯度下降算法 1136.5 BLO很優遺憾算法（選學） 1166.5.1 自和諧障礙 1166.5.2 一個近優算法 1186.6 習題 1216.7 文獻點評 122第7章 無投影算法 1237.1 回顧: 與線性代數相關的概念 1237.2 動機: 矩陣補全與推薦繫統 1247.3 條件梯度法 1267.4 投影與線性優化 1317.5 在線條件梯度算法 1337.6 習題 1387.7 文獻點評 139第8章 博弈、對偶性和遺憾 1408.1 線性規劃和對偶性 1418.2 零和博弈與均衡 1428.3 馮·諾伊曼定理的證明 1468.4 近似線性規劃 1488.5 習題 1508.6 文獻點評 150第9章 學習理論、泛化和OCO 1529.1 統計學習理論的設定 1529.1.1 過擬合 1539.1.2 沒有免費

本書可作為在線凸優化大量理論的導論教程。第2~5章主要介紹在線凸優化的基本概念、架構和核心算法。本書其餘部分則處理更為高級的算法、更為困難的設定和與有名的機器學習範式之間的關繫。

[美]伊蘭德·卡贊(Elad Hazan) 著 張文博 張麗靜 譯 譯