●推薦序一 推薦序二 推薦序三 中文版前言 英文版前言 致謝 作者介紹 符號表 第 1 章 緒論 1 1.1 機器學習中的優化問題舉例 1 1.1.1 正則化的經驗損失模型 1 1.1.2 矩陣填充及低秩學習模型 3 1.2 一階優化算法 3 1.3 加速算法中的代表性工作綜述 4 1.4 關於本書 7 參考文獻 7 第 2 章 無約束凸優化中的加速算法 14 2.1 梯度下降法 14 2.2 重球法 15 2.3 加速梯度法 16 2.4 求解復合凸優化問題的加速梯度法 23 2.4.1 第一種 Nesterov 加速鄰近梯度法 232.4.2 第二種 Nesterov 加速鄰近梯度法 27 2.4.3 第三種 Nesterov 加速鄰近梯度法 31 2.5 非準確加速鄰近梯度法 33 2.5.1 非準確加速梯度法 42 2.5.2 非準確加速鄰近點法 42 2.6 重啟策略 43 2.7 平滑策略 45 2.8 高階加速方法 50 2.9 從變分的角度解釋加速現像 55 參考文獻 60 第 3 章 帶約束凸優化中的加速算法 63 3.1 線性等式約束問題的一些有用結論 63 3.2 加速罰函數法 66 3.2.1 一般凸目標函數 71 3.2.2 強凸目標函數 71 3.3 加速拉格朗日乘子法 72 3.3.1 原始問題的解 74 3.3.2 加速增廣拉格朗日乘子法 76 3.4 交替方向乘子法及非遍歷意義下的加速算法 77 3.4.1 情形 1：一般凸和非光滑目標函數 82 3.4.2 情形 2：強凸非光滑目標函數 83 3.4.3 情形 3：一般凸和光滑目標函數 85 3.4.4 情形 4：強凸和光滑目標函數 87 3.4.5 非遍歷意義收斂速度 88 3.5 原始–對偶算法 98 3.5.1 情形 1：兩個函數均非強凸 100 3.5.2 情形 2：隻有一個函數強凸 101 3.5.3 情形 3：兩個函數均強凸 103 3.6 Frank-Wolfe 算法 104 參考文獻 108第 4 章 非凸優化中的加速梯度算法 112 4.1 帶衝量的鄰近梯度法 112 4.1.1 收斂性理論 113 4.1.2 單調加速鄰近梯度法 120 4.2 快速收斂到臨界點 120 4.2.1 能夠檢測強凸性質的 AGD 121 4.2.2 負曲率下降算法 123 4.2.3 非凸加速算法 125 4.3 快速逃離鞍點 128 4.3.1 幾乎凸的情形 128 4.3.2 接近非凸情形 130 4.3.3 非凸加速梯度下降法 131 參考文獻 136 第 5 章 加速隨機算法 138 5.1 各自凸情況 139 5.1.1 加速隨機坐標下降算法 140 5.1.2 方差縮減技巧基礎算法 147 5.1.3 加速隨機方差縮減方法 152 5.1.4 黑盒加速算法 158 5.2 各自非凸情況 160 5.3 非凸情況 166 5.3.1 隨機路徑積分差分估計子 167 5.3.2 衝量加速 173 5.4 帶約束問題 174 5.5 無窮情況 197 參考文獻 200 第 6 章 加速並行算法
