●前言
符號表
第1章 凸集與凸函數 1
1.1 仿射集與凸集 1
1.1.1 仿射集 2
1.1.2 凸集 4
1.2 分離定理與支撐超平面 8
1.3 凸函數及其性質 14
1.4 函數的凸性與閉性 19
1.5 函數的連續性與可微性 26
1.5.1 函數的連續性 26
1.5.2 函數的可微性 34
1.6 共軛函數 37
1.7 凸函數的次微分 42
1.8 強凸函數與嚴格凸函數 55
第2章 錐 63
2.1 錐與極錐 63
2.2 多面體錐與 Farkas 引理 69
2.3 切錐與法錐 72
2.4 正常錐與廣義不等式 74
2.4.1 正常錐與對偶錐 74
2.4.2 廣義不等式 76
第3章 優化問題及對偶理論 79
3.1 很優化及凸優化問題 79
3.2 Lagrange 函數 82
3.3 對偶函數 83
3.4 對偶問題 87
3.5 對偶性 89
3.6 Lagrange 鞍點 94
第4章 很優性條件 97
4.1 無約束優化的很優性條件 97
4.2 約束優化的一階很優性條件 99
4.3 KKT 條件 104
4.4 約束優化的二階很優性條件 110
4.5 凸優化的很優性條件 114
第5章 凸優化算法 118
5.1 優化算法概述 118
5.1.1 求解無約束優化問題的迭代法框架 119
5.1.2 算法的收斂性及收斂速度 121
5.2 梯度法與次梯度法 122
5.2.1 梯度法 123
5.2.2 次梯度法 126
5.3 投影梯度法與投影次梯度法 130
5.3.1 投影梯度法 130
5.3.2 投影次梯度法 134
5.4 鄰近梯度法 138
5.5 牛頓法 146
5.6 擬牛頓法 149
5.6.1 對稱秩 -1 擬牛頓法 152
5.6.2 DFP 擬牛頓法 153
5.6.3 BFGS 擬牛頓法 155
5.6.4 有限內存 BFGS 擬牛頓法 158
第6章 加速與高階算法及正則化 162
6.1 加速鄰近梯度法 162
6.1.1 Nesterov 加速法 162
6.1.2 FISTA 算法 168
6.2 正則化牛頓法及其加速 171
6.2.1 正則化牛頓法 171
6.2.2 加速正則化牛頓法 178
6.2.3 自適應正則化牛頓法 185
6.3 張量方法及正則化加速 186
6.3.1 加速正則化張量方法 186
6.3.2 切比雪夫{哈雷方法 188
第7章 在線凸優化算法 193
7.1 在線優化概述 193
7.1.1 在線優化模型 193
7.1.2 在線凸優化的應用 194
7.2 在線算法示例 195
7.2.1 加權占優算法 196
7.2.2 隨機加權占優算法 198
7.2.3 Hedge 算法 200
7.3 一階在線凸優化算法 202
7.3.1 在線投影梯度法 202
7.3.2 投影隨機梯度法 206
7.4 在線擬牛頓法 207
7.5 正則化在線凸優化算法 215
7.5.1 正則化函數與 Bregman 散度 215
7.5.2 RFTL 算法 216
參考文獻 221

凸優化問題是在一個凸的約束可行範圍內，很優化（極小化）一個凸的目標函數的一類優化問題。凸優化理論的核心工具是Lagrange對偶，它為凸優化問題的解的很優性，從而為設計有效的凸優化算法提供了保證。近些年，雲計算、大數據等研究的興起和發展為凸優化提供很好的應用，一般而言大量的應用問題都在努力地規約或近似未凸優化問題。這樣可以很好地應用凸優化算法，即使問題本身是非凸的。相關的有效應用的案例大大地擴展了凸優化的應用範圍，如數據處理、機器學習、經濟管理和機器學習等包括計算、分析以及工程研究許多領域。本書將繫統地介紹理論基礎，凸優化問題，對偶理論，以及凸優化算法設計和應用等。