Math4ML 优化与加速

Viktor Cullen / 2023-05-13 / 原文

共12章:基础概论、凸优化与无约束优化、最速下降法、牛顿法及其改进、共轭梯度法、拟牛顿法、约束优化、对偶定理、ML的风险与损失、梯度法及其改进、动量法及其改进、带约束的优化算法。

基础知识:导数和极值的理论,重点是 偏导数、鞍点、梯度等等。

凸优化:

-常见凸集:射线、超平面、半空间

-凸锥: