On this page
☰
Composite functions
假设：
\[f(x) = g(x) + h(x)\]- $g$ 是凸的，可微的， $\text{dim}(g) = \mathbb{R}^n$
- $h$ 是凸的， 不一定可微
如何 $f$ 是可微的，梯度下降更新为：
\[x^+ = x - t · \nabla f(x)\]最小化 $x$ 附近的 quadratic approximation， 用 $\frac{1}{t} I $ 替换 $\nabla^2 f(x)$:
\[x^+ = \mathop{\text{argmin}}_z f(x) + \nabla f(x)^\top (z - x) + \frac{1}{2t}\| z - x \|_2^2\]