最佳逼近（即整体误差最小）
对于函数$f(x)$， 要求在一个简单的函数类$\phi$中， 寻找一个函数$S^(x) \in \phi$, 使得$S^(x)$近似$f(x)$时，整体误差在某种度量下达到最小。 比如$f(x) \approx S^*(x)$时， 要求
\[\|f(x) - S^*(x) \| = \min_{s(x) \in \phi} \| f(x) - S(x)\|\]求$S^(x)$的这类问题称为最佳逼近问题， $S^(x)$称为$f(x)$的最佳逼近函数。
若$f(x)$为连续变量的函数， 称$S^(x)$为函数逼近； 由$f(x)$的离散数据表求出的$S^(x)$称为数据拟合。
PS：简单函数类$\phi$通常取多项式， 有理函数， 或分段低次多项式等。
常用的误差度量标准有：
- 2-范数， $|f(x) - S^*(x)|_2 = \sqrt{\int_a^b \mid f(x) - s(x) \mid^2dx}$， 最佳平方逼近或均方逼近
- $\infty$-范数， $|f(x) - S(x)|\infty = \max{x \in I} \mid f(x) - s(x)\mid$， 最佳一致逼近或均匀逼近
内积空间中的最佳逼近
设$U$是内积空间， $x_1, x_2, …, x_n$是$U$中$n$个线性无关的元素， $M = span{x_1, x_2, …, x_n} = {\sum_{i=1}^n \alpha_i x_i, \forall \alpha_i \in k }$。
对于$\forall x \in U$， 存在$M$中的元素$x^* = \sum_{i=1}^n \alpha_i^* x_i$
\[\|x - x^*\| = \min_{y \in M} \|x - y\| \leq \|x - \sum_{i=1}^n \alpha_i x_i\|\]则称$x^*$是$x$在$M$中的“最佳逼近”元， $M$为$U$的逼近子空间。
PS： 这里$|·|$是由内积诱导的范数。
定理1（正交投影定理）
设$M$是内积空间$U$中的完备的线性子空间， 则$\forall x \in U$， $x$在$M$中存在唯一的正交投影$x^$, 即$x^ \in M, x - x^* \in M^{\perp}$
\[\|x - x^* \| = \min_{y \in M} \|x - y\|\]定理说明， 内积空间中任何元素$x$在完备的线性子空间$M$中存在唯一的正交投影$x^$， 而这个投影$x^$就是$x$在$M$中的最佳逼近元。
求最佳逼近元$\Leftrightarrow$求正交投影
求最佳逼近元的方法
在内积空间$U$中，取$n$维线性子空间$M = span{x_1, x_2, …, x_n}$， 由投影定理可知， 对于$\forall x \in U$， $x$在$M$中的最佳逼近元
$x^* = \sum_{i=1}^n a_i^* x_i \in M, x - x^* \in M^{\perp}$， 即：
\[\begin{aligned} (x - x^*, x^*) = 0 &\Leftrightarrow (x - x^*, x_j) = 0 \qquad (j = 1, 2, ..., n) \\ 等价于求组合系数\alpha_i^* &\Leftrightarrow(x - \sum_{i=1}^n a_i^* x_i, x_j) = 0 \qquad (j=1, 2, ..., n) \\ & \Leftrightarrow (x, x_j) - \sum_{i=1}^n \alpha_i^*(x_i, x_j) = 0 \\ & \Leftrightarrow \sum_{i=1}^n (x_i, x_j) · \alpha_i^* = (x, x_j) \qquad (j=1, 2, ..., n) \end{aligned}\]