距离空间

在高等数学中：

• 研究对象——函数
• 基本工具——极限， 是分析理论的基础
• 定义极限的基础——距离

在泛函分析中将上述内容推广

• 研究对象——算子、泛函（空间到空间的映射）
• 首先引入度量工具——距离
• 然后在度量空间中——定义极限， 建立相应的理论
• 进一步对每一个具体空间引入相应的结论

距离空间

设$X$是非空集合， 若$\forall x, y \in X \rightarrow \exists \mid \rho (x, y) \geq 0$, 且满足

• 非负性 $\rho(x, y) \geq 0$， 当且仅当$x = y$时， $\rho(x, y) = 0$
• 对称性 $\rho(x, y) = \rho(y, x)$
• 三角不等式： $\forall x, y, z \in X$， 有$\rho(x, y) \leq \rho(x, z) + \rho(z, y)$

则称实数$\rho(x, y)$为元素$x$与$y$之间的距离， 称$X$为距离空间或度量空间， 记作$(X, \rho)$或$X$。 距离空间中的元素也称为“点”， 用“·”表示。

距离$\rho(·， ·)$是集合$X \times X$（称为乘积空间或笛卡尔积空间）到实数集合$R^1$上的二元泛函（或称函数）。

设$R^n$是$n$维向量全体构成的空间

$\forall x = (x_1, x_2, …, x_n)^T, y = (y_1, y_2, …, y_n)^T \in R^n$

定义$\rho(x, y) = \sqrt{\sum_{i=1}^n (x_i - y_i)^2}$

$R^n$在$\rho$下为距离空间， 即通常意义下的欧式空间。

特别的， 当$n=1$时， $\rho(x, y) = \mid x - y \mid$ 当$n=2$时， $\rho(x, y) = \sqrt{(x_1 - y_1)^2 + (x_2 - y_2)^2}$

如果在$R^2$中， 定义$d(x, y) = \mid x_1 - y_1 \mid + \mid x_2 - y_2 \mid$， 验证得知$R^2$按$d$也是距离空间，但与欧式空间是不同的度量空间。

向量范数

若$n$维向量$x = (x_1, x_2, …, x_n)^T \in R^n$对应的某个非负实数$N(x) = |x|$满足条件

• 正定性： $| x | \geq 0$， 且$|x| = 0 \Leftrightarrow x= 0$;
• 正齐性： 对任意实数$\alpha$， 都有$|\alpha x| = \mid \alpha \mid |x|$;
• 三角不等式： 对任意$x, y \in R^n$， 有$|x + y | \leq |x| + |y|$

则称$| x |$是$R^n$上的一个向量范数。

常用的向量范数：

• $\infty - 范数$： $| x |{\infty} = \max{1 \leq i \leq n} \mid x_i \mid$
• 1-范数： $|x|1 = \sum{i=1}^n \mid x_i \mid$
• 2-范数或欧式范数： $|x|2 = (\sum{i=1}^n x_i^2)^\frac{1}{2}$

利用范数$|x - y |$可度量向量$x$与$y$的误差。

定理1（范数的连续性）： 设$x$是$R^n$上任一种向量范数， 则$|x|$是向量$x$的分量$(x_1, x_2, …, x_n)$的连续函数。

定理2（向量范数的等价性）： 设$|·|_s$和$|·|_t$是$R^n$上任意两种范数， 则存在常数$C_1, C_2 > 0$， 使：

由定理2可得： $R^n$上任意两种向量范数等价

定理3： $\lim_{k \rightarrow \infty} x^{(k)} = x^*$的充分必要条件是对任意一种范数，

矩阵范数

设$n$阶方针$A = (a_{ij})_{n \times n} \in R^{n \times n}$， 若对应一个非负实数$| A |$， 满足下列条件：

• 正定性： $|A| \geq 0$， 且$|A| = 0 \Leftrightarrow A = 0$
• 正次性：对任意实数$\lambda$， $| \lambda A| = \mid \lambda \mid | A |$
• 三角不等式： $\forall A, B \in R^{n \times n}$， 有$| A + B | \leq |A| + |B|$
• 乘积不等式： $\forall A, B \in R^{n \times n}$， 有$| A B | \leq |A||B|$

则称$|A|$为$n$阶矩阵$A$的范数。

定义$A \in (a_{ij})_{n \times n}$的一种范数

斐波那契范数(Froubenius)，称为矩阵A的F-范数。可以看成是$n \times n$维向量的2-范数。

定义： 如果$\forall A \in R^{n \times n}$及$\forall x \in R^n$， 都有

成立， 则称矩阵范数$|A|$与向量范数$|x|$是相容的。

定义(矩阵的算子范数)： 设$x \in R^n, A \in R^{n \times n}$， 给出一种向量范数$|x|v$， 例如$v = 1, 2, \infty$， 相应地定义一个矩阵的非负函数$|A|_v = \max{x \neq 0} \frac{|Ax|_v}{|x|_v}$， 其满足矩阵范数的条件， 称为矩阵的算子范数。

ps：

• 矩阵的算子范数也称为由向量范数诱导出的范数。
• 矩阵的算子范数与向量范数具有相容性。

三种常用的矩阵的算子范数公式

定理4：设$x \in R^n, A \in R^{n \times n}$， 则：

• $|A|{\infty} = \max{x \neq 0} \frac{|Ax|{\infty}}{|x|{\infty}} = \max_{i \leq i \leq n} \sum_{j=1}^n \mid a_{ij} \mid$ ， A的行范数
• $|A|{1} = \max{x \neq 0} \frac{|Ax|{1}}{|x|{1}} = \max_{i \leq j \leq n} \sum_{i=1}^n \mid a_{ij} \mid$ ， A的列范数
• $|A|2 = \sqrt{\lambda{max}(A^TA)}$, A的2范数（$\lambda_{max}$是最大特征值）。

三种矩阵范数等价

定义（谱半径）： 设$A \in R^{n \times n}$的特征值为$\lambda_i(i = 1~n)$， 称

为矩阵A的谱半径。

定理5： 设$A \in R^{n \times n}$， 则$\rho(A) \leq |A|$。

定理5说明矩阵A的谱半径不超过A的任意一种算子范数。

定理6：如果$A \in R^{n \times n}$为对称矩阵， 则$\rho(A) = |A|_2$。

证明：设$\lambda_i$是A的任意特征值， $u_i$为对应特征向量

$\because$ $A^T = A$

$\therefore A^T A u_i = AAu_i = A \lambda_i u_i = \lambda_i A u_i = \lambda_i^2 u_i$

$|A|^22 = \lambda{max}(A^TA) = max_{1 \leq i \leq n} \lambda_i^2 = (\max_{1 \leq i \leq n} \mid \lambda_i \mid)^2 = (\rho(A))^2$

$\Rightarrow |A|_2 = \rho(A)$

定理7： 如果$|B| < 1$， 则$I \pm B$为非奇异矩阵， 且：

注： 这里$|·|$指矩阵的算子范数。

赋范线性空间

线性空间

设$E$是非空集合，$K$是实数(或复数)域。 在$E$中定义两种运算：

• 加法： $\forall x, y \in E$，存在唯一$z \in E$， 记作$z = x + y$
• 数乘： $\forall x \in E, \lambda \in K$， 存在唯一$\delta \in E$， 记作$\delta = \lambda x$

且满足下列八条运算规律：

$E \times E \rightarrow E \qquad “+”$

• $x + y = y + x$
• $(x + y) + z = x + (y + z)$
• $\exists “零元素” \theta \in E$， 有$x + \theta = x$
• $\exists “负元素” -x \in E$， 有$x + (-x) = \theta$

$K \times E \rightarrow E \qquad “·”$

• $\lambda(\mu x) = (\lambda \mu)x$
• $1 · x = x, 0 · x = \theta$
• $(\lambda + \mu)x = \lambda x + \mu x$
• $\lambda(x + y) = \lambda x + \lambda y$

称$E$是（数域$K$上的）线性空间（或向量空间）。 满足八条规律的两种运算称为线性运算。

例子：

$P_n(x)$——次数不超过$n$的多项式全体， 在通常的“加法”“数乘”运算下 是 线性空间。

$Q_n(x)$——次数等于$n$的多项式全体， 在通常意义“加法”“数乘”运算下 不是 线性空间。

• $C[a, b]$表示定义在$[a, b]$上的所有连续函数的全体
• $L^2[a, b] = (x(t) \mid \int_a^b \mid x(t) \mid^2 dt < + \infty$表示定义在$[a, b]$上的平方可积函数。

$C[a,b]、 L^2[a, b]$在通常意义下的“加法”“数乘”运算下 是 线性空间。

赋范线性空间

设$E$是实数域（或复数域）K上的线性空间。若$\forall x \in E \rightarrow \exists 实数 |x| \geq 0$， 且满足下列三个条件：

• 正定性： $|x| \geq 0$， 当且仅当$x = 0$时， $|x| = 0$
• 正次性： $|\alpha x| = \mid \alpha \mid · |x|$
• 三角不等式： $\forall x, y \in E$， 有$|x + y| \leq |x| + |y|$

则称实数$|x|$为$x$的范数， 称$E$为赋范线性空间， 记作$(E, |·|)$或$E$。

即在线性空间中定义了 范数的空间， 称为 赋范线性空间。

例1：

在欧式空间$R^n$中，

定义：

• $|x|2 = \sqrt{\sum{i=1}^n x_i^2}$， 则$(R^n, |x|2)$是赋范线性空间。定义距离$d(x, y) = |x - y|_2 = \sqrt{\sum{i=1}^n (x_i - y_i)^2}$
• $|x|\infty = \max{1 \leq i \leq n} \mid x_i \mid$， 则$(R^n, |x|_{\infty})$是赋范线性空间。
• $|x|1 = \sum{i=1}^n \mid x_i \mid$， 则$(R^n, |x|_1)$是赋范线性空间。

例2：

$C[a, b]$是线性空间， 若定义

• $|x| = \max_{t \in [a, b]}\mid x(t) \mid$， 则$(C[a, b], |x|)$是赋范线性空间。定义距离$d(x, y) = |x - y| = \max_{t \in [a, b]} \mid x(t) - y(t) \mid$。
• $|x|_1 = \int_a^b \mid x(t) \mid dt$， 则$(C[a, b], |x|_1)$是赋范线性空间。

例3：

$L^2[a, b]$是线性空间， 若定义

则$(L^2[a, b], |x|)$是赋范线性空间。

定义距离$d(x, y) = |x - y| = (\int_a^b \mid x(t) - y(t)\mid dt)^{\frac{1}{2}}$

赋范线性空间中的点列及性质

定义1（收敛点列）

设${x_n}$是赋范空间$E$中的一个点列， 若：

则称${x_n}$为收敛点列， 记作$\lim_{n \rightarrow \infty} x_n = x$。

定义2（柯西点列）

设${x_n}$是赋范空间$E$中的一个点列，若：

则称点列${x_n}$为 Cauchy点列 或 基本点列。

例1：

在$R^1$中， 地哦按咧${x_n} = {\frac{1}{n}}$， 是收敛点列， 也是Cauchy点列。

PS： $R^1$中有结论： ${x_n}$是收敛数列 $\Leftrightarrow$ ${x_n}$是Cauchy数列。 但在一般的距离空间中，该结论不成立。

例2：

在有理数空间$Q$中， 点列

是$Q$中的Cauchy点列， 但不是收敛点列；

同理， 点列${x_n} = {(1 + \frac{1}{n})^n}$是$Q$中Cauchy点列， 但不是收敛点列。

性质1（极限唯一性）： 在赋范空间$E$中的收敛点列$x_n$的极限点是唯一的。

性质2（极限存在的有界性）： 在赋范空间$E$中的收敛点列$x_n$必有界。

性质3（范数的连续性）： 在赋范空间$E$中， $|x - y|$是两个变元$x, y$的连续泛函。 即当$x_n \rightarrow x_0， y_n \rightarrow y_0$时：

性质4： 若${x_n}$是$(E, |·|)$中的收敛点列， 则${x_n}$一定是Cauchy点列； 反之， Cauchy点列不一定是收敛点列

定义（完备性）： $X$是赋范线性空间， 若$X$中的任一Cauchy点列都在$X$中收敛， 则称$X$是完备的赋范线性空间。

结论： 在完备的赋范空间中，收敛点列与Cauchy点列是等价的。

内积空间

内积空间

设$U$是数域$K$（实或复数域）上的线性空间， 若$\forall x, y \in U$， 存在唯一的数$(x, y) \in K$， 满足下列条件：

• 正定性： $（x, x） \geq 0$, $(x, x) = 0 \Leftrightarrow x = 0$
• 共轭对称性： $(x, y) = \overline{(y, x)}$
• 关于第一变元的线性性质：$(\alpha x + \beta y, z) = \alpha(x, z) + \beta(y, z), z \in U$

则称$(x, y)$为$x, y$的内积， $U$为内积空间。

注： 内积$(·， ·)$是$U \times U \rightarrow R$（或$C$）的二元泛函。

当$K$是实数域时， 称$U$为实内积空间； $K$为复数域时， 称$U$为复内积空间。 通常$U$指的是复内积空间。

内积关于第二变元满足共轭线性性质

故：

例1：

在实向量空间$R^n$中

定义内积： $(x, y) = \sum_{i=1}^n x_i y_i$

而在复向量空间$C^n$中， $\forall x, y \in C^n$

定义内积： $(x, y) = \sum_{i=1}^n x_i \bar y_i$

例2：

在平方可积函数空间$L^2[a, b]$中， $\forall x(t), y(t) \in L^2[a, b]$，

定义内积： $(x, y) = \int_a^b x(t) · \overline{y(t)} dt$

若$L^2[a, b]$位平方可积实值函数空间， 则：

定义内积： $(x, y) = \int_a^b x(t) · y(t) dt$

例3

在$C[a,b]$， 定义内积：

内积空间的性质

性质1： 内积满足Cauchy-Schwarz（柯西——许瓦兹）不等式

性质2： 内积可诱导范数

在内积空间$U$中，由内积定义$|x| = \sqrt{(x, x)}$, 验证知满足范数的三条公理。 因此，内积空间一定是赋范线性空间。

$(x，x)$表示内积， 比如定义$\int_a^b f(t) \overline{g(t)}dt$, 其诱导的范数为$\sqrt{\int_a^b\mid x(t) \mid^2}dt$。诱导的距离是$|x-y|$， 即$x-y$的范数， 这里的范数指的就是内积诱导出的范数， $|x - y| = \sqrt{\int_a^b \mid x(t) - y(t) \mid^2 dt}$

例1：

在实向量空间$R^n$中， 由内积$(x, y) = \sum_{i=1}^n x_i y_i$诱导的范数：

在平方可积函数空间$L^2[a, b]$中， 由内积$(x, y) = \int_a^b x(t)· \overline{y(t)}dt$诱导的范数：

因此内积空间$R^n$， $L^2[a, b]$也是赋范线性空间。

性质3： 在内积空间$U$中， 按内积导出的范数满足平行四边形公式：

证明：

性质4： 在内积空间$U$中， 内积$(x, y)$是两个变元$x, y$的连续泛函。

即$x_n \rightarrow x, y_n \rightarrow y$（按范数）时， 数列$(x_n, y_n) \rightarrow (x, y)$。

Hilbert空间

完备的内积空间$U$称为Hilbert空间， 记作$H$(即内积空间$U$按范数$|x| = \sqrt{(x, x)}$成为Banach空间)。

例：

$R^n$在内积定义$(x, y) = \sum_{i=1}^n x_i y_i$下， 是Hilbert空间。

$L^2[a, b]$在内积定义$(x, y) = \int_{a}^b x(t) · \overline{y(t)}dt$下， 是Hillbert空间。

$C[a, b]$在内积定义$(x, y) = \max_{t \in [a, b]} \mid x(t) - y(t) \mid$下， 是Hillbert空间。

正交分解和投影定理

定义

设$U$是内积空间， 元素$x, y \in U$， 集合$M, N \subset U$

• 若$(x, y)=0$， 称$x$与$y$正交， 记作$x \perp y$
• 若$\forall y \in M$， 有$(x, y) = 0$， 称$x$与$M$正交， 记作$x \perp M$
• 若$\forall x \in M, \forall y \in N$， 有$(x, y) = 0$， 称$M$与$N$正交， 记作$M \perp N$
• $U$中与$M$正交的所有元素的全体称为$M$的正交补， 记作$M^{\perp}$, 即： \(M_{\perp} = \{y \mid y \perp x, x \in M\}\)
• 设$M$为$U$的线性子空间， $x \in U$， 若$\exists x_0 \in M, x_1 \in M^{\perp}$， 使得 \(x = x_0 + x_1 \tag{*}\) 则称$x_0$为$x$在$M$上的正交投影， $(*)$式称为对$x$的正交分解。

正交分解的性质

1） 设$U$是内积空间， $x, y \in U$, 若$x \perp y$， 则

称为内积空间中的“商高定理”。

2）设$U$是内积空间， $M \subset U$， 则$M^{\perp}$必为$U$中闭的线性子空间。

3）设$M$是$U$中闭的线性子空间， 则正交投影是存在唯一的， 即$\forall x \in U$，$\exists 1 x_0 \in M, x_1 \in M^{\perp}$， 使得：

称$x_0$是$x$在$M$中的最佳逼近元。

性质3)表明： $x$在$M$中的最佳逼近元就是$x$在$M$中的投影， 因此， 在内积空间中的最佳逼近元问题就是正交投影问题。

投影定理

设$M$是$Hillbert$空间$H$的闭线性子空间， 则$\forall x \in H$及$x_1 \in M^{\perp}$， 使得：

推广： 若$M$是内积空间$U$的完备子空间， 定理结论仍成立。

PS： 任何有限维赋范线性空间一定是完备的。