逼近向量

有限元 博大精深, 开设本专题意在督促自己学习, 只能讲述一些最简单的有限元知识. 本主题将注重数学推导和有关程序实现(Matlab 为主, Python 为辅), 配以适当图示, 尽量做到不晦涩, 强调趣味性和易读性.

有限元主要用来解(偏)微分方程, 但实际某些思想在逼近向量或者函数时, 就存在了, 比如本节介绍的正交性．

逼近向量

关键词: 正交性

逼近二维向量

Approximation of planar vectors

假设 $xy$ 平面有向量 $f=[3,5]$, 在向量 $[2,1]$ 方向上, 寻找向量 $u$ 逼近 $f$

令 ${\psi }_0=[2,1]$, 则有 $xy$ 平面的子空间

$$V=\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}\{{\psi }_0\}.$$

使得 $u=c_0{\psi }_0\in V$, 并且 ${\psi }_0$ 为 $V$ 的基.

令 $e=u-f$, 并且定义范数

$$\Vert e\Vert =(e,e{)}^{\frac{1}{2}}.$$

则原问题转化为: 寻找 $c_0$, 使得 $\Vert e\Vert$ 最小.

这里实际上指定在向量二范数下的逼近

最小二乘法

The least squares method

定义函数

$$\begin{array}{rl}E(c_0)& =(e,e)=(c_0{\psi }_0-f,c_0{\psi }_0-f)\\ & =c_0^2({\psi }_0,{\psi }_0)-2c_0({\psi }_0,f)+(f,f).\end{array}$$

当 $\frac{\partial E}{\partial c_0}=0$ 时, $E$ 取极值, 即

$$\begin{array}{}\text{(1)}& \frac{\partial E}{\partial c_0}=2c_0({\psi }_0,{\psi }_0)-2({\psi }_0,f)=0.\end{array}$$

所以, $$c_0=\frac{({\psi }_0,f)}{({\psi }_0,{\psi }_0)}.$$ 改写式 ($\text{1}$), 得到,

$$(f-c_0{\psi }_0,{\psi }_0)=(f-u,{\psi }_0)=0.$$

即所谓的 正交性

$$(e,{\psi }_0)=0.$$

伽辽金方法

Galerkin method

几何上看, 从第一张图中, 很容易得到: 当向量 $e$ 垂直于 $V$ 中任意向量时, $e$ 的二范数最小, 用数学语言描述如下:

对任意 $v=s,{\psi }_0\in V$, 满足

$$\begin{array}{rl}(e,s{\psi }_0)& =(c_0{\psi }_0-v,s{\psi }_0)\\ & =c_{0}s({\psi }_0,{\psi }_0)-s(v,{\psi }_0)\\ & =s\frac{(v,{\psi }_0)}{({\psi }_0,{\psi }_0)}({\psi }_0,{\psi }_0)-s(v,{\psi }_0)\\ & =0\end{array}$$

更进一步地

$$\begin{array}{}\text{(2)}& (e,v)=0,\mathrm{\forall }v\in V.\end{array}$$

式 ($\text{1}$) 和式 ($\text{2}$) 本质上是一样的.

补充

从线性代数的角度看, 是这样的 ${\psi }_0=[2,1],f=[3,5]$

$${\psi }_0^{\mathrm{T}}{c}_0=f^{\mathrm{T}}.$$

上式显然无解, 所以, 左右同乘 ${\psi }_0$

$${\psi }_0{\psi }_0^{\mathrm{T}}{c}_0={\psi }_0{f}^{\mathrm{T}}.$$

所以

$$c_0=\frac{{\psi }_0{f}^{\mathrm{T}}}{{\psi }_0{\psi }_0^{\mathrm{T}}}=\frac{({\psi }_0,f)}{({\psi }_0,{\psi }_0)}.$$

逼近一般向量

二维是容易比较直观的, 但当维数增加时, 尤其 $\dim \ge 4$, 一般人类是无法想象的 😂

假设 $f$ 是任意 $N+1$ 维向量, 我们在空间

$$V=\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}\{{\psi }_0,\cdots ,{\psi }_N\},$$

中寻找 $u$ 逼近 $f$. 假设 ${\psi }_0,\cdots ,{\psi }_N$ 线性无关, 即 $V$ 的维数是 $N+1$. 那么, 对于任意 $u\in V$ 可以被写成以下线性组合

$$u=\sum _{j=0}^N{c}_j{\psi }_j,c_j\in \mathbb{R}.$$

最小二乘法

The least squares method

现在确定 $u$ 的系数 $c_0,\cdots ,c_N$ 使得距 $v$ 的距离(误差) $e=u-f$ 最小. 定义函数

$$\begin{array}{}\text{(3)}& \begin{array}{rl}E(c_0,\cdots ,c_N)& =(e,e)=(\sum _{j=0}^N{c}_j{\psi }_j-f,\sum _{j=0}^N{c}_j{\psi }_j-f)\\ & =\sum _{p=0}^N\sum _{q=0}^N{c}_p{c}_q({\psi }_p,{\psi }_q)-2\sum _{j=0}^N{c}_j({\psi }_j,f)+(f,f).\end{array}\end{array}$$

当系函数满足

$$\begin{array}{}\text{(4)}& \frac{\partial E}{\partial c_i}=0,i=0,\cdots ,N.\end{array}$$

接下来是重点

• 第一步

式 ($\text{3}$) 的第 2 项对 $c_i$ 求导

$$\frac{\partial }{\partial c_i}(-2\sum _{j=0}^N{c}_j({\psi }_j,f))=-2c({\psi }_i,f)$$

• 第二步

式 ($\text{3}$) 的第 1 项对 $c_i$ 求导

因为,

$$\frac{\partial }{\partial c_i}{c}_p{c}_q=\{\begin{array}{ll}0,& p\ne i\wedge q\ne i\\ c_q,& p=i\wedge q\ne i\\ c_p,& p\ne i\wedge q=i\\ 2c_i,& p=q=i.\end{array}$$

所以,

$$\begin{array}{c}\frac{\partial }{\partial c_i}\sum _{p=0}^N\sum _{q=0}^N{c}_p{c}_q({\psi }_p,{\psi }_q)=\hfill \\ \hfill \sum _{p=0,p\ne i}^N{c}_p({\psi }_p,{\psi }_i)+\sum _{q=0,q\ne i}^N{c}_q({\psi }_q,{\psi }_i)+2c_i({\psi }_i,{\psi }_i).\end{array}$$

合并前两项至第三项, 即

$$\frac{\partial }{\partial c_i}\sum _{p=0}^N\sum _{q=0}^N{c}_p{c}_q({\psi }_p,{\psi }_q)=2\sum _{j=0}^N{c}_i({\psi }_j,{\psi }_i).$$

结合 ($\text{4}$), 得到 线性方程组:

$$\begin{array}{}\text{(5)}& \sum _{j_0}^N{A}_{i,j}{c}_j=b_i,i=0,\cdots ,N.\end{array}$$

其中

$$A_{i,j}=({\psi }_j,{\psi }_i)=({\psi }_i,{\psi }_j)=A_{j,i},$$

$$b_i=({\psi }_i,f).$$

伽辽金方法

Galerkin method

令 $e=u-f$, 寻找 $u$ 对于任意的 $v=\sum _{i=0}^N{c}_i{\psi }_i\in V$, 满足

$$(e,\sum _{i=0}^N{c}_i{\psi }_i)=0.$$

上式可写成

$$\sum _{i=0}^N{c}_i(e,{\psi }_i)=0.$$

上式对于任意的 $c_0,\cdots ,c_N$ 都成立, 所以

$$(e,{\psi }_i)=0,i=0,\cdots ,N.$$

上式依旧可以形成一个如同式 (5) 的线性方程组

对于 $i=0,\cdots ,N$, 有

$$(\sum _{j=0}^N{c}_j{\psi }_j-f,{\psi }_i)=\sum _{j=0}^N({\psi }_j,{\psi }_i)c_j-(f,{\psi }_i)=0.$$

即

$$\sum _{j=0}^N({\psi }_j,{\psi }_i)c_j=(f,{\psi }_i),i=0,\cdots ,N.$$

小结

对于逼近向量问题, 伽辽金法(Galerkin method)和最小二乘法(The least squares method)等同.

预告

下次讨论逼近函数问题.