矩阵微分
雅可比矩阵和矩阵微分
实值函数分类
雅可比矩阵
在向量分析中,雅可比矩阵是函数以一阶偏导数以一定方式排列成的矩阵,其行列式称为雅可比行列式
- $1\times m$行向量偏导算子定义为所以实值标量函数f(x)在x的偏导向量由$1\times m$行向量给出
当实值标量函数f(X)的变元为实值矩阵$X\in R^{m\times n}$,可能存在两种定义
- Jacobian偏导
- 行向量偏导
- 两者关系即实值标量函数f(X)的行向量偏导$Dvec_Xf(X)$等于Jacobian矩阵的转置$D_X^Tf(X)$的列向量化
矩阵函数雅克比矩阵
函数为矩阵,变元为矩阵
梯度矩阵
采用列向量作为偏导算子称为偏导算子
标量函数的梯度向量
矩阵梯度向量
- 梯度矩阵
实标量函数和矩阵函数的梯度矩阵是雅克比矩阵的转置
偏导和梯度计算
- 若$F(X)=c$为常数,其中X为$m\times n$矩阵,则梯度$\frac{\partial c}{\partial X}=O_{m\times n}$
- 线性法则
- 乘积法则
- 商法则
- 链式法则
独立性基本假设
假定实值函数的向量变元和矩阵变元无任何特殊结构则
example
求实值函数$f(x)=x^TAx$的Jacobian矩阵,$x^TAx=\sum{k=1}^n\sum{l=1}^na_{kl}x_kx_l$,我们可以求出行偏导向量$\frac{\partial x^TAx}{\partial x^T}$的第i个分量为
我可以得到行偏导向量和梯度向量
一阶实矩阵微分
- 标量函数tr(U)的微分
- 矩阵乘积UV的微分矩阵
- 矩阵的迹的矩阵微分等于矩阵微分的迹
标量函数f(x)的jacobian矩阵辨识
- 以向量为变元的标量函数f(x)的微分如果令我们可以把一阶微分写成迹的形式
标量函数f(X)的jacobian矩阵辨识
A为标量函数f(X)的Jacobin矩阵
Hessian 矩阵
共轭梯度和复Hessian矩阵
形式偏导
实部和虚部相互独立
单个复变量梯度
单个复变量微分
复变元向量违法
标量函数的梯度向量和共轭梯度向量
常见矩阵偏导
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 摸黑干活!
评论