雅可比矩阵和矩阵微分

实值函数分类

雅可比矩阵

在向量分析中,雅可比矩阵是函数以一阶偏导数以一定方式排列成的矩阵,其行列式称为雅可比行列式

  • $1\times m$行向量偏导算子定义为所以实值标量函数f(x)在x的偏导向量由$1\times m$行向量给出

当实值标量函数f(X)的变元为实值矩阵$X\in R^{m\times n}$,可能存在两种定义

  • Jacobian偏导
  • 行向量偏导
  • 两者关系即实值标量函数f(X)的行向量偏导$Dvec_Xf(X)$等于Jacobian矩阵的转置$D_X^Tf(X)$的列向量化

矩阵函数雅克比矩阵

函数为矩阵,变元为矩阵

梯度矩阵

采用列向量作为偏导算子称为偏导算子

  • 标量函数的梯度向量

  • 矩阵梯度向量

  • 梯度矩阵

实标量函数和矩阵函数的梯度矩阵是雅克比矩阵的转置

偏导和梯度计算

  • 若$F(X)=c$为常数,其中X为$m\times n$矩阵,则梯度$\frac{\partial c}{\partial X}=O_{m\times n}$
  • 线性法则
  • 乘积法则
  • 商法则
  • 链式法则

独立性基本假设

假定实值函数的向量变元和矩阵变元无任何特殊结构则

example

求实值函数$f(x)=x^TAx$的Jacobian矩阵,$x^TAx=\sum{k=1}^n\sum{l=1}^na_{kl}x_kx_l$,我们可以求出行偏导向量$\frac{\partial x^TAx}{\partial x^T}$的第i个分量为

我可以得到行偏导向量和梯度向量

一阶实矩阵微分

  • 标量函数tr(U)的微分
  • 矩阵乘积UV的微分矩阵
  • 矩阵的迹的矩阵微分等于矩阵微分的迹

标量函数f(x)的jacobian矩阵辨识

  • 以向量为变元的标量函数f(x)的微分如果令我们可以把一阶微分写成迹的形式

标量函数f(X)的jacobian矩阵辨识

A为标量函数f(X)的Jacobin矩阵

Hessian 矩阵

共轭梯度和复Hessian矩阵

形式偏导

实部和虚部相互独立

单个复变量梯度

单个复变量微分

复变元向量违法

标量函数的梯度向量和共轭梯度向量

常见矩阵偏导