样本加权最小二乘

给最小二乘法各个样本加上不同权重进行参数求解,目标是最小化下面的正定二次目标函数:

J(x)=\frac{1}{2}||y-Ax||^2_W=(y-Ax)^TW(y-Ax)\\
=\frac{1}{2}x^TA^TWAx-x^TA^TWy+\frac{1}{2}y^TWy

估计值\hat{x} 满足

\nabla J(\hat{x})=0

那么得到Normal equations:

A^TWA\hat{x}=A^TWy

那么得到伪逆解:

\hat{x}=(A^TWA)^{-1}A^TWy

在一些应用(如slam后端滤波)中,W有称为Information Matrix或者Precision Matrix。另外 A^TWA\hat{x} 部分是否可你和系统的可观测行是联系在一起的。

如果在 J(x) 中加入正则化项,则\hat{x}=(A^TWA+\lambda I)^{-1}A^TWy[\latex],其中 y 前面部分和卡尔曼滤波中的卡尔曼增益矩阵 K=P_kH_k^T(H_kP_kH_k^T+R)^{-1}[\latex] 很像,可以认为K就是甲醛情况的观测矩阵H的广义逆矩阵。于是当观测噪声R很小时,K=H_k^{-1} ,这样迭代卡尔曼滤波时可以直接求解,而不必再迭代了。

发表评论