简记:基于梯度的优化 Jacobian和Hessian

工作之后时间越来越少,也在思考繁忙之下自己是否仍对技术拥有热情。答案是肯定的,并且,身处这个行业,也是需要不断学习的,积少成多,滴水穿石。之前写博客,或多或少想分享些有用的东西,现在环境的改变已经使得这些越发困难了,但是仍可以通过博客记录自己学习和成长的脚步。以下是来自繁忙生活中一份简简单单的笔记:

Jacobian矩阵包含了我们需要计算输出和输入的所有偏导数,这样的矩阵被称为Jacobian矩阵。

或许我们只对其中的二阶导数感兴趣,或许因为高阶导数计算量过大,所以我们使用Hessian矩阵,该矩阵包含了一个函数的所有二阶导数。

Hassian矩阵几乎是处处对称的。可以利用Hassian矩阵的正定性来判定极值点。

仅利用梯度信息的优化算法称为一阶优化算法,使用Hessian矩阵的优化算法称为二阶优化算法。

发表评论