搜索:conjugate gradient

共轭梯度法

原创 2018-03-22 10:26 阅读(114)次
参考了百度文库的此文,加以个人理解:https://wenku.baidu.com/view/593769d8a76e58fafbb00393.html 无约束最优化问题,即为在不对所求问题定义域或值域做任何限制情况下,对目标函数求最小值的一类问题。 简单说就是 y=f(x)的函数,就是对x,y都没有限制,求f(x)最小值的问题。 无约束最优化问题的求解方法大多是采用逐次一维搜索的迭代算法。这类迭代算法可分为两类。一类需要用目标函数的导函数,称为解析法;另一类不涉及导数,只用到函数值,称为直接法。 看我的 梯度下降法  一文的很快会发现梯度下降就是第一类。 其中属于解析型的...

梯度下降 gradient descent

原创 2018-02-25 20:34 阅读(147)次
梯度下降法,用来最小化一个函数的方法,可以用在机器学习的很多地方,特别是cost function,但不仅限于此。 也有称之为最速下降法。 梯度下降的原理就是沿着曲线逐步调整,以一定的学习速率向最低点移动,直到找到全局最低点或者局部最低点。 梯度下降需要有一下几个注意事项: 1.   因为很可能会停留在局部最低值,所以对应的曲线图形最好是凸函数图形,即只有全局最低点,不存在局部最低点的图形,这样就可以排除局部最低点的困扰。 如图,因为到了X点的时候,导数是0,梯度下降不会在移动参数了,认为是最低点了,但其实红点才是最低点。 2.   学习速率的选择,就...