搜索:逻辑回归

梯度下降法处理正则化后的逻辑回归,解决过拟合

原创 2018-04-08 01:00 阅读(134)次
逻辑回归的代价函数是 这个可以看  分类之逻辑回归的代价函数costfunction 过拟合问题和正则化可以看这里       欠拟合,过拟合问题     正则化-解决过拟合 正则化后就是加入了惩罚项:  带入梯度下降法     得到 这和线性回归部分看似相同,但记得h(θ)是sigmoid函数,而线性回归h(θ)是线性方程。 会发现,其实是在θj的部分,多乘上一个 ,而由于α , λ , m 皆为正数,所以实际上每进行一个梯度下降的循环,θj都缩小一些。而后面...

正规方程法处理正则化后的线性回归,解决过拟合

原创 2018-04-08 00:00 阅读(335)次
没有正则化的线性回归正规方程法可以看这边 : 线性回归之正规方程法求解 正规方程法是通过 这个推导出的,现在  带入求导可推出(推导过程略,都是数学的东西) andrew ng在他的视频中推导出了结果: 跟未正则化的正规方程法相比,增加了λ 和一个 (n+1)* (n+1)的矩阵的相乘,n是样本的特征项数。 这个矩阵和单元矩阵略有不同,差别是第1行第1列的位置为0而不是1。 本文完。 本站作品的版权皆为作品作者所有。本站文字和内容为本站编辑或翻译,部分内容属本站原创,所以转载前务必通知本站并以超链接形式注明内容来自本站,否则以免带来不必要的麻烦。本站内容欢迎分...

梯度下降处理正则化后的线性回归,解决过拟合

原创 2018-04-07 23:12 阅读(220)次
过拟合问题 和正则化 在   欠拟合,过拟合问题  和 正则化-解决过拟合  中解释过。 现在我们要把正则化应用到线性回归算法中来解决可能出现的过拟合问题。 就是把           带入到梯度下降   更正: 在这里的J(θ0,θ1)  应该是 J(θ) 中 得到 可以看出来,θ0的梯度下降是跟之前未加入正则化的时候一样的。这也符合了我们正则化-解决过拟合  提到的,惩罚项不包过θ0的说法。 j 输入1到n的部分,可以将θj提取出来得到...

用优化算法解线性回归

原创 2018-04-02 17:51 阅读(149)次
之前介绍过用梯度下降法和正规方程法求解线性回归。 本文将介绍用优化算法求解线性回归。 优化算法有很多种,见 优化算法清单,时间有限,我还在学习和补充中。优化算法中的其中一种就是求最值问题。线性回归的求解思路就是把cost function求最小化。 因为线性回归只有一个特征项的时候,但对应的函数为  ,我们会对应一个2*1矩阵的参数对应,第一个参数θ_0恒等于1,也就是大于等于2维的参数矩阵。 此时需要使用fminunc方法, 方法介绍见   octave 求最值的优化方法fminunc 直接上代码 步骤1,定义需要优化的线性回归的代价函数 funct...

线性回归之正规方程法求解

原创 2018-03-20 21:05 阅读(139)次
在 线性回归用梯度下降求解 中我们用梯度下降法求出了结果。 但线性回归还有另外一种更便捷的方法,正规方程法,Normal Equation。 θ=(XTX)−1XTy 用这个公司,可以直接求出Θ参数矩阵,从何得到h(x). 其中X表示了m条记录的样本数据,每条记录有n个特征项。 所以X就是 m*(n+1) 的矩阵 , X的转置就是(n+1) * m矩阵。 y 是训练数据的目标特征向量,即是m*1 的矩阵。 因此   XTX      是 (n+1)*(n+1) 矩阵, 他的逆矩阵就 (n+1)*(n+1)的矩阵,...

线性回归用梯度下降求解

原创 2018-03-19 11:46 阅读(120)次
对于多元线性回归还是一元线性回归,他们使用梯度下降求解的方法是相同的。 梯度下降法的介绍在这里: 梯度下降 gradient descent 都是遵循线性梯度下降方法,区别只是同时更新的θ的个数         代入 相当于 使用梯度下降法的几个加快收敛的注意事项: 1.    特征缩放 如果有多个特征项,他们的取值范围差异很大,会造成对应他们的θ的取值范围也很大。 假设x1 取值范围较大,对应的θ1的取值范围则会较小,因为θ1也改变得较大,会造成h(x)的振幅很大。反之亦然。 这样不利于梯度下降收敛。由于Θ中有一...

多元线性回归

原创 2018-03-18 00:55 阅读(102)次
在 线性回归的求解原理和cost function 中我们假设了预测函数是一元线性方程,即只有一个变量x。但现实生活中的问题,训练样本和待分析数据是不只一个特征项的,所以就有了多元线性回归的预测问题。 多元,意味着变量有x1,x2,x3...xn ,线性方程就是   θ0项可以认为是θ0 *  x0 ,x0 = 1 。 这样,n项特征项的变量,可以当成是 n+1项的向量,即   而参数θ也可以形成向量,即  而h(x)  可以写成     本站作品的版权皆为作品作者所有。本...

线性回归的cost function 等高线图分析法

原创 2018-03-16 10:51 阅读(161)次
从上文  线性回归的cost function 3D图形分析法 我们能大概看出cost function的趋势和最低点,但3D图形并不那么直观。本文介绍用等高线图来分析cost function。 基本求J值的方法是一样的, clear ; close all; clc data = load('ex1data1.txt'); X = data(:, 1); y = data(:, 2); m = length(y); X = [ones(m, 1), data(:,1)]; % m * 2 theta0_vals = linspace(-1...

线性回归的cost function 3D图形分析法

原创 2018-03-04 22:31 阅读(163)次
在上文 线性回归的cost function 2D图形分析法 我们假设θ0 =  0 ,使J(θ0,θ1) 变成 J(θ1)。所以可以用2D图形来表示J(θ)函数。本文将认为θ0 !=0,cost function  将有两个自变量的函数J(θ0,θ1) ,就是需要3D图形来表示(x轴θ0,y轴θ1,z轴为J(θ0,θ1))的值。 想要得到如下图的效果, 首先我们需要样本数据,这里用andrew Ng 课程一个的数据作为绘图的样本数据。 数据共97行,每行2列,第1列是特征项x,第2列是目标值y。我截取一些如下 6.1101,17.592 5.5277,...

线性回归的cost function 2D图形分析法

原创 2018-03-04 17:52 阅读(125)次
在 线性回归的求解原理和cost function 一文中我们已经介绍了线性回归的cost function和他的作用。 本文我们从cost function 的图形上来发现J的最小值。 预测函数 :           cost function :   为了理解方便,我们假设θ0 =  0 ,这样预测函数为 h(x) = 0 + θ1x =   θ1x  ,   对于cost function的自变量就只有θ1和因变量y...

线性回归的求解原理和cost function

原创 2018-03-04 01:19 阅读(235)次
上一篇 机器学习之回归入门     我们介绍了线性回归,这次我们来讲解线性回归的求解。求解原理举例说明cost function求解原理 中学学的一元的线性方程 y  =  ax + b, 为了后面的讲解简单,我们用θ来表示参数,即为  ,也是  我们称之为预测函数。 θ的不同取值,表示了不同的线性方程,坐标系上就表示了不同的直线。只有一条直线是最拟合训练样本的,求解线性回归就是找出这条直线,也就是找出对应的(θ0,θ1)举例说明 如图 五个红星代表了5个训练样本,分别有3条线对应3个线性方程。  &n...

机器学习之回归入门

原创 2018-03-03 18:18 阅读(121)次
什么是回归问题转换成数学问题线性回归什么是回归问题        预测明天甚至未来一周的气温,这是回归问题。 预测 iphone的价格走势,这是回归问题 预测房价的走势,这是回归的问题。 甚至位于数学界最深渊的问题,预测股价,也是回归问题 从上面这4个问题我们能发现回归问题预测的是连续的结果(这是相对于分类的离散值而言),是一个具体的数值。 这就是机器学习的回归问题。 同时他也是监督学习的一种。 监督学习:首先他需要由一定数量的训练数据集,数据集中包含训练需要的特征项,同时也包含正确的"答案"。   ...

分类之逻辑回归的代价函数costfunction梯度下降求解

原创 2018-02-25 17:14 阅读(147)次
我们在 分类之  分类之逻辑回归的代价函数costfunction  此文中已经给出了cost function, 现在我们要求解。 依然是用梯度下降法来求解,找到cost function  的最小值    minJ(θ)。 因为minJ(θ) 就是说明预测和真实值最接近,预测函数得出的错误“代价”最小。        梯度下降法就是重复做下面的计算 而后半部分求导得到         ...

分类之逻辑回归的代价函数costfunction

原创 2018-02-23 02:57 阅读(413)次
为什么不能用线性回归的cost function适合logistic regression的cost function为什么不能用线性回归的cost function 所谓代价函数,就是预测值和真实值的误差-----称为cost。而这个cost越小,说明预测越准确。也说明越拟合训练样本,也就能求出拟合训练样本的最好的θ。 如何去拟合训练样本,来找到θ 这个参数矩阵,就是求出分类预测函数h(x)剩下的问题了。 通过  线性回归的求解原理和cost function  一文,我们知道通过找到cost function的最低值,可以找出最佳的预测函数的方方法。 所以我们...

分类之逻辑回归和sigmoid函数

原创 2018-02-22 15:40 阅读(171)次
前文    机器学习之分类入门   我们提到线性回归并不适合分类问题,分类问题需要的输出是在0<=y<=1  这个范围内。所以我们需要一个假设函数的输出在这个范围。        逻辑回归就是用了这样一个函数,他就是sigmoid函数,他也叫logistic function。         sigmoid函数由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数(也叫激活函数,在神经网络中会介绍),将变量映射...