电影***
新浪微博
微信
当前位置:电影***网 » 游泳

机器学习——逻辑斯谛回归(logistic regression)

机器学习——逻辑斯谛回归(logistic regression)

逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法,属于对数线性模型,即可以认为是被Sigmoid函数所归一化后的线性回归模型!

根本思想:逻辑斯谛回归的求解最后就是计算交叉熵,而交叉熵就是最大化极大似然函数,通常采用的优化方法是随机梯度下降

先给出《统计学习方法》里的内容:

机器学习——逻辑斯谛回归(logistic regression)

但我更喜欢李宏毅老师的版本,更加通俗易懂。根据李宏毅老师的课件,机器学习的算法都可以分为三个部分:

Step1:Function Set

机器学习——逻辑斯谛回归(logistic regression)

由于公式不能输入,我只能贴图片了~~~,编辑了好久的公式)

机器学习——逻辑斯谛回归(logistic regression)

(是不是很像神经元。哈哈)

机器学习——逻辑斯谛回归(logistic regression)

具体的公式推导如下:

机器学习——逻辑斯谛回归(logistic regression)

Step 2:判断一个函数的好坏

有了函数集后,我们的下一步目标就是判断一个函数的好坏!这个时候就需要一个训练集(train data)。假想这个训练集是由我们定义的概率生成模型所产生的,每一个X都有一个所属的类别C1或者C2,如下所示。

机器学习——逻辑斯谛回归(logistic regression)

给定一组w,b,其对应的概率生成模型就确定了,产生的训练集也相对应确定了。要产生上述的训练集,它的机率就通过下面这个公式计算:

机器学习——逻辑斯谛回归(logistic regression)

机器学习——逻辑斯谛回归(logistic regression)

下面需要做一个数学的转换推导,详细内容如下:

机器学习——逻辑斯谛回归(logistic regression)

Step 3:找到最好的function

当我们有了优化目标后,最后一步就是去找最好的function,优化方法自然是随机梯度下降。下面给出梯度的推导过程:

机器学习——逻辑斯谛回归(logistic regression)

根据随机梯度下降法,找到最好的参数。在这里,为了方便,将参数向量和输入向量加以扩充,仍然记作w,x,即w=(w(1),w(2),…,w(n),b)T,x=(x(1),x(2),…,x(n),1)T

我在学习的时候是李宏毅老师的课程和《统计学习方法》一起学的,结果发现里面的公式居然不一样,心想:我擦,居然有2个不同的结果,也是难受。后来细想才发现,原来二者是一个东西,只是表达的方式不一样(我在怀疑是不是老师也需要查重,哈哈。所以才学我们论文查重时,一样的结果用不同的方式来表达)。

机器学习——逻辑斯谛回归(logistic regression)

这两个公式,我都跑过程序,结果是一样的。

上面都是二分类的问题,对应到多分类其实也一样,李宏毅老师的课件上的例子非常好理解,这里直接贴出来给大家分享。用的是softmax函数算出的概率作为分类的标准,谁的概率大,就属于哪一类。

机器学习——逻辑斯谛回归(logistic regression)

机器学习——逻辑斯谛回归(logistic regression)

下面是一个小的总结,也是逻辑斯谛回归的本质:逻辑斯谛回归的求解最后就是计算交叉熵,而交叉熵就是最大化极大似然函数,通常采用的优化方法是随机梯度下降

结束,撒花。

机器学习——逻辑斯谛回归(logistic regression)