逻辑回归与梯度下降详解

r囧r小猫 2022-05-30 10:12 243阅读 0赞

逻辑回归

Sigmoid函数：

![452][]

Sigmoid函数

梯度：

![274][]

梯度的表达式

这个梯度是指：沿着x方向移动

![93][]

个单位，沿着y方向移动

![91][]

个单位。函数f(x,y)在这一点上有定义并且可微，每个单位长度自行设定，称为步长，记为

![29][]

梯度上升算法到达每个点后都会重新计算移动的方向，不断迭代移动，直到满足停止条件，停止条件可以是一个确定的迭代次数或是达到较小的误差。在迭代过程中，梯度总是选取最佳的移动方向。

![190][]

权值调整公式

利用该算法（梯度下降）进行求解优化问题：

权值Weights更新：weights=weights+alpha*data.transpose()*error 按误差方向调整权重（回归系数）。即可以写成：

![650][]

权值根据误差分方向进行调整

增量是关于误差的一个函数。

随机梯度上升算法：

梯度上升算法每次更新都需要遍历整个数据集，如果数据量巨大，则耗时很大，复杂度高。改进方法：一次仅用户一个样本点来更新回归系数（随机梯度上升）。由于其在新样本到来时对分类器进行增量式更新，因而这是一个在线学习算法。

用代码来看两者的区别：

梯度上升：

for i in range(max_step):
    
          h = sigmoid(data_mat * weights)
    
          err = (label_mat - h)
    
          weights = weights + alpha * data_mat.transpose() * err
    
    return weights

用全局的误差来更新weights

随机梯度上升：

for i in range(n):
    
            h = sigmoid(numpy.sum(data[i] * weights))
    
            err = label[i] - h
    
            weights = weights + data[i] * alpha * err
    
    return weights

一个点只计算一次，遍历时使用当前点计算出的误差来调整本次的权值。

两者区别在计算误差的方式上。

其实怎么选取不重要，根据实验可以得到：随机选取和遍历每一个求得当前的误差，最后在于循环计算的次数，当次数趋向于一个合适的值时，误差稳定且较小，则此时分类即完成。

[http://blog.csdn.net/qq\_20945297/article/details/78552273][http_blog.csdn.net_qq_20945297_article_details_78552273]

如果这不是一个凸优化问题，梯度下降势必会遇到局部最小（极小值）的情况

如何应对其局部最小的问题：

1、 以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数；这就是从多个不同的初始点开始搜索寻优，这样陷入不同的局部极小值，从而选取更可能接近全局最小的解；

2、 使用模拟退火：以一定的概率接受比当前解更差的结果，每步迭代中，接受次优解的概率要随着时间推移降低，保证算法能够收敛；

3、 使用随机梯度下降，这样计算出的梯度仍可能不为0，这样就可能跳出局部极小值。

[452]: /images/20220530/2ec3bf98edb0422eb8ce4fe904425041.png
[274]: /images/20220530/2c0e6badc0ba4090afd3726e419e9cc9.png
[93]: /images/20220530/177cc119b75740bba03ebc55d0ee3739.png
[91]: /images/20220530/e8eb457b96d34062851f8b8f3d089369.png
[29]: /images/20220530/5f10d3fbd73841b1b47d548807571928.png
[190]: /images/20220530/1a7afe1a9e33404fb9e5e9bec54557fa.png
[650]: /images/20220530/97fb857fee4e429998cadddb67971a7c.png
[http_blog.csdn.net_qq_20945297_article_details_78552273]: https://link.jianshu.com/?t=http%3A%2F%2Fblog.csdn.net%2Fqq_20945297%2Farticle%2Fdetails%2F78552273