机器学习算法之逻辑回归

青旅半醒 2022-09-16 01:20 336阅读 0赞

**目录**

线性回归做分类任务的问题

逻辑回归详解

逻辑回归名称的由来

逻辑回归和线性回归的决策函数

说一下sigmoid

逻辑回归决策函数结果中找分界线实现二分类

损失函数的推导

梯度下降最优化模型

逻辑回归的优化

分界线的截距必要性

通过升维处理线性不可分的情况

固定阈值0.5的调整

L1、L2正则化

处理多分类问题

样本不均衡问题

--------------------

# 线性回归做分类任务的问题 #

我们以二维情况举例，就是根据肿瘤大小预测是否是恶性肿瘤的需求中（高维情况原理一样），我们用线性回归拟合一条线，然后取个肿瘤大小阈值，大于阈值的我们判定是恶行肿瘤。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16][]

但是这种情况是居于数据非常规则，没有什么异常噪声数据。如果有噪声则鲁棒性很差，就成下面的这种情况了

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16 1][]

可以看到无法找到一个合适的阈值来区分是不是恶性肿瘤。

# 逻辑回归详解 #

## 逻辑回归名称的由来 ##

逻辑回归不是一个回归的算法，逻辑回归是一个分类的算法。那为什么逻辑回归不叫逻辑分类？因为逻辑回归算法是基于多元线性回归的算法。而正因为此，逻辑回归这个分类算法是线性的分类器。另外像一些基于决策树的一系列算法，基于神经网络的算法等那些是非线性的算法。SVM支持向量机的本质是线性的，但是也可以通过内部的核函数升维来变成非线性的算法。

## 逻辑回归和线性回归的决策函数 ##

线性回归决策函数：![7883ee1efd944eab89dd2cffce1f5c69.png][]

将其通过sigmoid函数，获得逻辑回归的决策函数：![64b053759ad3478bac409f207320a3f4.png][]

## 说一下sigmoid ##

**sigmoid函数**：

![1b41962be56f469db97fa54ca335a1e7.png][]

Sigmoid 是一个可微的有界函数，在各点均有非负的导数。当 x→∞ 时，S(x)→1；当 x→−∞ 时，S(x)→0。常用于二元分类（Binary Classification）问题，以及神经网络的激活函数（Activation Function）（把线性的输入转换为非线性的输出）。

Logistic回归算法基于Sigmoid函数，或者说Sigmoid就是逻辑回归函数。

在逻辑回归中线性结果![d13d9b57b2ba4cb5abe2be0e8ab04f54.png][]通过sigmoid函数映射后的值被认为是**属于y=1的概率**，函数值域范围(0,1)。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16 2][]

因此逻辑回归表达式，也就是上边说的决策函数：

![c52f5a703573434bb200ec3e32471342.jpg][]

sigmoid的导数形式：

![17e799fc20c84f9d9e27976545148b9a.jpg][]

## 逻辑回归决策函数结果中找分界线实现二分类 ##

逻辑回归、线性回归属于监督学习范畴。

线性表达式![d13d9b57b2ba4cb5abe2be0e8ab04f54.png][]，其值域为实数域，线性回归可以预测连续值，但是不能**直接**解决分类问题，我们需要根据预测的结果判定其属于正类还是负类(像上边例子中一样加一个阈值辅助就可以实现分类功能)

逻辑回归主要用来解决二分类问题（分类的本质是在空间中找到一个决策边界来完成分类的决策）。逻辑回归就是将线性回归的( − ∞ , + ∞ )结果，通过**sigmoid函数**映射到(0,1)之间的实数，这个实数代表概率，逻辑回归其实仅为在线性回归的基础上，套用了一个逻辑函数。**线性函数的值越接近于正无穷大，概率值就越近1；反之，其值越接近于负无穷，概率值就越接近于0，这样的模型就是LR模型**。

我们知道二分类中 **正例的概率+负例的概率 = 1**。一个非常简单的试验是只有两个可能结果的试验，比如正面或反面，成功或失败，有缺陷或没有缺陷，病人康复或未康复。为方便起见，记这两个可能的结果为0和1。

分类器的本质就是要找到分界，目的最终要做二分类，因此逻辑回归的输出值要转换一下，最终输出0或者1。g(z)的值根据中间0.5分为二类，g(z)>0.5时我们看作概率为1，g(z)<0.5时看作概率为0。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16][]

当我们把0.5作为分界时，我们要找的就是 ![f061da3e54d8453b959ee5856c8a39cc.jpg][] 的时候 θ 的解，即![7837694dab694457b9a2f6e9293d36d8.jpg][]时θ的解 ,![7837694dab694457b9a2f6e9293d36d8.jpg][]在二维空间是一条直线，就是这条直线将样本分开达到分类的效果，

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16][]

分界线划分样本类别图

上图中直线左侧的样本 X ,通过计算对应的 g(z)是小于0.5的，反过来右边的是大于0.5的。

## 损失函数的推导 ##

参数 θ 在很多情况下也会写作 w , x是样本，g(z)也可以写作g(w,x),这里我们依然用到最大似然估计思想，根据若干已知的X,y（训练集）**找到一组W使得X作为已知条件下y发生的概率最大**。逻辑回归中既然g(w,x)的输出含义为 P(y=1|w,x)，那么 P(y=0|w,x) = 1-g(w,x)

## ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16][] ##

只要根据训练集数据x和y，找到一组参数w, 让我们的g(w,x)函数在训练集上预测正确的概率最大，g(w,x)就是最好的解

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16][]

对于每一条数据预测正确的概率，也可以把下面公式看成是上面式子的合并形式

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16][]

换符号重写一下

![bf5b2e40aea24b9a8f6e3052aafe1ae4.jpg][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 1][]

我们假设训练样本相互独立，那么**全部预测正确的概率= 每一条数据预测正确的概率相乘，**因此似然函数表达式为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 2][]

转换对数似然

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16][]

这里还是最大化似然，加负号转换为最小似然,这就是我们的损失函数啦：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 1][]

总结，得到了逻辑回归的表达式，下一步跟线性回归类似，构建似然函数，然后最大似然估计，最终推导出θ的迭代更新表达式。另外通常我们一提到损失函数，往往是求最小，这样就可以用的是梯度下降求解，而不是梯度上升，所以最后由最大化似然函数加负号编程最小化似然函数。

## 梯度下降最优化模型 ##

对参数theta θ求偏导，加上学习率的梯度下降

![2c9bee3db03940d591cb0a110d77429c.jpg][]

利用上边sigmoid函数求导时的特性，对逻辑回归损失函数求导：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16][]

毕竟都是从广义线性回归来的，我们发现导函数的形式和多元线性回归一样，对比详见：

[机器学习算法之线性回归\_RayChiu757374816的博客-CSDN博客][RayChiu757374816_-CSDN]

最终梯度下降：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 3][]

**最终问题转化为，在训练集上找到一组W使损失函数最小,这样就可以使得全部正确的概率最  
大**

# 逻辑回归的优化 #

## 分界线的截距必要性 ##

我们回过头来再看一下上边的分界线划分样本类别图，我们可以看到分界线**w1\*x1 + w2\*x2+b=0**的截距是b ,我们可以看作是第一个w参数 w0,有这个截距和没有这个截距的区别如下图：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

可以看到有截距的分界线才有可能将数据做彻底的分类。

## 通过升维处理线性不可分的情况 ##

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

对于线性不可分问题，可以使用升高维度的方式转换成线性可分问题。低维空间的非线性问题在高维空间往往会成为线性问题。

## 固定阈值0.5的调整 ##

很多场景判别分类不是那么理想，比如样本不平衡，容错率的期望设定也不一样，如判断是否是癌症的场景，可以调整阈值牺牲一定错误率去规避一些不可接受的风险。

## L1、L2正则化 ##

正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。最基本的正则化方法是在原目标（代价）函数 中添加惩罚项，对复杂度高的模型进行“惩罚”。其数学表达形式为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16][]

上式中 X 、 y为训练样本和相应标签， W 为权重系数向量； ![\[公式\]][equation_tex_J_5Cleft_28_5Cright_29] 为目标函数， ![\[公式\]][equation_tex_5COmega_5Cleft_28_w_5Cright_29] 即为惩罚项，可理解为模型“规模”的某种度量；参数![\[公式\]][equation_tex_5Calpha] 控制控制正则化强弱。不同的 ![\[公式\]][equation_tex_5COmega] 函数对权重 ![\[公式\]][equation_tex_w] 的最优解有不同的偏好，因而会产生不同的正则化效果。最常用的 ![\[公式\]][equation_tex_5COmega] 函数有两种，即 ![\[公式\]][equation_tex_l_7B1_7D] 范数和 ![\[公式\]][equation_tex_l_7B2_7D] 范数，相应称之为 ![\[公式\]][equation_tex_l_7B1_7D] 正则化和 ![\[公式\]][equation_tex_l_7B2_7D] 正则化。此时有：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 2][]

**目的是控制模型复杂度，减小过拟合**

## 处理多分类问题 ##

这个不用过多解释，多分类可以转化成多个二分类。

## 样本不均衡问题 ##

处理方式有：前边说过的阈值调整、上采样 (upsampling) 或下采样 (downsampling)（又称过采样和欠采样）、人工创造新样本( 属性随机采样组成新的数据)、或者直接换决策树算法

参考：[一、线性回归和逻辑回归\_呆呆的猫的博客-CSDN博客\_线性回归和逻辑回归][-CSDN]

[【机器学习算法】逻辑回归调优 - cac2020 - 博客园][- cac2020 -]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/0da420ec7385417bb7e9941827674e4d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/0dbe1c23767547ebb30f10969a4cfa27.png
[7883ee1efd944eab89dd2cffce1f5c69.png]: /images/20220828/58eb8035677f4454af436581762af5c7.png
[64b053759ad3478bac409f207320a3f4.png]: /images/20220828/ddf1bcd5912d41328880118442bebab3.png
[1b41962be56f469db97fa54ca335a1e7.png]: /images/20220828/e892239f745e426191274abe8f506733.png
[d13d9b57b2ba4cb5abe2be0e8ab04f54.png]: /images/20220828/f2dca5fa015b4de7b2fa3a5675626762.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/286296a1e39546969aa5686ee061ae31.png
[c52f5a703573434bb200ec3e32471342.jpg]: /images/20220828/819942ed495b4410b3028ccdebbb80ba.png
[17e799fc20c84f9d9e27976545148b9a.jpg]: /images/20220828/fdfff78c70ab45e2bf77051cfc548562.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/10f149188a23487ab2ab6ef973df4195.png
[f061da3e54d8453b959ee5856c8a39cc.jpg]: https://img-blog.csdnimg.cn/f061da3e54d8453b959ee5856c8a39cc.jpg
[7837694dab694457b9a2f6e9293d36d8.jpg]: /images/20220828/f5c4ea1d8c484cce93111595f500a8d4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/f4bac26b0aea4463b9d248bcda514bbf.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/efce6213c6754f2e8fd1eb8209a22566.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/a005fc9f7b0346e59fdd171af39a7406.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/2cacbf887ff1459486e0f2fa2c5cbdac.png
[bf5b2e40aea24b9a8f6e3052aafe1ae4.jpg]: /images/20220828/819112002d064ee3821e2884ccef1378.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/635668b5267e4dba9a2f11a21aaaced8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/c614e2bc870b4b14ab0945872a65e25a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/b263a06dc9aa4b59824a0aa17acf4ee3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/9365c509233b4bdb9c3272f6e168ac8b.png
[2c9bee3db03940d591cb0a110d77429c.jpg]: /images/20220828/16ed4e81fd354fa2842c525b73bf7820.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/6333ee28fa974859a8cad3c08f4d3077.png
[RayChiu757374816_-CSDN]: https://blog.csdn.net/RayChiu757374816/article/details/120530288
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/26d3bc228bfe49b79db63bebab944437.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/4fff4a8b5f8e48a497948d77a679e92e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/5d309fc745c847038572aea7b62a8f91.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d13dd4f2ff7d45f68d6290002032c0f7.png
[equation_tex_J_5Cleft_28_5Cright_29]: https://www.zhihu.com/equation?tex=J%5Cleft%28+%5Cright%29
[equation_tex_5COmega_5Cleft_28_w_5Cright_29]: https://www.zhihu.com/equation?tex=%5COmega%5Cleft%28+w+%5Cright%29
[equation_tex_5Calpha]: https://www.zhihu.com/equation?tex=%5Calpha
[equation_tex_5COmega]: https://www.zhihu.com/equation?tex=%5COmega
[equation_tex_w]: https://www.zhihu.com/equation?tex=w
[equation_tex_l_7B1_7D]: https://www.zhihu.com/equation?tex=l_%7B1%7D
[equation_tex_l_7B2_7D]: /images/20220828/5cefe3783cfe4859833609ba1aad517b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/3d1b69c1197748e19fb4f5378052042d.png
[-CSDN]: https://blog.csdn.net/jiaoyangwm/article/details/81139362
[- cac2020 -]: https://www.cnblogs.com/cac2020/p/10910430.html