我的人工智能之旅——逻辑回归

落日映苍穹つ 2022-05-19 13:44 200阅读 0赞

本文，将涉及以下知识点，

（1）决策边界，decision boundary

（2）凸函数，convex function

（3）非凸函数，non convex function

此前所讨论的问题，都为线性回归问题。本文将介绍逻辑回归算法，该算法为分类问题提出解决方案。正文如下

--------------------

# 逻辑回归 #

逻辑回归，logistic regression，由于历史问题，算法名称中包含“回归”字样，但其解决的是分类问题。分类问题可以简单地描述为是非问题（即结论为是否，结论![y\\in \\begin\{Bmatrix\} 0,1 \\end\{Bmatrix\}][y_in _begin_Bmatrix_ 0_1 _end_Bmatrix]），或枚举问题（即结论为已知种类中的某一类型，结论![y\\in \\begin\{Bmatrix\} 0,1,2,3,...,n \\end\{Bmatrix\}][y_in _begin_Bmatrix_ 0_1_2_3_..._n _end_Bmatrix]）。先以简单的是非问题为例进行讲解，之后再引入枚举问题。

解决分类问题，需要引用概率理论。其核心思想是，当达到或高于某一概率p时，认为其为某种类型，否则不是该类型。概率p即为阀值，用于区分类型。通常将阀值定为0.5。

在详细讲述逻辑回归算法前，先来看一个问题。为什么不能用线性回归来解决分类问题？

## 线性回归vs分类问题 ##

线性回归不能解决所有的分类问题。因为分类问题所对应的数学关系是离散的，结论y在一个有限的范围内。例如，是非类问题的结论y仅能为1或0，而线性回归所对应的数学关系是连续的。结论y不限于0到1间，可以小于0，或者大于1。

那么，如果缩小取值范围，仅将样本集合所对应的预估值限制于【0，1】区间呢？

在该前提下，还需要界定一个阀值（介于0与1之间），当假设函数预估值大于等于该阀值时，表示结论y为1。假设函数预估值小于该阀值时，表示结论y为0。而阀值可以看作是概率，概率高时，结论y为1（或0）。概率低时，结论y为0（或1）。

如下例。

![70][]

样本（x,y）集合为\{(0.2，0)，(0.3，0)，(0.4，0)，(0.8，0)，(0.9，0)，(1，0)，(1.25，1)，(1.3，1)，(2.1，1)，(3.4，1)\}。

通过线性回归算法学习，可以划定蓝色的假设函数。当x>=1.25时，预估值大于等于0.5，即结论y为1。所有样本都符合。

但当新增样本点（4.9，1）时，通过线性回归算法学习后，假设函数将变为棕色线条。

当x>=1.75时，预估值大于等于0.5。此时，原有样本(1.25，1)，(1.3，1)不符合条件。

所以，不能将线性回归算法应用于分类问题，至少不能应用于所有分类问题。因此，对于逻辑回归，需要全新的假设函数。

## 假设函数 ##

逻辑回归的假设函数必须满足一个条件，函数预估值必须映射到【0，1】区间内。因此，我们引入sigmoid函数（或logistic函数）

![f(z)=\\frac\{1\}\{1+e^\{-z\}\}][f_z_frac_1_1_e_-z]

相应图像为

![70 1][]

其特点为：

(1)![f(z)][f_z]是连续的

(2)当![z\\rightarrow +\\infty][z_rightarrow _infty]时，![f(z)\\rightarrow 1][f_z_rightarrow 1]；

(3)当![z\\rightarrow -\\infty][z_rightarrow -_infty]时，![f(z)\\rightarrow 0][f_z_rightarrow 0];

![f(z)][f_z]可以看作，（（（样本z）的预估结论y）的值为1）的概率。

令![z=A^TX][z_A_TX]，这样，样本X范围可以扩展至![(-\\infty ,+\\infty )][-_infty _infty]。

同时，我们也得到了逻辑回归算法的假设函数

![f(X)=\\frac\{1\}\{1+e^\{-\{(A^TX)\}\}\}][f_X_frac_1_1_e_-_A_TX]

## 决策边界 ##

判断结论总需要一个临界，此前我们引入的概率p便是决定因素。但除此之外，还需要引入另一概念，决策边界。

当假设函数![f(X)\\geqslant 0.5][f_X_geqslant 0.5]，则认定y=1的概率较高；否则，认定y=0的概率较高。

那么，使得y=1获得高概率的条件即为，![A^TX\\geqslant 0][A_TX_geqslant 0]。

即临界条件为![A^TX= 0][A_TX_ 0]

假设![A^TX= a\_0+a\_1x\_1+a\_2x\_2][A_TX_ a_0_a_1x_1_a_2x_2]

即![a\_0+a\_1x\_1+a\_2x\_2=0][a_0_a_1x_1_a_2x_2_0]

假设最终确认![a\_0=-3][a_0_-3]，![a\_1=1][a_1_1]，![a\_2=2][a_2_2]，那么如图，

![70 2][]

直线及直线斜上方的区域，为y=1的区域。而直线斜下方的区域为y=0的区域。

直线![x\_1+2x\_2=3][x_1_2x_2_3]被称为决策边界。

需要指出的是，决策边界不一定为直线。决策边界的形状取决于![A^TX][A_TX]的定义。

若![A^TX=a\_0+a\_1x\_1^2+a\_2x\_2^2][A_TX_a_0_a_1x_1_2_a_2x_2_2]，对于同样取值的![a\_0][a_0]，![a\_1][a_1]，![a\_2][a_2]，决策边界图形为

![70 3][]

其中，椭圆内部为y=0的区域，椭圆线及椭圆外部为y=1的区域。

可见，特征值的拟合是会对决策边界产生影响的。

## 平方误差vs逻辑回归 ##

有了假设函数后，接下来需要解决代价函数的问题。我们很容易会联想到线性回归到代价函数，毕竟平方误差是最常用的误差量化方法。先说明一下，线性回归为何使用平方误差。这里要引用凸函数(convex function)的知识（可参照[微积分基础][Link 1]）。

需要特别强调一点，国内对于凹凸性定义和国外的定义是相反的。Convex Function在国内的某些数学书中指凹函数。在此，我们统一一下定义。本文中所涉及的凸函数，引用国外定义，即其图像是下凹的

因此，若一个函数为凸函数，那么该函数一定存在最小值。相反，若该函数为非凸函数，则该函数存在多个局部最小值。若局部最小值的数量较多，那么求出全局最小值就更加麻烦了。

如何去定一个函数是否是凸函数呢？若![f(x)连续，][f_x]连续，![\{f(x)\}''][f_x 1]存在且![\{f(x)\}''> 0][f_x_ 0]，那么该函数为凸函数。

依据此判断条件，可以得出线性回归代价函数![J(A^T)=\\frac\{1\}\{2m\}\\sum \_\{j=1\}^\{m\}\{(A^TX\_j-Y\_j)^2\}][J_A_T_frac_1_2m_sum _j_1_m_A_TX_j-Y_j_2]为凸函数的结论。

其中，线性回归假设函数为![f(X)=A^TX][f_X_A_TX]。我们使用逻辑回归的假设函数![f(X)=\\frac\{1\}\{1+e^\{-\{(A^TX)\}\}\}][f_X_frac_1_1_e_-_A_TX]进行替换，可以得到

![J(A^T)=\\frac\{1\}\{2m\}\\sum \_\{j=1\}^\{m\}\{(\\frac\{1\}\{1+e^\{-\{(A^TX\_j)\}\}\}-Y\_j)^2\}][J_A_T_frac_1_2m_sum _j_1_m_frac_1_1_e_-_A_TX_j_-Y_j_2]

我们对该函数进行二次求导，最终结果无法确认是否大于0，因此使用平方误差来作为逻辑回归的代价函数，并非最佳选择。

## 代价函数 ##

代价函数存在的意义在于，它可以使得，当预估值与实际值的偏差较大时，相应假设函数所付出的代价也越大。因此，我们可以通过求取代价函数最小值的方式，确定假设函数的设定参数最佳取值。

常用的代价函数有4类，包括绝对值，平方误差，对数和交叉熵。我们为逻辑回归选择对数代价函数。之所以这样选择，也是为了运算方便，因为代价函数中存在指数。

对数代价函数的公式为，

![J(A^T)=-\\frac\{1\}\{m\}\\sum \_\{j=1\}^\{m\}\{\\left \[ Y\_jlog(f(X\_j))+(1-Y\_j)log(1-f(X\_j)) \\right \]\}][J_A_T_-_frac_1_m_sum _j_1_m_left _ Y_jlog_f_X_j_1-Y_j_log_1-f_X_j_ _right]

由于Y的取值为0或1，那么,

当Y=1时，![J(A^T)=-\\frac\{1\}\{m\}\\sum \_\{j=1\}^\{m\}log(f(X\_j))][J_A_T_-_frac_1_m_sum _j_1_m_log_f_X_j]

当Y=0时，![J(A^T)=-\\frac\{1\}\{m\}\\sum \_\{j=1\}^\{m\}log(1-f(X\_j))][J_A_T_-_frac_1_m_sum _j_1_m_log_1-f_X_j]

我们来看两种情况下，对应的对数图像。

当Y=1时，图像如下，

![70 4][]  
已知逻辑回归假设函数![f(X)=\\frac\{1\}\{1+e^\{-A^TX\}\}][f_X_frac_1_1_e_-A_TX]，使得![0< f(X)< 1][0_ f_X_ 1]，进而使得![\+\\infty> -log(f(X))> 0][infty_ -log_f_X_ 0]。

因此，当![f(X)\\rightarrow 1][f_X_rightarrow 1]，![\-log(f(X))\\rightarrow 0][-log_f_X_rightarrow 0]。而当![f(X)\\rightarrow 0][f_X_rightarrow 0]，![\-log(f(X))\\rightarrow +\\infty][-log_f_X_rightarrow _infty]。

可以理解为，当预估值越接近实际值1时，代价越小，趋近于0。而预估值越接近0时，即越偏离实际值1时，代价越大，趋近于无穷大。

再来看一下Y=0时的情况，对应的对数图像如下，

![70 5][]

同理，![0< f(X)< 1][0_ f_X_ 1]，进而使得![\+\\infty> -log(1-f(X))> 0][infty_ -log_1-f_X_ 0]。

因此，当![f(X)\\rightarrow 0][f_X_rightarrow 0]，![\-log(1-f(X))\\rightarrow 0][-log_1-f_X_rightarrow 0]。而当![f(X)\\rightarrow 1][f_X_rightarrow 1]，![\-log(1-f(X))\\rightarrow +\\infty][-log_1-f_X_rightarrow _infty]。

可以理解为，当预估值越接近实际值0时，代价越小，趋近于0。而预估值越接近1时，即越偏离实际值0时，代价越大，趋近于无穷大。

由此可见，选择对数代价函数，能够很好的量化偏差。

接下来的工作，就是运用梯度下降（或更高级的方法），推算出![A^T][A_T]了。推算步骤与线性回归相同，不再重复描述。

## 枚举问题 ##

此前针对的问题都为是非问题，那么如何解决枚举问题呢。例如Y的取值为0，1，2，3。

那么，针对该例，我们需要提供4个分类器，即4个假设函数![f\_1(X)][f_1_X]，![f\_2(X)][f_2_X]，![f\_3(X)][f_3_X]和![f\_4(X)][f_4_X]。

对于假设函数![f\_1(X)][f_1_X]来说，当预估值接近0，则其偏差最小。即视0为“是”，其它值为“非”。其它假设函数同理。

将预分类的数据X分别带入4个假设函数，则将得到预估值![Y\_1][Y_1]，![Y\_2][Y_2]，![Y\_3][Y_3]和![Y\_4][Y_4]。

由于逻辑回归假设函数的寓意为概率，所以预估值高者所对应的枚举值，即为对应的最终分类。

# 小结 #

通过对比可见，线性回归与逻辑回归的区别，在于假设函数和代价函数的选取。因此，解题的关键在于，如何选择合适的假设函数，且如何使得代价函数为凸函数。

[y_in _begin_Bmatrix_ 0_1 _end_Bmatrix]: https://private.codecogs.com/gif.latex?y%5Cin%20%5Cbegin%7BBmatrix%7D%200%2C1%20%5Cend%7BBmatrix%7D
[y_in _begin_Bmatrix_ 0_1_2_3_..._n _end_Bmatrix]: https://private.codecogs.com/gif.latex?y%5Cin%20%5Cbegin%7BBmatrix%7D%200%2C1%2C2%2C3%2C...%2Cn%20%5Cend%7BBmatrix%7D
[70]: /images/20220519/7fe431586d0e4c0d97b33da7269f309a.png
[f_z_frac_1_1_e_-z]: https://private.codecogs.com/gif.latex?f%28z%29%3D%5Cfrac%7B1%7D%7B1&plus;e%5E%7B-z%7D%7D
[70 1]: /images/20220519/5fd8b3d0ae974f769a8eeea75c592cd1.png
[f_z]: https://private.codecogs.com/gif.latex?f%28z%29
[z_rightarrow _infty]: https://private.codecogs.com/gif.latex?z%5Crightarrow%20&plus;%5Cinfty
[f_z_rightarrow 1]: https://private.codecogs.com/gif.latex?f%28z%29%5Crightarrow%201
[z_rightarrow -_infty]: https://private.codecogs.com/gif.latex?z%5Crightarrow%20-%5Cinfty
[f_z_rightarrow 0]: https://private.codecogs.com/gif.latex?f%28z%29%5Crightarrow%200
[z_A_TX]: https://private.codecogs.com/gif.latex?z%3DA%5ETX
[-_infty _infty]: https://private.codecogs.com/gif.latex?%28-%5Cinfty%20%2C&plus;%5Cinfty%20%29
[f_X_frac_1_1_e_-_A_TX]: https://private.codecogs.com/gif.latex?f%28X%29%3D%5Cfrac%7B1%7D%7B1&plus;e%5E%7B-%7B%28A%5ETX%29%7D%7D%7D
[f_X_geqslant 0.5]: https://private.codecogs.com/gif.latex?f%28X%29%5Cgeqslant%200.5
[A_TX_geqslant 0]: https://private.codecogs.com/gif.latex?A%5ETX%5Cgeqslant%200
[A_TX_ 0]: https://private.codecogs.com/gif.latex?A%5ETX%3D%200
[A_TX_ a_0_a_1x_1_a_2x_2]: https://private.codecogs.com/gif.latex?A%5ETX%3D%20a_0&plus;a_1x_1&plus;a_2x_2
[a_0_a_1x_1_a_2x_2_0]: https://private.codecogs.com/gif.latex?a_0&plus;a_1x_1&plus;a_2x_2%3D0
[a_0_-3]: https://private.codecogs.com/gif.latex?a_0%3D-3
[a_1_1]: https://private.codecogs.com/gif.latex?a_1%3D1
[a_2_2]: https://private.codecogs.com/gif.latex?a_2%3D2
[70 2]: /images/20220519/2e1ba68ffa3e499e8d7b0d0af3f1a569.png
[x_1_2x_2_3]: https://private.codecogs.com/gif.latex?x_1&plus;2x_2%3D3
[A_TX]: https://private.codecogs.com/gif.latex?A%5ETX
[A_TX_a_0_a_1x_1_2_a_2x_2_2]: https://private.codecogs.com/gif.latex?A%5ETX%3Da_0&plus;a_1x_1%5E2&plus;a_2x_2%5E2
[a_0]: https://private.codecogs.com/gif.latex?a_0
[a_1]: https://private.codecogs.com/gif.latex?a_1
[a_2]: https://private.codecogs.com/gif.latex?a_2
[70 3]: /images/20220519/0bc3ec8d9ca349cc99a49b01ea3759bb.png
[Link 1]: https://mp.csdn.net/postedit/81032928
[f_x]: https://private.codecogs.com/gif.latex?f%28x%29%25u8FDE%25u7EED%25uFF0C
[f_x 1]: https://private.codecogs.com/gif.latex?%7Bf%28x%29%7D%27%27
[f_x_ 0]: https://private.codecogs.com/gif.latex?%7Bf%28x%29%7D%27%27%3E%200
[J_A_T_frac_1_2m_sum _j_1_m_A_TX_j-Y_j_2]: https://private.codecogs.com/gif.latex?J%28A%5ET%29%3D%5Cfrac%7B1%7D%7B2m%7D%5Csum%20_%7Bj%3D1%7D%5E%7Bm%7D%7B%28A%5ETX_j-Y_j%29%5E2%7D
[f_X_A_TX]: https://private.codecogs.com/gif.latex?f%28X%29%3DA%5ETX
[J_A_T_frac_1_2m_sum _j_1_m_frac_1_1_e_-_A_TX_j_-Y_j_2]: https://private.codecogs.com/gif.latex?J%28A%5ET%29%3D%5Cfrac%7B1%7D%7B2m%7D%5Csum%20_%7Bj%3D1%7D%5E%7Bm%7D%7B%28%5Cfrac%7B1%7D%7B1&plus;e%5E%7B-%7B%28A%5ETX_j%29%7D%7D%7D-Y_j%29%5E2%7D
[J_A_T_-_frac_1_m_sum _j_1_m_left _ Y_jlog_f_X_j_1-Y_j_log_1-f_X_j_ _right]: https://private.codecogs.com/gif.latex?J%28A%5ET%29%3D-%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bj%3D1%7D%5E%7Bm%7D%7B%5Cleft%20%5B%20Y_jlog%28f%28X_j%29%29&plus;%281-Y_j%29log%281-f%28X_j%29%29%20%5Cright%20%5D%7D
[J_A_T_-_frac_1_m_sum _j_1_m_log_f_X_j]: https://private.codecogs.com/gif.latex?J%28A%5ET%29%3D-%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bj%3D1%7D%5E%7Bm%7Dlog%28f%28X_j%29%29
[J_A_T_-_frac_1_m_sum _j_1_m_log_1-f_X_j]: https://private.codecogs.com/gif.latex?J%28A%5ET%29%3D-%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bj%3D1%7D%5E%7Bm%7Dlog%281-f%28X_j%29%29
[70 4]: /images/20220519/c5537b05db5643a4a05217fbd5319e44.png
[f_X_frac_1_1_e_-A_TX]: https://private.codecogs.com/gif.latex?f%28X%29%3D%5Cfrac%7B1%7D%7B1&plus;e%5E%7B-A%5ETX%7D%7D
[0_ f_X_ 1]: https://private.codecogs.com/gif.latex?0%3C%20f%28X%29%3C%201
[infty_ -log_f_X_ 0]: https://private.codecogs.com/gif.latex?&plus;%5Cinfty%3E%20-log%28f%28X%29%29%3E%200
[f_X_rightarrow 1]: https://private.codecogs.com/gif.latex?f%28X%29%5Crightarrow%201
[-log_f_X_rightarrow 0]: https://private.codecogs.com/gif.latex?-log%28f%28X%29%29%5Crightarrow%200
[f_X_rightarrow 0]: https://private.codecogs.com/gif.latex?f%28X%29%5Crightarrow%200
[-log_f_X_rightarrow _infty]: https://private.codecogs.com/gif.latex?-log%28f%28X%29%29%5Crightarrow%20&plus;%5Cinfty
[70 5]: /images/20220519/7303ab0ba71c4256b6427b4c51b26117.png
[infty_ -log_1-f_X_ 0]: https://private.codecogs.com/gif.latex?&plus;%5Cinfty%3E%20-log%281-f%28X%29%29%3E%200
[-log_1-f_X_rightarrow 0]: https://private.codecogs.com/gif.latex?-log%281-f%28X%29%29%5Crightarrow%200
[-log_1-f_X_rightarrow _infty]: https://private.codecogs.com/gif.latex?-log%281-f%28X%29%29%5Crightarrow%20&plus;%5Cinfty
[A_T]: https://private.codecogs.com/gif.latex?A%5ET
[f_1_X]: https://private.codecogs.com/gif.latex?f_1%28X%29
[f_2_X]: https://private.codecogs.com/gif.latex?f_2%28X%29
[f_3_X]: https://private.codecogs.com/gif.latex?f_3%28X%29
[f_4_X]: https://private.codecogs.com/gif.latex?f_4%28X%29
[Y_1]: https://private.codecogs.com/gif.latex?Y_1
[Y_2]: https://private.codecogs.com/gif.latex?Y_2
[Y_3]: https://private.codecogs.com/gif.latex?Y_3
[Y_4]: https://private.codecogs.com/gif.latex?Y_4