逻辑回归 - 理论篇

短命女 2022-01-31 10:04 335阅读 0赞

--------------------

**什么是逻辑回归？**

Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。

这一家族中的模型形式基本上都差不多，不同的就是因变量不同。

*  如果是连续的，就是多重线性回归；
 *  如果是二项分布，就是Logistic回归；
 *  如果是Poisson分布，就是Poisson回归；
 *  如果是负二项分布，就是负二项回归。

Logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最常用的就是二分类的Logistic回归。

Logistic回归的主要用途：

*  寻找危险因素：寻找某一疾病的危险因素等；
 *  预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大；
 *  判别：实际上跟预测有些类似，也是根据模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病。

Logistic回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率，等等。例如，想探讨胃癌发生的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群肯定有不同的体征和生活方式等。这里的因变量就是是否胃癌，即“是”或“否”，自变量就可以包括很多了，例如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。

如果你觉得这篇文章看起来稍微还有些吃力，或者想要系统地学习人工智能，那么推荐你去看床长人工智能教程。非常棒的大神之作，教程不仅通俗易懂，而且很风趣幽默。点击[这里][Link 1]可以查看教程。

**常规步骤**

Regression问题的常规步骤为：

1.  寻找h函数（即hypothesis）；
2.  构造J函数（损失函数）；
3.  想办法使得J函数最小并求得回归参数（θ）

**构造预测函数h**

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为：

![20140716153623240][]

Sigmoid 函数在有个很漂亮的“S”形，如下图所示（引自维基百科）：

![20140716153637888][]

下面左图是一个线性的决策边界，右图是非线性的决策边界。

![20140716153645298][]

对于线性边界的情况，边界形式如下：

![20140716153419984][]

构造预测函数为：

![20140716153431593][]

函数![20140716153711397][]的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

![20140716153719088][]

**构造损失函数J**

Cost函数和J函数如下，它们是基于最大似然估计推导得到的。

![20180728120144363][]

下面详细说明推导的过程：

（1）式综合起来可以写成：

![20140716153740866][]

取似然函数为：

![20180728120228760][]

对数似然函数为：

![20180728120346832][]

最大似然估计就是求使![1405496927_9629.png][]取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。但是，在Andrew Ng的课程中将![1405496928_3363.png][]取为下式，即：

![1405496967_1305.png][]

因为乘了一个负的系数-1/m，所以取![1405496928_3363.png][]最小值时的θ为要求的最佳参数。

**梯度下降法求的最小值**

θ更新过程：

![1405496971_1656.png][]

![20180728120427659][]

θ更新过程可以写成：

![20180728120620133][]

**向量化Vectorization**

Vectorization是使用矩阵计算来代替for循环，以简化计算过程，提高效率。

如上式，Σ(...)是一个求和的过程，显然需要一个for语句循环m次，所以根本没有完全的实现vectorization。

下面介绍向量化的过程：

假设模型：

![20140716153431593][]

公式为：

**![20180728120510621][]**

将上述公式向量化：

![2018072812074693][]

其中![20180728120838131][] ，由于(h-y)维度是m\*1，X也是m\*1，所以需对X转置。

具体推导过程请参考：[Vectorized Logistic Regression][]

**正则化Regularization**

**过拟合问题**

对于线性回归或逻辑回归的损失函数构成的模型，可能会有些权重很大，有些权重很小，导致过拟合（就是过分拟合了训练数据），使得模型的复杂度提高，泛化能力较差（对未知数据的预测能力）。

下面左图即为欠拟合，中图为合适的拟合，右图为过拟合。

![1405590306_6011.png][]

**问题的主因**

过拟合问题往往源自过多的特征。

**解决方法**

1）减少特征数量（减少特征会失去一些信息，即使特征选的很好）

*  可用人工选择要保留的特征；
 *  模型选择算法；

2）正则化（特征较多时比较有效）

*  保留所有特征，但减少θ的大小

**正则化方法**

正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大。

从房价预测问题开始，这次采用的是多项式回归。左图是适当拟合，右图是过拟合。

![1405590306_2443.png][]

直观来看，如果我们想解决这个例子中的过拟合问题，最好能将![1405590307_8774.png][]的影响消除，也就是让![1405590308_6412.png][]。假设我们对![1405590338_4363.png][]进行惩罚，并且令其很小，一个简单的办法就是给原有的Cost函数加上两个略大惩罚项，例如：

![1405590338_9255.png][]

这样在最小化Cost函数的时候，![1405590308_6412.png][]。

正则项可以取不同的形式，在回归问题中取平方损失，就是参数的L2范数，也可以取L1范数。取平方损失时，模型的损失函数变为：

![1405590339_4006.png][]

lambda是正则项系数：

*  如果它的值很大，说明对模型的复杂度惩罚大，对拟合数据的损失惩罚小，这样它就不会过分拟合数据，在训练数据上的偏差较大，在未知数据上的方差较小，但是可能出现欠拟合的现象；
 *  如果它的值很小，说明比较注重对训练数据的拟合，在训练数据上的偏差会小，但是可能会导致过拟合。

正则化后的梯度下降算法θ的更新变为：

![1405590339_8017.png][]

正则化后的线性回归的Normal Equation的公式为：

![1405590340_5897.png][]

**其他优化算法**

*  Conjugate gradient method(共轭梯度法)
 *  Quasi-Newton method(拟牛顿法)
 *  BFGS method
 *  L-BFGS(Limited-memory BFGS)

后二者由拟牛顿法引申出来，与梯度下降算法相比，这些算法的优点是：

*  第一，不需要手动的选择步长；
 *  第二，通常比梯度下降算法快；

但是缺点是更复杂。

**多类分类问题**

对于多类分类问题，可以将其看做成二类分类问题：保留其中的一类，剩下的作为另一类。

对于每一个类 i 训练一个逻辑回归模型的分类器![1405497043_3467.png][]，并且预测y = i时的概率；对于一个新的输入变量x, 分别对每一个类进行预测，取概率最大的那个类作为分类结果：

![1405497044_2854.png][]

![1405497045_4992.png][]

[Link 1]: http://www.captainbed.net/csdn
[20140716153623240]: /images/20220131/603e8294f3d64432a7cb52850009ab6b.png
[20140716153637888]: /images/20220131/b13d401a4f5546e480e2337b40c8f53b.png
[20140716153645298]: /images/20220131/63b7150557f34983b386908678b98406.png
[20140716153419984]: /images/20220131/62775e9a6eea48a1a55098ef38adb35b.png
[20140716153431593]: /images/20220131/731b258f52ff40a88f05a6a0e633b157.png
[20140716153711397]: /images/20220131/75e694018b2b41f9b33232434c575ac1.png
[20140716153719088]: /images/20220131/c57bbb71e0ef4084add064e3aa26c79d.png
[20180728120144363]: /images/20220131/5bcbed9c8cb44a89bfa4f4937e00be12.png
[20140716153740866]: /images/20220131/2fc416b6f61044b3877894d54e0a3b02.png
[20180728120228760]: /images/20220131/bbbb60528ffd4df496849ec7088b4b1e.png
[20180728120346832]: /images/20220131/78ff79e6a20f49278048c2af182a1f74.png
[1405496927_9629.png]: https://img-my.csdn.net/uploads/201407/16/1405496927_9629.png
[1405496928_3363.png]: https://img-my.csdn.net/uploads/201407/16/1405496928_3363.png
[1405496967_1305.png]: https://img-my.csdn.net/uploads/201407/16/1405496967_1305.png
[1405496971_1656.png]: https://img-my.csdn.net/uploads/201407/16/1405496971_1656.png
[20180728120427659]: /images/20220131/db653fc9910d485bbcf7c61ff25eecef.png
[20180728120620133]: /images/20220131/1a89d2cc3b7042639d5cb7788789a370.png
[20180728120510621]: /images/20220131/27057cef3a1e46b4b3ddd6dbeed09502.png
[2018072812074693]: /images/20220131/b28e5722cdd54964b035d89d91888eb6.png
[20180728120838131]: /images/20220131/550e5b22649545feb73516a50ec2a4ec.png
[Vectorized Logistic Regression]: http://ece.eng.umanitoba.ca/undergraduate/ECE4850T02/Lecture%20Slides/Vectorized%20Logistic%20Regression.pdf
[1405590306_6011.png]: https://img-my.csdn.net/uploads/201407/17/1405590306_6011.png
[1405590306_2443.png]: https://img-my.csdn.net/uploads/201407/17/1405590306_2443.png
[1405590307_8774.png]: https://img-my.csdn.net/uploads/201407/17/1405590307_8774.png
[1405590308_6412.png]: https://img-my.csdn.net/uploads/201407/17/1405590308_6412.png
[1405590338_4363.png]: https://img-my.csdn.net/uploads/201407/17/1405590338_4363.png
[1405590338_9255.png]: https://img-my.csdn.net/uploads/201407/17/1405590338_9255.png
[1405590339_4006.png]: https://img-my.csdn.net/uploads/201407/17/1405590339_4006.png
[1405590339_8017.png]: https://img-my.csdn.net/uploads/201407/17/1405590339_8017.png
[1405590340_5897.png]: https://img-my.csdn.net/uploads/201407/17/1405590340_5897.png
[1405497043_3467.png]: https://img-my.csdn.net/uploads/201407/16/1405497043_3467.png
[1405497044_2854.png]: https://img-my.csdn.net/uploads/201407/16/1405497044_2854.png
[1405497045_4992.png]: https://img-my.csdn.net/uploads/201407/16/1405497045_4992.png