python/逻辑回归

男娘i 2022-08-18 14:28 280阅读 0赞

#### 正则化方法，防止过拟合，提高泛化能力 ####

在机器学习算法中，常常将原始数据集分为三部分:training data、validation data 、testing data。  
其中validation data用来避免过拟合， 根据validation data上的效果确定学习速率、迭代停止时机等。testing data则用来判断模型的好坏。

##### L2 regularization权重衰减 #####

L2正则化就是在代价函数后面加上一个正则化项:  
![L2][]  
C0表示原始的代价函数。λ是正则化系数，n为训练集的样本大小，w为模型参数。意义就是所有参数w的平方和除以训练集样本大小，系数1/2为了计算方便。L2正则化项效果是减小w，防止参数w过大导致过拟合，更小的权值w，表示网络的复杂度更低。  
正则化系数λ的值越大，表示对模型的复杂度惩罚越大。

##### L1 regularization #####

![L1][]  
L1正则化是所有的权重w的绝对值的和，除以样本大小n，λ是正则化系数。L1正则化不需要乘以1/2。  
L1的正则化的效果是当w>0时，更新后w变小；w<0，更新后w变大，让w往0靠拢，使网络中的权重尽可能为0，相当于减少模型复杂度，防止过拟合。

过拟合问题往往来源于过多的特征，解决的方法就是减少特征数量，或者正则化。

#### Logistic regression ####

转载:[http://blog.csdn.net/pakko/article/details/37878837][http_blog.csdn.net_pakko_article_details_37878837]  
[http://www.cnblogs.com/guyj/p/3800519.html][http_www.cnblogs.com_guyj_p_3800519.html]  
Logistic回归主要用于二分类问题。  
对于线性的决策边界，边界形式为:  
![线性][20151225124512615]

![决策边界][20151225125738420]，构造的预测函数如下，表示结果取1的概率，  
![逻辑函数][20151225130418791]  
结合0和1两种概率，可以写为:  
![概率][20151225130455910]

通过最大似然估计来求解参数。参数的似然函数为:  
![似然函数][20151225130819591]

转换为:  
![这里写图片描述][20151225130854297]

最终求平均值，得到代价函数为:  
![cost函数][cost]

通常还要使用正则化的方法来约束模型的参数，防止过拟合。

Cost(Θ)=![argmin][]

此外，f(x)需要添加常数b修正为:

f(x)=g(ΘTx)=11\+e−ΘTx−b

对Θ 和b的迭代:  
Θj:=Θj−β∂Cost(Θ,b)∂Θ

b:=b−β∂Cost(Θ,b)∂b

#### scikit-learn中的逻辑回归 ####

> import sklearn import linear\_model  
> clf=linear\_model.LogisticRegression(C=1.0,penalty=’l1’,tol=1e-6)  
> clf.fit(x,y)

penalty指定选择L1或L2正则化，newton-cg、lbfgs只支持L2。  
C 正则化强度，越小正则化强度越强。  
solver 指定算法，可选有newton-cg、lbfgs、liblinear、sag。小的样本选择liblinear，sag适合大的数据集，对于多分类问题，只能选择newton-cg、lbfgs。

[L2]: /images/20220731/1a19dec23082420ca505f9cdcb0062c4.png
[L1]: /images/20220731/10c4c4f10d604643bccf9033af89674f.png
[http_blog.csdn.net_pakko_article_details_37878837]: http://blog.csdn.net/pakko/article/details/37878837
[http_www.cnblogs.com_guyj_p_3800519.html]: http://www.cnblogs.com/guyj/p/3800519.html
[20151225124512615]: /images/20220731/383a095e924140b8ac2b268096469e65.png
[20151225125738420]: /images/20220731/2a66bf8613264b568a025eb07f85d28e.png
[20151225130418791]: /images/20220731/cfd0a93b42e54166a66629b90cd7c682.png
[20151225130455910]: /images/20220731/07bac908810648c196fb9c26f3277d53.png
[20151225130819591]: /images/20220731/1a2e89d495eb4fb88f586e070454078b.png
[20151225130854297]: /images/20220731/cc00249bfaaf4e19a99970eacc30abf0.png
[cost]: /images/20220731/1a4a641d4f964ba1ad8c80cd14dbbdf1.png
[argmin]: /images/20220731/f959da0056674a19b93285a41e87a8e9.png