softmax回归

快来打我* 2022-07-03 12:54 210阅读 0赞

[原文地址][Link 1]

在上一篇文章中，讲述了广义线性模型。通过详细的讲解，针对某类指数分布族建立对应的广义线性模型。在本篇文章

中，将继续来探讨广义线性模型的一个重要例子，它可以看成是Logistic回归的扩展，即**softmax回归**。

我们知道Logistic回归只能进行二分类，因为它的随机变量的取值只能是**0**或者**1**，那么如果我们面对多分类问题怎么

办？比如要将一封新收到的邮件分为垃圾邮件，个人邮件，还是工作邮件；根据病人的病情预测病人属于哪种病；对于

诸如MNIST手写数字分类（MNIST是一个手写数字识别库，相见：**[http://yann.lecun.com/exdb/mnist/][http_yann.lecun.com_exdb_mnist]**）。诸

如此类问题都涉及到多分类，那么今天要讲的softmax回归能解决这类问题。

在Logistic回归中，样本数据的值![262037441407688.png][]，而在**softmax**回归中![262038344525752.png][]，其中![262039387657703.png][]是类别种数，

比如在手写识别中![262040412332186.png][]，表示要识别的**10**个数字。设

![262047562188061.png][]

那么

![262049323271734.png][]

而且有

![262051011873453.png][]

为了将多项式模型表述成指数分布族，先引入![262059111713859.png][]，它是一个![262059483583433.png][]维的向量，那么

![262106026402254.png][]

应用于一般线性模型，![262108453908732.png][]必然是属于![262109019686634.png][]个类中的一种。用![262115312964859.png][]表示![262117420773306.png][]为真，同样当![262118060309187.png][]为假时，有

![271229272499334.png][]，那么进一步得到联合分布的概率密度函数为

![262148268129961.png][]

对比一下，可以得到

![271237313122517.png][]

由于

![271252067962551.png][]

那么最终得到

![271253061554050.png][]

可以得到期望值为

![271305580304405.png][]

接下来得到对数似然函数函数为

![271344377493752.png][]

其中![271321384219275.png][]是一个![271322106712223.png][]的矩阵，代表这![271322439837213.png][]个类的所有训练参数，每个类的参数是一个![271323452654925.png][]维的向量。所以在

softmax回归中将![271350515934172.png][]分类为类别![271351482653159.png][]的概率为

![271354349523436.png][]

跟Logistic回归一样，softmax也可以用梯度下降法或者牛顿迭代法求解，对对数似然函数求偏导数，得到

![271539522659793.png][]

然后我们可以通过梯度上升法来更新参数

![271533552652259.png][]

注意这里![271535101873604.png][]是第![271534161086158.png][]个类的所有参数，它是一个向量。

在softmax回归中直接用上述对数似然函数是不能更新参数的，因为它存在冗余的参数，通常用牛顿方法中的**Hessian**

矩阵也不可逆，是一个非凸函数，那么可以通过添加一个权重衰减项来修改代价函数，使得代价函数是凸函数，并且

得到的Hessian矩阵可逆。更多详情参考如下链接。

**链接：[http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92][http_deeplearning.stanford.edu_wiki_index.php_Softmax_E5_9B_9E_E5_BD_92]**

这里面也讲述了K个二元分类器与softmax的区别，值得学习。

**参考资料：**

**（1）[http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html][http_www.cnblogs.com_tornadomeet_archive_2013_03_22_2975978.html]**

**（2）[http://www.cnblogs.com/tornadomeet/archive/2013/03/23/2977621.html][http_www.cnblogs.com_tornadomeet_archive_2013_03_23_2977621.html]**

**（3）[http://demo.netfoucs.com/lingerlanlan/article/details/38410123][http_demo.netfoucs.com_lingerlanlan_article_details_38410123]**

**（4）[http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/][http_freemind.pluskid.org_machine-learning_softmax-vs-softmax-loss-numerical-stability]**

**（5）[http://blog.csdn.net/celerychen2009/article/details/9014797][http_blog.csdn.net_celerychen2009_article_details_9014797]**

[Link 1]: http://blog.csdn.net/acdreamers/article/details/44663305
[http_yann.lecun.com_exdb_mnist]: http://yann.lecun.com/exdb/mnist/
[262037441407688.png]: http://images.cnitblog.com/blog/571227/201412/262037441407688.png
[262038344525752.png]: http://images.cnitblog.com/blog/571227/201412/262038344525752.png
[262039387657703.png]: /images/20220618/94ee0344364b4534974a7dc6e2d1e1ca.png
[262040412332186.png]: /images/20220618/f4117fff2502497993e951bfd84c0bda.png
[262047562188061.png]: /images/20220618/943dd125319542f4a09f4587645a9311.png
[262049323271734.png]: /images/20220618/c1f51eac7e084d7fb440352d1277adb4.png
[262051011873453.png]: /images/20220618/04a40ba48da349d2bed4561695773dd5.png
[262059111713859.png]: http://images.cnitblog.com/blog/571227/201412/262059111713859.png
[262059483583433.png]: /images/20220618/811081e64c4646f9b91a87b76e4f556f.png
[262106026402254.png]: /images/20220618/ff840e0203214330b569f11b6f7ffbd2.png
[262108453908732.png]: http://images.cnitblog.com/blog/571227/201412/262108453908732.png
[262109019686634.png]: http://images.cnitblog.com/blog/571227/201412/262109019686634.png
[262115312964859.png]: http://images.cnitblog.com/blog/571227/201412/262115312964859.png
[262117420773306.png]: http://images.cnitblog.com/blog/571227/201412/262117420773306.png
[262118060309187.png]: /images/20220618/6498dcd6d53046658b45c3d9d7fcf6ce.png
[271229272499334.png]: /images/20220618/ccc88116579d420392273c261b48d199.png
[262148268129961.png]: /images/20220618/2be4b597211e43bca16f2b5f53737a26.png
[271237313122517.png]: /images/20220618/e93378f77162431d8035a2b053051700.png
[271252067962551.png]: /images/20220618/3a924f76931245e3964f6f96eb084b78.png
[271253061554050.png]: /images/20220618/c19a2f44c21f4d3aaad3d1a4084a8ab1.png
[271305580304405.png]: /images/20220618/4f82f7c57d2946d68f42a1271af1fe82.png
[271344377493752.png]: /images/20220618/854f4150ad354a6f9ae6e42f5dbc88fe.png
[271321384219275.png]: http://images.cnitblog.com/blog/571227/201412/271321384219275.png
[271322106712223.png]: http://images.cnitblog.com/blog/571227/201412/271322106712223.png
[271322439837213.png]: http://images.cnitblog.com/blog/571227/201412/271322439837213.png
[271323452654925.png]: /images/20220618/87f8d1f4a99d41a49be311c6b42936b5.png
[271350515934172.png]: http://images.cnitblog.com/blog/571227/201412/271350515934172.png
[271351482653159.png]: /images/20220618/735a52303f91485592e1cbc5ed967e6c.png
[271354349523436.png]: /images/20220618/b155d4475a9748ff95d7fca680991669.png
[271539522659793.png]: /images/20220618/282d72dbe3b14224a3eb6b71e6d24d76.png
[271533552652259.png]: /images/20220618/fcf43179b6534d948d7066767a7c020b.png
[271535101873604.png]: http://images.cnitblog.com/blog/571227/201412/271535101873604.png
[271534161086158.png]: /images/20220618/3aa470531fb24372a2681877c8192e95.png
[http_deeplearning.stanford.edu_wiki_index.php_Softmax_E5_9B_9E_E5_BD_92]: http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
[http_www.cnblogs.com_tornadomeet_archive_2013_03_22_2975978.html]: http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html
[http_www.cnblogs.com_tornadomeet_archive_2013_03_23_2977621.html]: http://www.cnblogs.com/tornadomeet/archive/2013/03/23/2977621.html
[http_demo.netfoucs.com_lingerlanlan_article_details_38410123]: http://demo.netfoucs.com/lingerlanlan/article/details/38410123
[http_freemind.pluskid.org_machine-learning_softmax-vs-softmax-loss-numerical-stability]: http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/
[http_blog.csdn.net_celerychen2009_article_details_9014797]: http://blog.csdn.net/celerychen2009/article/details/9014797