Adaboost（监督学习）

冷不防 2022-05-30 08:43 136阅读 0赞

集成方法在函数模型上等价于一个多层神经网络，两种常见的集成方法为Adaboost模型和RandomTrees模型。其中随机森林可被视为前馈神经网络，而Adaboost模型则等价于一个反馈型多层神经网络。

# 一.引入 #

对于Adaboost，可以说是久闻大名，据说在Deep Learning出来之前，SVM和Adaboost是效果最好的 两个算法，而Adaboost是提升树(boosting tree)，所谓“ 提升树 ” 就是把“弱学习算法”提升(boost)为“强学习算法”(语自《统计学习方法》)，而其中最具代表性的也就是Adaboost了，貌似Adaboost的结构还和Neural Network有几分神似，我倒没有深究过，不知道是不是有什么干货。

# 二.过程 #

![SouthEast][]（from PRML）

这就是Adaboost的结构，最后的分类器YM是由数个弱分类器（weak classifier）组合而成的,相当于最后m个弱分类器来投票决定分类，而且每个弱分类器的“话语权”α不一样。

这里阐述下算法的具体过程：

###         1.初始化所有训练样例的权重为1 / N,其中N是样例数 ###

###         2.for m=1,……M: ###

a).训练弱分类器ym()，使其最小化权重误差函数（weighted error function）：

![20131103132122015][]

b)接下来计算该弱分类器的话语权α：

![20131103132256468][]

c)更新权重：

![20131103133549750][]

其中Zm：

![20131103133745953][]

是规范化因子，使所有w的和为1。(这里公式稍微有点乱)

###            3.得到最后的分类器： ###

![20131103134019281][]

# 三.原理 #

可以看到整个过程就是和最上面那张图一样， 前一个分类器改变权重w，同时组成最后的分类器

如果一个训练样例 在前一个分类其中被误分，那么它的权重会被加重，相应地，被正确分类的样例的权重会降低

使得下一个分类器 会更在意被误分的样例，那么其中那些α和w的更新是怎么来的呢？

下面我们从前项分步算法模型的角度来看看Adaboost：

直接将前项分步加法模型具体到adaboost上：

![20131103135400171][]

其中 fm是前m个分类器的结合

![20131103135427546][]

此时我们要最小化E，同时要考虑α和yl，

但现在我们假设前m-1个α和y都已经fixed了：那么

![20131103135728953][]

其中 ![20131103135818828][]，可以被看做一个常量，因为它里面没有αm和ym：

接下来：

![20131103140049359][]

其中Tm表示正分类的集合，Mm表示误分类的集合，这一步其实就是把上面那个式子拆开，没什么复杂的东西

然后就是找ym了，就是最小化下式的过程，其实就是我们训练弱分类器

![20131103140545437][]

有了ym，α也就可以找了，然后继续就可以找到更新w的公式了(注意这里得到的w公式是没有加规范化因子Z的公式，为了计算方便我们加了个Z进去)

# 四.实现 #

**C++:http://blog.csdn.net/u012319493/article/details/53103192**

**python:**

# 集成算法 实例: #

# http://blog.csdn.net/mlljava1111/article/details/50765517 #

# adaboost python 实例: #

# http://blog.csdn.net/u014114990/article/details/51178899 #

**https://github.com/justdark/dml/tree/master/dml**

[SouthEast]: /images/20220530/792d149aeb824dadacd8c81d2a466b4a.png
[20131103132122015]: /images/20220530/379b85b960cf4f28a3348f25ff18c353.png
[20131103132256468]: /images/20220530/a71894d2b7d24fa1836c705db2670953.png
[20131103133549750]: /images/20220530/7cb69cb1df01401f97857b97e7cf107f.png
[20131103133745953]: /images/20220530/806de88015f94ccdb5bea866e6dad522.png
[20131103134019281]: /images/20220530/7d2bdb15af3a4da384ec3dcbca6645e6.png
[20131103135400171]: /images/20220530/2dc4aabd80d14ce1a4794f09d29e2592.png
[20131103135427546]: /images/20220530/1435abb0c0bd49c983a1be1ca656e404.png
[20131103135728953]: /images/20220530/3483db46886443b4839f5192e38ef113.png
[20131103135818828]: /images/20220530/d29ada54e227494f9a559710b41fd2fa.png
[20131103140049359]: /images/20220530/61cbbc6eb0404d04aeb0b46c599f547e.png
[20131103140545437]: /images/20220530/52abcafe4d874a669f830aad3fecec55.png