集成算法原理概述, 算法实现

小咪咪 2023-08-17 16:36 82阅读 0赞

**▨**

# Ensemble learning - 集成算法 #

## 原理概论 ##

### ▒ 目的 ###

让机器学习的效果更好, 量变引起质变

### ▒ 分类 ###

**▨ Bagging - bootstrap aggregation**

**◈ 公式**

![1450319-20190923190232564-503822814.png][]

**◈ 原理**

训练多个分类器取平均, **并行** 的训练一堆的分类器

**◈ 典例**

随机森林

**![1450319-20190923192501658-651939373.png][]**

**◈ 随机**

输入　 -　　数据源采样随机 　　- 　　在原有数据上的进行 60% - 80% 比例的有放回的数据取样

特征　 -　　特征选择随机

**◈ 森林**

![1450319-20190923193754432-1970493219.png][]

多个决策树并行放在一起

每个树的特征数一样, 数据量一样

由于二重的随机性, 每个树基本上都不会一样, 最终的结果也不一样

随机保证了泛化能力, 如果每个树都是一样, 那就无意义了

**◈ 优势**

能够处理 **高纬度**  ( feature 很多 ) 的数据, 而且不用做特征选择

在训练后, 可以对 **feature 重要程度** 进行比对

![1450319-20190923194415776-352661592.png][]

容易做成 **并行化** 方法, 速度较快

可进行 **可视化展示** , 便于分析

**◈ 注意点**

随机森林中的树模型理论上是越多越好, 但是其实也会达到临界值

达到一定数量后就会在临界点附近上下浮动

![1450319-20190923195256592-616040734.png][]

**▨ Boosting**

**◈ 公式**

![1450319-20190923190327068-647438073.png][]

**◈ 原理**

串行算法, 后面的树基于前面树的残差计算

从弱学习器开始加强, 通过加权来进行训练 ( 加入一颗比原来强的树 )

**◈ 典例**

AdaBoost

Xgboost - 后续会专门写博客， 这里先留个跳转 - 点击这里

**◈ AdaBoost 原理**

根据前一次的分类效果调整数据权重

如果某一个数据分错了, 那么在下一次的分配中会给与更高的权重使其更加精准

最终的结果根据每个分类器自身的准确性确定各自的权重再合并

**▨ Stacking**

聚合多个分类或者回归模型. ( 可以分阶段来做 )

转载于:https://www.cnblogs.com/shijieli/p/11574575.html

[1450319-20190923190232564-503822814.png]: /images/20230810/1ef6c1e70c124a57ba9d2c5f150bc259.png
[1450319-20190923192501658-651939373.png]: /images/20230810/2ee729fe6e7e4eb3b0b23d2f60f01218.png
[1450319-20190923193754432-1970493219.png]: /images/20230810/6f97eba685a5444aaa20a440c0f37270.png
[1450319-20190923194415776-352661592.png]: /images/20230810/aeef1e3f74b8454bab1cd701dc263d0c.png
[1450319-20190923195256592-616040734.png]: /images/20230810/e6ceb68651ec4793a36f709c4f808ba8.png
[1450319-20190923190327068-647438073.png]: /images/20230810/3e7c01bc7bf0454c9b612a1717b33eed.png

发表评论取消回复

表情：

评论列表（有 0 条评论，82人围观）

还没有评论，来说两句吧...

相关阅读

相关算法概述（一）

算法概述

偏执的太偏执、/ 2024年04月20日 12:26/ 0 赞/ 44 阅读

相关集成算法原理概述, 算法实现

▨ Ensemble learning - 集成算法原理概论 ▒ 目的让机器学习的效果更好, 量变引起质变 ▒ 分类 ▨ Bagging -

小咪咪/ 2023年08月17日 16:36/ 0 赞/ 83 阅读

相关集成学习之Adaboost算法原理

在boosting系列算法中，Adaboost是最著名的算法之一。Adaboost既可以用作分类，也可以用作回归。 1. boosting算法基本原理 [集成学习原理]

「爱情、让人受尽委屈。」/ 2023年06月02日 08:30/ 0 赞/ 21 阅读

相关 knn算法概述

数据挖掘算法原理与实践：k-近邻 knn算法概述 201228 > educoder 答案任务描述本关任务：使用python实现方法，找出目标样本最近的k个样

Dear 丶/ 2022年12月31日 02:27/ 0 赞/ 143 阅读

相关密码算法原理与实现：DES加密算法

> 本文转自网络文章，内容均为非盈利，版权归原作者所有。 > 转载此文章仅为个人收藏，分享知识，如有侵权，马上删除。 > > 原文作者：QiuJYu > 原文地址：[

亦凉/ 2022年12月02日 13:59/ 0 赞/ 546 阅读

相关密码算法原理与实现：AES加密算法

> 本文转自网络文章，内容均为非盈利，版权归原作者所有。 > 转载此文章仅为个人收藏，分享知识，如有侵权，马上删除。 > > 原文作者：QiuJYu > 原文地址：[

ゝ一世哀愁。/ 2022年12月02日 13:57/ 0 赞/ 219 阅读

相关排序算法原理及实现

排序算法原理及实现插入排序原理：实现：希尔排序原理：实现：选择排序原理：

ゞ浴缸里的玫瑰/ 2022年11月16日 08:21/ 0 赞/ 201 阅读

相关加密算法概述

密码算法是用于加密和解密的数学函数，密码算法是密码协议的基础。现行的密码算法主要包括序列密码、分组密码、公钥密码、散列函数等，用于保证信息的安全，提供鉴别、完整性、抗抵赖等服务

雨点打透心脏的1/2处/ 2022年06月04日 09:48/ 0 赞/ 121 阅读

相关数据结构Java实现----算法概述

一、数据结构涵盖的内容： [![1b51b02a-9151-485c-8bf5-74868f49bf06][]][1b51b02a-9151-485c-8bf5-74868f

灰太狼/ 2021年11月08日 18:50/ 0 赞/ 434 阅读

相关银行家算法概述及Java实现

一、银行家算法 1. 银行家算法是一种最有代表性的避免死锁的算法。又被称为“资源分配拒绝”法。在避免死锁方法中允许进程动态地申请资源，但系统在进行资源分配

ゝ一纸荒年。/ 2021年09月28日 14:08/ 0 赞/ 343 阅读