前向分步算法+提升树算法+GBDT算法+AdaBoost算法机器学习公式推导计算+详细过程（入门必备）

川长思鸟来 2023-02-23 07:50 18阅读 0赞

*  boosting：是一种集成学习的方法。通过串行的方式将多个基学习器组合成一个强学习器。
 *  stacking：是一种集成学习的方法。对原始数据使用多种不同算法训练出基学习器，然后将这几个基学习器的预测结果作为新的训练集“喂给”新的学习器去预测。
 *  GDBT算法：梯度提升决策树。每一棵树学习到的是之前所有树的残差。
 *  AdaBoost算法：在模型学习的过程中，每个模型的预测结果存在正确和错误。该学习器更加关注靠前的基学习器预测存在错误的样本。

**加法模型公式**  
 f ( x ) = ∑ i = 1 m β i b ( x ; γ i ) f(x) = \\sum\_\{i=1\} ^ m \\beta\_i b(x;\\gamma\_i) f(x)=i=1∑mβib(x;γi)  
（10.1）式中， b ( x ; γ i ) b(x;\\gamma\_i) b(x;γi)为基学习器，  γ i \\gamma\_i γi为基学习器的参数，  β i \\beta\_i βi为基学习器的系数。

**损失函数**  
 L ( y , f ( x ) ) = m i n ∑ i = 1 m L \[ y i , ∑ i = 1 m β i b ( x ; γ i ) \] L(y, f(x)) = min \\quad \\sum\_\{i=1\} ^ m L \[y\_i, \\sum\_\{i=1\} ^ m \\beta\_i b(x;\\gamma\_i)\] L(y,f(x))=mini=1∑mL\[yi,i=1∑mβib(x;γi)\]

**前向分步算法推导**

1.初始化加法模型

f 0 ( x ) = 0 f\_0(x) = 0 f0(x)=0

2.则第$ i $步的加法模型为

f i ( x ) = f i − 1 ( x ) + β i b ( x ; γ i ) f\_i(x) = f\_\{i-1\}(x) + \\beta\_i b(x;\\gamma\_i) fi(x)=fi−1(x)\+βib(x;γi)

上式中， f i − 1 ( x ) f\_\{i-1\}(x) fi−1(x)为当前加法模型

3.通过风险最小化确定基分类器的参数 γ i \\gamma\_i γi

( β i , γ i ) = a r g m i n ∑ i = 1 m L ( y i , f i − 1 ( x i ) + β b ( i ; γ ) ) (\\beta\_i, \\gamma\_i) = argmin \\sum\_\{i=1\} ^ m L(y\_i, f\_\{i-1\}(x\_i) + \\beta b(i; \\gamma)) (βi,γi)=argmini=1∑mL(yi,fi−1(xi)\+βb(i;γ))

4.经过 i i i次循环得到加法模型

f ( x ) = ∑ i = 1 m β i b ( x ; γ i ) f(x) = \\sum\_\{i=1\} ^ m \\beta\_i b(x;\\gamma\_i) f(x)=i=1∑mβib(x;γi)

**前向分步正则化**

f i ( x ) = f i − 1 ( x ) + α β i b i ( x ) f\_i(x) = f\_\{i -1\}(x) + \\alpha \\beta\_i b\_i(x) fi(x)=fi−1(x)\+αβibi(x)  
上式中， α \\alpha α为学习率

**提升树公式**

可以表示为决策树的加法模型

f ( x ) = ∑ i = 1 m T ( X ; θ i ) f(x) = \\sum\_\{i=1\} ^ m T(X; \\theta\_i) f(x)=i=1∑mT(X;θi)

上式中， T ( X ; θ i ) T(X; \\theta\_i) T(X;θi)为决策树， θ i \\theta\_i θi为决策树参数，m为数的个数

**提升树算法**

*  采用前向分步算法。

1.初始化提升树  
 f 0 ( x ) = 0 f\_0(x) = 0 f0(x)=0

2.则第$ i $步的加法模型为  
 f i ( x ) = f i − 1 ( x ) + T ( x ; θ i ) f\_i(x) = f\_\{i-1\}(x) + T(x;\\theta\_i) fi(x)=fi−1(x)\+T(x;θi)

上式中， f i − 1 ( x ) f\_\{i-1\}(x) fi−1(x)为当前加法模型

3.通过风险最小化确定基分类器的参数 θ i \\theta\_i θi  
 θ i = a r g m i n ∑ i = 1 m L ( y i , f i − 1 ( x i ) + T ( x ; θ i ) ) \\theta\_i = argmin \\sum\_\{i=1\} ^ m L(y\_i, f\_\{i-1\}(x\_i) + T(x; \\theta\_i)) θi=argmini=1∑mL(yi,fi−1(xi)\+T(x;θi))

4.经过 i i i次循环得到加法模型  
 f ( x ) = ∑ i = 1 m T ( x ; θ i ) f(x) = \\sum\_\{i=1\} ^ m T(x;\\theta\_i) f(x)=i=1∑mT(x;θi)

**提升数回归任务**

1.平方损失函数

L ( y , f ( x ) ) = ( y − f ( x ) ) 2 L(y, f(x)) = (y - f(x))^2 L(y,f(x))=(y−f(x))2

2.加法模型损失函数

L ( y , f i − 1 ( x ) + T ( x ; θ i ) ) = ( y − f i − 1 ( x ) − T ( x ; θ i ) ) 2 L(y, f\_\{i - 1\}(x) + T(x;\\theta\_i)) = (y - f\_\{i - 1\}(x) - T(x;\\theta\_i))^2 L(y,fi−1(x)\+T(x;θi))=(y−fi−1(x)−T(x;θi))2

3.令 γ = y − f i − 1 ( x ) \\gamma = y - f\_\{i - 1\}(x) γ=y−fi−1(x)，则 γ \\gamma γ为当前模型拟合的残差。

**提升树正则化**

f i ( x ) = f i − 1 ( x ) + α T ( x ; θ i ) f\_i(x) = f\_\{i -1\}(x) + \\alpha T(x; \\theta\_i) fi(x)=fi−1(x)\+αT(x;θi)  
上式中， α \\alpha α为学习率

**GBDT梯度提升树算法流程**

*  初始化模型
 *  拟合负梯度，得到每一轮的基学习器。
 *  把所有基学习器叠加，最终得到模型。

f ( x ) = f ( x ) = ∑ i = 1 m T ( X ; θ i ) f(x) = f(x) = \\sum\_\{i=1\} ^ m T(X;\\theta\_i) \\quad f(x)=f(x)=i=1∑mT(X;θi)

**GBDT损失函数,拟合负梯度**

##  γ i m = − \[ ∂ L ( y i , f ( x i ) ) ∂ f ( x i ) \] f = f i − 1 \\gamma\_\{im\} = -\[\\frac\{\\partial L(y\_i,f(x\_i))\}\{\\partial f(x\_i)\}\]\_\{f = f\_\{i - 1\}\} \\quad γim=−\[∂f(xi)∂L(yi,f(xi))\]f=fi−1 ##

*  平方损失函数

L ( y i , f ( x i ) ) = 1 2 ( y i − f ( x i ) ) 2 L(y\_i, f(x\_i)) = \\frac\{1\}\{2\}(y\_i - f(x\_i))^2 \\quad L(yi,f(xi))=21(yi−f(xi))2

*  负梯度的值  
     y i − f i − 1 ( x i ) y\_i - f\_\{i - 1\}(x\_i) \\quad yi−fi−1(xi)
 *  初始化损失  
     f 0 ( x i ) = y ‾ f\_0(x\_i) = \\overline\{y\} \\quad f0(xi)=y

**GBDT分类任务**

*  初始化加法模型

f 0 ( x i ) = l o g ( 正 样 本 个 数 负 样 本 个 数 ) f\_0(x\_i) = log(\\frac\{正样本个数\}\{负样本个数\}) \\quad f0(xi)=log(负样本个数正样本个数)

*  log损失函数

L ( y i , f ( x i ) ) = y i l o g ( p i ) + ( 1 − y i ) l o g ( 1 − p i ) L(y\_i, f(x\_i)) = y\_i log(p\_i) + (1 - y\_i) log(1 - p\_i) \\quad L(yi,f(xi))=yilog(pi)\+(1−yi)log(1−pi)

p i = 1 1 + e − f ( x i ) p\_i = \\frac\{1\}\{1 + e^\{-f(x\_i)\}\} \\quad pi=1\+e−f(xi)1

*  负梯度值

y i − 1 1 + e − f i − 1 ( x i ) y\_i - \\frac\{1\}\{1 + e^\{- f\_\{i - 1\} (x\_i)\}\} \\quad yi−1\+e−fi−1(xi)1

\*\* AdaBoost分类 \*\*

*  input：训练集：弱学习器为M个
 *  output：最终的强学习器 G ( x ) G(x) G(x)

T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , … , ( x n , y n ) , y ∈ − 1 , + 1 T = \{(x\_1, y\_1), (x\_2, y\_2), (x\_3, y\_3), …, (x\_n, y\_n)\}, y \\in \{-1, +1\} \\quad T=(x1,y1),(x2,y2),(x3,y3),…,(xn,yn),y∈−1,\+1

1.初始化样本权重

D 1 = ( w 11 , w 12 , w 13 , … , w 1 N ) w 1 i = 1 N , i = 1 , 2 , 3 , … , N D\_1 = (w\_\{11\}, w\_\{12\},w\_\{13\}, …, w\_\{1N\}) w\_\{1i\} = \\frac\{1\}\{N\}, i = 1, 2, 3, …, N \\quad D1=(w11,w12,w13,…,w1N)w1i=N1,i=1,2,3,…,N

2.对于 m = 1 , 2 , 3 , … , M m = 1, 2, 3, …, M m=1,2,3,…,M

(1)使用具有权值分布 D m D\_m Dm的训练数据训练模型，得到弱学习器 G m ( x ) G\_m (x) Gm(x)

(2)计算 G m ( x ) G\_m (x) Gm(x)的分类误差率

e m = ∑ i = 1 N w m i I ( G m ( x i ) ≠ y i ) e\_m = \\sum\_\{i=1\} ^ N w\_\{mi\} I(G\_m (x\_i) \\not= y\_i) \\quad em=i=1∑NwmiI(Gm(xi)=yi)

(3)计算弱学习器的系数

α m = 1 2 l o g 1 − e m e m \\alpha\_m = \\frac\{1\}\{2\} log \\frac\{1 - e\_m\}\{e\_m\} \\quad αm=21logem1−em

(4)更新训练集的权值

D m + 1 = ( w m + 1 , 1 , … , w m + 1 , i , … , w m + 1 , N ) D\_\{m + 1\} = (w\_\{m + 1, 1\}, …, w\_\{m + 1, i\}, …, w\_\{m + 1, N\}) \\quad Dm\+1=(wm\+1,1,…,wm\+1,i,…,wm\+1,N)

w m + 1 , i = w m i Z m e x p ( − α m y i G m ( x i ) ) , i = 1 , 2 , 3 , … , N w\_\{m + 1, i\} = \\frac\{w\_\{mi\}\}\{Z\_m\} exp(-\\alpha\_m y\_i G\_m(x\_i)), i = 1, 2, 3, …,N \\quad wm\+1,i=Zmwmiexp(−αmyiGm(xi)),i=1,2,3,…,N

上式中， Z m Z\_m Zm是规范因子

Z m = ∑ i = 1 N w m i e x p ( − α m y i G m ( x i ) ) Z\_m = \\sum\_\{i=1\} ^ N w\_\{mi\} exp(-\\alpha\_m y\_i G\_m(x\_i)) \\quad Zm=i=1∑Nwmiexp(−αmyiGm(xi))

3.构建线性组合基分类器

f ( x ) = ∑ m = 1 M α m G m ( x ) f(x) = \\sum\_\{m=1\} ^ M \\alpha\_m G\_m (x) \\quad f(x)=m=1∑MαmGm(x)

4.得到强分类器

G ( x ) = s i g n ( f ( x ) ) = s i g n \[ ∑ m = 1 M α m G m ( x ) \] G(x) = sign(f(x)) = sign\[\\sum\_\{m=1\} ^ M \\alpha\_m G\_m (x)\] G(x)=sign(f(x))=sign\[m=1∑MαmGm(x)\]

\*\* AdaBoost回归 \*\*

*  input：训练集：弱学习器为M个
 *  output：最终的强学习器 G ( x ) G(x) G(x)

T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , … , ( x n , y n ) , y ∈ R T = \{(x\_1, y\_1), (x\_2, y\_2), (x\_3, y\_3), …, (x\_n, y\_n)\}, y \\in R \\quad T=(x1,y1),(x2,y2),(x3,y3),…,(xn,yn),y∈R

1.初始化样本权重

2.对于 m = 1 , 2 , 3 , … , M m = 1, 2, 3, …, M m=1,2,3,…,M

(1)使用具有权值分布 D m D\_m Dm的训练数据训练模型，得到弱学习器 G m ( x ) G\_m (x) Gm(x)

(2)计算$ G\_m (x) $的回归误差率

e m = ∑ i = 1 N w m i ( y i − G m ) 2 E 2 m e\_m = \\sum\_\{i=1\} ^ N w\_\{mi\} \\frac\{(y\_i - G\_m)^2\}\{E\{2\}\_m\} \\quad em=i=1∑NwmiE2m(yi−Gm)2

上式中  
 E m = m a x ∣ y i − G m ∣ , i = 1 , 2 , 3 , … , N E\_m = max |y\_i - G\_m|, i = 1, 2, 3, …, N \\quad Em=max∣yi−Gm∣,i=1,2,3,…,N

(3)计算若学习器的系数 α m \\alpha\_m αm

α m = e m 1 − e m \\alpha\_m = \\frac\{e\_m\}\{1 - e\_m\} \\quad αm=1−emem

(4)更新训练集的权值

w m + 1 , i = w m i Z m α m 1 − e m i w\_\{m + 1, i\} = \\frac\{w\_\{mi\}\}\{Z\_m\} \\alpha^\{1 - e\_\{mi\}\}\_m \\quad wm\+1,i=Zmwmiαm1−emi

上式中， Z m Z\_m Zm是规范因子

Z m = ∑ i = 1 N w m i α m 1 − e m i Z\_m = \\sum\_\{i=1\} ^ N w\_\{mi\} \\alpha^\{1 - e\_\{mi\}\}\_m \\quad Zm=i=1∑Nwmiαm1−emi

4.得到强分类器

G ( x ) = ∑ m = 1 M ( l n ( 1 a m ) ) g ( x ) = \[ ∑ m = 1 M ( l n ( 1 a m ) ) \] g ( x ) G(x) = \\sum\_\{m=1\} ^ M (ln(\\frac\{1\}\{a\_m\})) g(x) = \[\\sum\_\{m=1\} ^ M (ln(\\frac\{1\}\{a\_m\}))\] g(x) \\quad G(x)=m=1∑M(ln(am1))g(x)=\[m=1∑M(ln(am1))\]g(x)

上式中 g ( x ) g(x) g(x)是所有 α m G m ( x ) , m = 1 , 2 , 3 , … , M \\alpha\_m G\_m(x), m = 1, 2, 3,…, M αmGm(x),m=1,2,3,…,M 的中位数