推荐系统遇上深度学习(十)--GBDT+LR融合方案实战

短命女 2022-03-08 10:42 243阅读 0赞

预计阅读时间15分钟。

#     #

# 写在前面的话 #

GBDT和LR的融合在广告点击率预估中算是发展比较早的算法，为什么会在这里写这么一篇呢？本来想尝试写一下阿里的深度兴趣网络(Deep Interest Network)，发现阿里之前还有一个算法MLR，然后去查找相关的资料，里面提及了树模型也就是GBDT+LR方案的缺点，恰好之前也不太清楚GBDT+LR到底是怎么做的，所以今天我们先来了解一下GBDT和LR的融合方案。

#  #

![640?wx\_fmt=png][640_wx_fmt_png]背景 ![640?wx\_fmt=gif][640_wx_fmt_gif]

#  #

在CTR预估问题的发展初期，使用最多的方法就是逻辑回归(LR)，LR使用了Sigmoid变换将函数值映射到0~1区间，映射后的函数值就是CTR的预估值。

LR属于线性模型，容易并行化，可以轻松处理上亿条数据，但是学习能力十分有限，需要大量的特征工程来增加模型的学习能力。但大量的特征工程耗时耗力同时并不一定会带来效果提升。因此，如何自动发现有效的特征、特征组合，弥补人工经验不足，缩短LR特征实验周期，是亟需解决的问题。

FM模型通过隐变量的方式，发现两两特征之间的组合关系，但这种特征组合仅限于两两特征之间，后来发展出来了使用深度神经网络去挖掘更高层次的特征组合关系。但其实在使用神经网络之前，GBDT也是一种经常用来发现特征组合的有效思路。

Facebook 2014年的文章介绍了通过GBDT解决LR的特征组合问题，随后Kaggle竞赛也有实践此思路，GBDT与LR融合开始引起了业界关注。

在介绍这个模型之前，我们先来介绍两个问题：

1）为什么要使用集成的决策树模型，而不是单棵的决策树模型：一棵树的表达能力很弱，不足以表达多个有区分性的特征组合，多棵树的表达能力更强一些。可以更好的发现有效的特征和特征组合

2）为什么建树采用GBDT而非RF：RF也是多棵树，但从效果上有实践证明不如GBDT。且GBDT前面的树，特征分裂主要体现对多数样本有区分度的特征；后面的树，主要体现的是经过前N颗树，残差仍然较大的少数样本。优先选用在整体上有区分度的特征，再选用针对少数样本有区分度的特征，思路更加合理，这应该也是用GBDT的原因。

了解了为什么要用GBDT，我们就来看看到底二者是怎么融合的吧！

#  #

![640?wx\_fmt=png][640_wx_fmt_png]GBDT和LR的融合方案 ![640?wx\_fmt=gif][640_wx_fmt_gif]

#  #

GBDT和LR的融合方案，FaceBook的paper中有个例子：

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

图中共有两棵树，x为一条输入样本，遍历两棵树后，x样本分别落到两颗树的叶子节点上，每个叶子节点对应LR一维特征，那么通过遍历树，就得到了该样本对应的所有LR特征。构造的新特征向量是取值0/1的。举例来说：上图有两棵树，左树有三个叶子节点，右树有两个叶子节点，最终的特征即为五维的向量。对于输入x，假设他落在左树第一个节点，编码\[1,0,0\]，落在右树第二个节点则编码\[0,1\]，所以整体的编码为\[1,0,0,0,1\]，这类编码作为特征，输入到LR中进行分类。

这个方案还是很简单的吧，在继续介绍下去之前，我们先介绍一下代码实践部分。

#  #

![640?wx\_fmt=png][640_wx_fmt_png]GBDT+LR代码实践 ![640?wx\_fmt=gif][640_wx_fmt_gif]

#  #

本文介绍的代码只是一个简单的Demo，实际中大家需要根据自己的需要进行参照或者修改。

github地址：https://github.com/princewen/tensorflow\_practice/tree/master/recommendation/GBDT%2BLR-Demo

训练GBDT模型  
本文使用lightgbm包来训练我们的GBDT模型，训练共100棵树，每棵树有64个叶子结点。

df_train = pd.read_csv('data/train.csv')
    df_test = pd.read_csv('data/test.csv')
    
    NUMERIC_COLS = [
    "ps_reg_01", "ps_reg_02", "ps_reg_03",
    "ps_car_12", "ps_car_13", "ps_car_14", "ps_car_15",
    ]
    
    print(df_test.head(10))
    
    y_train = df_train['target']  # training label
    y_test = df_test['target']  # testing label
    X_train = df_train[NUMERIC_COLS]  # training dataset
    X_test = df_test[NUMERIC_COLS]  # testing dataset
    
    # create dataset for lightgbm
    lgb_train = lgb.Dataset(X_train, y_train)
    lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)
    
    params = {
        
    'task': 'train',
    'boosting_type': 'gbdt',
    'objective': 'binary',
    'metric': {'binary_logloss'},
    'num_leaves': 64,
    'num_trees': 100,
    'learning_rate': 0.01,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0
    }
    
    # number of leaves,will be used in feature transformation
    num_leaf = 64
    
    print('Start training...')
    # train
    gbm = lgb.train(params,
            lgb_train,
            num_boost_round=100,
            valid_sets=lgb_train)
    
    print('Save model...')
    # save model to file
    gbm.save_model('model.txt')
    
    print('Start predicting...')
    # predict and get data on leaves, training data

特征转换

在训练得到100棵树之后，我们需要得到的不是GBDT的预测结果，而是每一条训练数据落在了每棵树的哪个叶子结点上，因此需要使用下面的语句：

y_pred = gbm.predict(X_train, pred_leaf=True)

打印上面结果的输出，可以看到shape是(8001,100)，即训练数据量\*树的棵树

结果为：

print(np.array(y_pred).shape)
    print(y_pred[0])

然后我们需要将每棵树的特征进行one-hot处理，如前面所说，假设第一棵树落在43号叶子结点上，那我们需要建立一个64维的向量，除43维之外全部都是0。因此用于LR训练的特征维数共num\_trees \* num\_leaves。

print('Writing transformed training data')
    transformed_training_matrix = np.zeros([len(y_pred), len(y_pred[0]) * num_leaf],
                                   dtype=np.int64)  # N * num_tress * num_leafs
    for i in range(0, len(y_pred)):
    temp = np.arange(len(y_pred[0])) * num_leaf + np.array(y_pred[I])
    transformed_training_matrix[i][temp] += 1

当然，对于测试集也要进行同样的处理:

y_pred = gbm.predict(X_test, pred_leaf=True)
    print('Writing transformed testing data')
    transformed_testing_matrix = np.zeros([len(y_pred), len(y_pred[0]) * num_leaf], dtype=np.int64)
    for i in range(0, len(y_pred)):
    temp = np.arange(len(y_pred[0])) * num_leaf + np.array(y_pred[I])
    transformed_testing_matrix[i][temp] += 1

LR训练  
然后我们可以用转换后的训练集特征和label训练我们的LR模型，并对测试集进行测试：

lm = LogisticRegression(penalty='l2',C=0.05) # logestic model construction
    lm.fit(transformed_training_matrix,y_train)  # fitting the data
    y_pred_test = lm.predict_proba(transformed_testing_matrix)   # Give the probabilty on each label

我们这里得到的不是简单的类别，而是每个类别的概率。

效果评价  
在Facebook的paper中，模型使用NE(Normalized Cross-Entropy)，进行评价，计算公式如下:

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

代码如下：

NE = (-1) / len(y_pred_test) * sum(((1+y_test)/2 * np.log(y_pred_test[:,1]) +  (1-y_test)/2 * np.log(1 - y_pred_test[:,1])))
    print("Normalized Cross Entropy " + str(NE))

#  #

![640?wx\_fmt=png][640_wx_fmt_png]反思 ![640?wx\_fmt=gif][640_wx_fmt_gif]

现在的GBDT和LR的融合方案真的适合现在的大多数业务数据么？现在的业务数据是什么？是大量离散特征导致的高维度离散数据。而树模型对这样的离散特征，是不能很好处理的，要说为什么，因为这容易导致过拟合。下面的一段话来自知乎：

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

用盖坤的话说，GBDT只是对历史的一个记忆罢了，没有推广性，或者说泛化能力。

但这并不是说对于大规模的离散特征，GBDT和LR的方案不再适用，感兴趣的话大家可以看一下参考文献2和3，这里就不再介绍了。

刚才提到了阿里的盖坤大神，他的团队在2017年提出了两个重要的用于CTR预估的模型，MLR和DIN，之后的系列中，我们会讲解这两种模型的理论和实战！欢迎大家继续关注！

#  #

![640?wx\_fmt=png][640_wx_fmt_png]参考文献 ![640?wx\_fmt=gif][640_wx_fmt_gif]

#  #

1、Facebook的paper：http://quinonero.net/Publications/predicting-clicks-facebook.pdf  
2、http://www.cbdio.com/BigData/2015-08/27/content\_3750170.htm  
3、https://blog.csdn.net/shine19930820/article/details/71713680  
4、https://www.zhihu.com/question/35821566  
5、https://github.com/neal668/LightGBM-GBDT-LR/blob/master/GBFT%2BLR\_simple.py

原文链接：https://mp.weixin.qq.com/s/jafC8JXHVOObMOVobu0ehw

> 查阅更为简洁方便的分类文章以及最新的课程、产品信息，请移步至全新呈现的“LeadAI学院官网”：
> 
> www.leadai.org

请关注人工智能LeadAI公众号，查看更多专业文章

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 3]

大家都在看

![640.png?][640.png]

[LSTM模型在问答系统中的应用][LSTM]

[基于TensorFlow的神经网络解决用户流失概览问题][TensorFlow]

[最全常见算法工程师面试题目整理（一）][Link 1]

[最全常见算法工程师面试题目整理（二）][Link 2]

[TensorFlow从1到2 | 第三章 深度学习革命的开端：卷积神经网络][TensorFlow_1_2 _ _]

[装饰器 | Python高级编程][_ Python]

[今天不如来复习下Python基础][Python]

[640_wx_fmt_png]: https://img-blog.csdnimg.cn/img_convert/cb2b54883d17fafff602410446ddf894.png
[640_wx_fmt_gif]: /images/20220308/3335cb09bc3842eb9d8862fa38fc40ab.png
[640_wx_fmt_jpeg]: /images/20220308/c94d49d136064c418e319fda0bebd884.png
[640_wx_fmt_jpeg 1]: /images/20220308/01c5d4918266439a9eaae326fc9323ec.png
[640_wx_fmt_jpeg 2]: /images/20220308/d880ec932c4848f4888ec83342f82331.png
[640_wx_fmt_jpeg 3]: /images/20220308/d26a093782014f56b2977d96c3c5458f.png
[640.png]: /images/20220308/d38c2f2ffa444bb786e85854719679d4.png
[LSTM]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg==&mid=2247484578&idx=3&sn=38654576f40c7c086fbe32d2b12c9862&chksm=eadbad7fddac246979cf49802a01c3136b1b0f79e6bfb3e9ace2172cfff4ed63be89f23b0f64&scene=21#wechat_redirect
[TensorFlow]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg==&mid=2247484570&idx=4&sn=d22e41ff43460c040aae136b78f5c807&chksm=eadbad47ddac2451057b1c6975191f1044988fe9612e1fc248852fe2490052dd791c42770d96&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg==&mid=2247484530&idx=1&sn=462931eb9fd0dd1ac41f2e3f987fa51c&chksm=eadbadafddac24b91389d1bcea23be2668a0efbd425150e836d1ee5ba6d182b0a2f3cf6000dc&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg==&mid=2247484551&idx=3&sn=a481218ee3f5f4d766a48dca5f8c4c61&chksm=eadbad5addac244c9a9516376add6168ff1a415ba26994ede28c1613dfcc54222959c56a365f&scene=21#wechat_redirect
[TensorFlow_1_2 _ _]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg==&mid=2247484516&idx=1&sn=40e8928353dbc29f17c8e22cd27944f4&chksm=eadbadb9ddac24af5943085537922db2f982f088f34ce20262eea314dbf5741dcefbc4a74404&scene=21#wechat_redirect
[_ Python]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg==&mid=2247484476&idx=1&sn=503166979eeff5c974de3e3ce0d4b12e&chksm=eadbade1ddac24f70b22b22cb81a070fdab2e4dafc02c596eb3aa5acba83a9d1051e122258e2&scene=21#wechat_redirect
[Python]: http://mp.weixin.qq.com/s?__biz=MzI2OTc5NTUwNg==&mid=2247484452&idx=1&sn=c1cf5f55330a5ef89f0bce7faeda4c98&chksm=eadbadf9ddac24ef6e87ee35cc017d42a9ade6e47522b8a041a4b01227161bb17ce6102eafe0&scene=21#wechat_redirect