达观数据比赛第五天任务

喜欢ヅ旅行 2022-02-20 14:15 183阅读 0赞

今天学习lightbgm算法，算是一种比较不错的轻量级的集成算法把～

【任务 3.2】LightGBM模型 时常: 2天

构建LightGBM的模型（包括：模型构建&调参&性能评估），学习理论并用Task2的特征实践

LightGBM有更快的训练速度和更高的效率，这是因为它是一种**使用基于直方图的算法**。

例如，它将连续的特征值分桶(buckets)装进离散的箱子(bins)，这是的训练过程中变得更快。

**它与XGBoost的不同之处在于分裂节点的方式不一样**。LGB避免了对整层节点分裂法，而采用了对增益最大的节点进行深入分解的方法。这样节省了大量分裂节点的资源。下图一是XGBoost的分裂方式，图二是LightGBM的分裂方式。

XGBoost分裂方式:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70][]

LightGBM分裂方式:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70 1][]

除此之外LightGMB还有如下的一些优势：

(1) 更低的内存占用：使用离散的箱子(bins)保存并替换连续值导致更少的内存占用。

(2) 更高的准确率(相比于其他任何提升算法)：它通过leaf-wise分裂方法产生比level-wise分裂方法更复杂的树，这就是实现更高准确率的主要因素。然而，它有时候或导致过拟合，但是我们可以通过设置 **max-depth**参数来防止过拟合的发生。

(3) 大数据处理能力：相比于XGBoost，由于它在训练时间上的缩减，它同样能够具有处理大数据的能力。

(4) 支持并行学习。

我们都知道，XGB一共有三类参数**通用参数，学习目标参数，Booster参数。**对于LightGBM，有核心参数，学习控制参数，IO参数，目标参数，度量参数，网络参数，GPU参数，模型参数，这里我们常常修改得是**核心参数，学习控制参数，度量参数**等。具体的参数信息请参看参考文献。

最后提出代码供大家学习，欢迎大家评论及私信交流，会及时回复。这里有两种方法来使用LightGBM模型，大家可以都看看吧。Method2和我们习惯性使用sklearn中模型的方法更加贴切。

import pandas as pd
    from sklearn.model_selection import train_test_split
    from sklearn.feature_extraction.text import TfidfVectorizer
    import gensim
    import time
    import pickle
    import numpy as np
    import csv,sys
    from sklearn import svm
    from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
    from sklearn.linear_model import LogisticRegression
    import lightgbm as lgb
    from sklearn.model_selection import GridSearchCV
    
    # read data
    df = pd.read_csv('data/train_set.csv', nrows=5000)
    df.drop(columns='article', inplace=True)
    # # observe data
    # print(df['class'].value_counts(normalize=True, ascending=False))
    
    # TF-IDF
    vectorizer = TfidfVectorizer(ngram_range=(1, 2), min_df=3, max_df=0.9, sublinear_tf=True)
    vectorizer.fit(df['word_seg'])
    x_train = vectorizer.transform(df['word_seg'])
    
    # split training set and validation set
    predictor = ['word_seg']
    x_train, x_validation, y_train, y_validation = train_test_split(x_train, df['class'], test_size=0.2)
    
    clf = svm.LinearSVC(C=5, dual=False)
    clf = LogisticRegression(C=120, dual=True)
    
    # Method 1 for creating model 
    # # create dataset for lightgbm
    # lgb_train = lgb.Dataset(x_train, y_train)
    # # specify your configurations as a dict
    # params = {
    #     'boosting_type': 'gbdt',
    #     'objective': 'multiclass',
    #     'metric': 'multi_error',
    #     'num_leaf': 31,
    #     'learning_rate': 0.05,
    #     'feature_fraction': 0.9,
    #     'bagging_fraction': 0.8,
    #     'bagging_freq': 5,
    #     'num_class': 20,
    # }
    # print('Start training...')
    # # train
    # gbm = lgb.train(params,
    #                 lgb_train,
    #                 num_boost_round=20)
    # y_prediction = gbm.predict(x_validation, num_iteration=gbm.best_iteration)
    # result = []
    # for pred in y_prediction:
    #     result.append(int(np.argmax(pred)))
    # clf.fit(x_train, y_train)
    # y_prediction = clf.predict(x_validation)
    
    
    # Method 2 for creating model 
    # # create dataset for lightgbm
    # lgb = lgb.sklearn.LGBMClassifier(num_leaves=30, learning_rate=0.1, n_estimators=20)
    # lgb.fit(x_train, y_train)
    # y_prediction = lgb.predict(x_validation)
    # label = []
    # for i in range(1, 20):
    #     label.append(i)
    # f1 = f1_score(y_validation, y_prediction, labels=label, average='micro')
    # print('The F1 Score: ' + str("%.4f" % f1))
    
    
    # grid search for better parameters for model 
    lgb = lgb.sklearn.LGBMClassifier()
    param_grid = {
        'learning_rate': [0.01, 0.1, 0.5],
        'n_estimators': [30, 40]
    }
    gbm = GridSearchCV(lgb, param_grid)
    gbm.fit(x_train, y_train)
    print('网格搜索得到的最优参数是:', gbm.best_params_)

F1测试结果如下所示:

![20190413222423102.jpg][]

参考文献：

1. 掘金 香橙云子 [https://juejin.im/post/5b76437ae51d45666b5d9b05][https_juejin.im_post_5b76437ae51d45666b5d9b05]

2.CSDN Ghost\_Hzp [https://blog.csdn.net/weixin\_39807102/article/details/81912566][https_blog.csdn.net_weixin_39807102_article_details_81912566]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70]: /images/20220220/ab87a588b6b443dd9c24820f3d646f4b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70 1]: /images/20220220/a708cc403b524cc081d52b18fc34f0ba.png
[20190413222423102.jpg]: /images/20220220/0d6a69d924c0427eb824d91e9d581228.png
[https_juejin.im_post_5b76437ae51d45666b5d9b05]: https://juejin.im/post/5b76437ae51d45666b5d9b05
[https_blog.csdn.net_weixin_39807102_article_details_81912566]: https://blog.csdn.net/weixin_39807102/article/details/81912566