使用xgboost心得

梦里梦外; 2022-05-11 06:52 241阅读 0赞

#coding=utf-8 ''' Created on 2018年9月20日 ''' import tflearn.datasets.mnist as mnist from sklearn.model_selection import train_test_split import numpy as np import pickle x_train, y_train, x_test, y_test = mnist.load_data(one_hot=False) x_train, x_valid, y_train, y_valid = train_test_split(x_train,y_train,test_size=0.3,stratify=y_train,shuffle=True,random_state=1) from xgboost.sklearn import XGBClassifier print("样本标签顺序: ",np.unique(y_train)) #二分类 # clf = XGBClassifier( # n_estimators=100,#迭代次数 # silent=0 ,#设置成1则没有运行信息输出，最好是设置为0.是否在运行升级时打印消息。 # nthread=30,# cpu 线程数 默认最大 # learning_rate= 0.025, # 如同学习率 # min_child_weight=2, # # 这个参数默认是 1，是每个叶子里面 h 的和至少是多少，对正负样本不均衡时的 0-1 分类而言 # #，假设 h 在 0.01 附近，min_child_weight 为 1 意味着叶子节点中最少需要包含 100 个样本。 # #这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数值越小，越容易 overfitting。 # max_depth=4, # 构建树的深度，越大越容易过拟合 # gamma=0, # 树的叶子节点上作进一步分区所需的最小损失减少,越大越保守，一般0.1、0.2这样子。 # subsample=0.75, # 随机采样训练样本 训练实例的子采样比 # # max_delta_step=0,#最大增量步长，我们允许每个树的权重估计。 # colsample_bytree=0.75, # 生成树时进行的列采样 # reg_lambda=10, # 控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。 # #reg_alpha=0, # L1 正则项参数 # #scale_pos_weight=1, #如果取值大于0的话，在类别样本不平衡的情况下有助于快速收敛。平衡正负权重 # # objective= 'multi:softmax', #多分类的问题 指定学习任务和相应的学习目标 # # num_class=10, # 类别数，多分类与 multisoftmax 并用 # seed=0, #随机种子 # eval_metric= 'error', # booster='gbtree' # ) #多分类 clf = XGBClassifier( n_estimators=100,#迭代次数 silent=0 ,#设置成1则没有运行信息输出，最好是设置为0.是否在运行升级时打印消息。 nthread=30,# cpu 线程数 默认最大 learning_rate= 0.025, # 如同学习率 min_child_weight=2, # 这个参数默认是 1，是每个叶子里面 h 的和至少是多少，对正负样本不均衡时的 0-1 分类而言 #，假设 h 在 0.01 附近，min_child_weight 为 1 意味着叶子节点中最少需要包含 100 个样本。 #这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数值越小，越容易 overfitting。 max_depth=4, # 构建树的深度，越大越容易过拟合 gamma=0, # 树的叶子节点上作进一步分区所需的最小损失减少,越大越保守，一般0.1、0.2这样子。 subsample=0.75, # 随机采样训练样本 训练实例的子采样比 # max_delta_step=0,#最大增量步长，我们允许每个树的权重估计。 colsample_bytree=0.75, # 生成树时进行的列采样 reg_lambda=10, # 控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。 #reg_alpha=0, # L1 正则项参数 #scale_pos_weight=1, #如果取值大于0的话，在类别样本不平衡的情况下有助于快速收敛。平衡正负权重 objective= 'multi:softmax', #多分类的问题 指定学习任务和相应的学习目标 num_class=10, # 类别数，多分类与 multisoftmax 并用 seed=0, #随机种子 eval_metric= 'merror', booster='gbtree' ) #early_stopping_rounds一般可以选择50，如果eval_set只存放验证集，那么有时候训练集训练还有提升效果，而验证集已经不会更好，那么也会导致训练停止。 #有时候也会因为n_estimators迭代次数选择过少，训练周期过短，可以选择保存模型，然后接着训练 clf.fit(x_train,y_train,eval_set =[(x_train,y_train),(x_valid,y_valid)],early_stopping_rounds=50,eval_metric='merror',verbose=10) #保存模型 pkl_output = open("XGBOOST_modle.pkl","wb") pickle.dump(clf,pkl_output) pkl_output.close() #加载模型，接着训练 pkl_input = open("XGBOOST_modle.pkl","rb") old_model = pickle.load(pkl_input) pkl_input.close() clf.fit(x_train,y_train,eval_set =[(x_train,y_train),(x_valid,y_valid)],eval_metric='error',xgb_model=old_model,verbose=10) # #sklearn中的xgb就是集成下面的xgb，用法几乎一致，但是sklearn输出更友好 # import xgboost as xgb # params={'booster':'gbtree', # 'objective': 'multi:softmax', # 'eval_metric': 'merror', # 'max_depth':4, # 'lambda':10, # 'subsample':0.75, # 'colsample_bytree':0.75, # 'min_child_weight':2, # 'eta': 0.025, # 'seed':0, # 'num_class':6, # 'nthread':30, # 'silent':1} # # #需要对训练数据进行结构转换 # dtrain = xgb.DMatrix(x_train,y_train) # dvalid = xgb.DMatrix(x_valid,y_valid) # watchlist = [(dtrain, 'train'), (dvalid, 'val')] # model = xgb.train(params, dtrain, 500,evals=watchlist,early_stopping_rounds=50)