GBDT去预测时序数据

叁歲伎倆 2023-02-11 10:23 197阅读 0赞

最近有一个需求，需要用到GBDT算法去实现对**时序数据**进行预测（**回归任务**），数据是从2011年1月到2020年4月份6个不同城市的房地产交易数据，由于在网上没有找到对应的基于时序数据来用GBDT算法的博客或者资料，我也去github上面找个，出现最多的是，基于特征数据对标签进行预测，实现如分类或者回归问题，基于此，想写一个关于时序数据处理的简单介绍，后面有代码和数据地址

# 一 数据介绍 #

6个城市分别是，重庆，杭州，洛阳，南充，芜湖，对于特征如下图所示： 回归任务为基于历史数据对2020年1-4月的特征数据进行预测，故一共需要预测13个特征值

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70][]

**二 模型训练**

简单思路是把年和月作为特征，然后用GBDT学习后面特征的值（即后面13列），当然如果需要模型更鲁棒一点，可以加入其他列特征数据，对目标特征进行拟合，这里只是简单介绍，故而只解释最简单的一种。

> def GBDT\_train(X,Y):  
>     \#print(X.head())  
>     \#print(Y.head())  
>     for i in range(num\_of\_index):\#训练16个模型，即输出值  
>         \#print(Y.iloc\[:200,i\].head())  
>         \#x\_train, x\_test, y\_train, y\_test = train\_test\_split(X, Y.iloc\[:200,i\].astype("str").values)  
>         x\_train, x\_test, y\_train, y\_test = train\_test\_split(X, Y.iloc\[:,i\])
> 
>         \# 模型训练，使用GBDT算法   默认75%做训练 ， 25%做测试
> 
>         '''GradientBoostingRegressor参数介绍  
>           @n\_estimators: 子模型的数量，默认为100  
>           @max\_depth   ：最大深度 ，默认3  
>           @min\_samples\_split ：分裂最小样本数  
>           @learning\_rate ：学习率  
>         '''  
>         gbr = GradientBoostingRegressor(n\_estimators=200, max\_depth=2, min\_samples\_split=2, learning\_rate=0.1)  
>         gbr.fit(x\_train, y\_train.ravel())  
>         joblib.dump(gbr, name+"train\_model\_"+ str(i) +"\_result.m")   \# 保存模型
> 
>         y\_gbr = gbr.predict(x\_train)  
>         y\_gbr1 = gbr.predict(x\_test)  
>         acc\_train = gbr.score(x\_train, y\_train)  
>         acc\_test = gbr.score(x\_test, y\_test)  
>         print(name+"train\_model\_"+ str(i)  +"\_result.m"+'训练准确率',acc\_train)  
>         print(name+"train\_model\_"+ str(i)  +"\_result.m"+'验证准确率',acc\_test)

# **三 模型预测** #

**用了里面自带的方式，这里没什么好说的**

> **\# 加载模型并预测  
> def GBDT\_Predict( ):**
> 
> **    X\_Pred = \[2020,4\]  
>     print("预测：2020-4")  
>     X\_Pred = np.reshape(X\_Pred, (1, -1))  
>     for i in range(num\_of\_index):  
>         gbr = joblib.load(name+"train\_model\_"+ str(i)  +"\_result.m")    \# 加载模型  
>         \#test\_data = pd.read\_csv(r"./data\_test.csv")  
>         test\_y = gbr.predict(X\_Pred)  
>         test\_y = np.reshape(test\_y, (1, -1))  
>         print(test\_y)**  
>

# **四   实验结果** #

实验结果还是不错的，如果加入其他特征效果和泛化能力可能会更好！

！！！！[代码和数据在这里][Link 1]！！！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200523102534204.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1,size_16,color_FFFFFF,t_70
[Link 1]: https://github.com/yangYlin/GBDT.git
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200523104923569.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1,size_16,color_FFFFFF,t_70