推荐比赛的一些强力特征

清疚 2024-04-18 19:36 60阅读 0赞

### 前言 ###

最近在看一些比赛的分享，看看别人是如何做的，就关注到了推荐预测的一篇文章，想学习一些，看看他们是如何实现的，关于构造特征、预测模型等等。其中比赛是kaggle的一个推荐比赛[“Click-Through Rate Prediction”][Click-Through Rate Prediction]，比赛较早，5年前的比赛，拿来练习还是可以的，

### 用户特征 ###

广告点击中，广告跟用户之间应该有关联，但是本比赛中没有，所以需要构造一个用户特征，其中文章中就用：

#### user\_id = device\_id + \_device\_ip + \_device\_model ####

data['user_id'] = data['device_id'] +  '_' + data['device_ip']+  '_'  +  data['device_model']

这三个特征构造成用户特征。

### 广告特征 ###

这里并没有广告id的标识，不清楚那些投放渠道是同一个广告id，文章中将app\_id作为一个广告特征，认为一类APP中的广告是一样的，暂不论此方法是否合理有效。继续来看接下来如何。

### 用户与广告的统计特征 ###

##### 1、时间特征处理 #####

将时间特征提取出四个特征，分别是日期、星期、小时、距离最开始的日期的时间差。

from datetime import datetime
    
    data['hour']=data['hour'].map(lambda x: datetime.strptime(str(x),"%y%m%d%H"))
    
    data['dayoftheweek']=data['hour'].map(lambda x:  x.weekday())
    
    data['day']=data['hour'].map(lambda x:  x.day)
    
    data['hour']=data['hour'].map(lambda x:  x.hour)
    
    data['time']=(data['day'].values - data['day'].min()) * 24  + data['hour'].values

##### 2、用户特征 #####

*  用户每天在某个app上出现的次数：user\_id + ‘-’ + time
 *  用户每个小时,每天出现的次数：user\_id + ‘-’ + time + ‘-’ +app\_id
 *  用户距离上一次出现的时间差

## 用户每天/每小时在某个app上出现的次数
    for time in ['day','time']:
        print('user_id_'+time +'_app')
        data['user_id_'+time +'_app'] = data['user_id']  + '_' + data[time].astype(str) + '_' + data['app_id'].astype(str)
        dic_ = data['user_id_'+time +'_app'].value_counts().to_dict()
        data['user_id_'+time +'_app_count'] = data['user_id_'+time +'_app'].apply(lambda x: dic_[x])
        data.drop('user_id_'+time +'_app', axis=1,inplace = True)
    
    ## 用户每个小时,每天出现的次数
    for time in ['day','time']:
        print('user_id_'+time)
        data['user_id_'+time] = data['user_id']  + '_' + data[time].astype(str)
        dic_ = data['user_id_'+time].value_counts().to_dict()
        data['user_id_'+time +'_count'] = data['user_id_'+time].apply(lambda x: dic_[x])
        data.drop('user_id_'+time, axis=1,inplace = True)
    data['user_to_lasttime'] = data.groupby('user_id')['time'].diff().values

##### 3、标签化特征 #####

对于一些object对象，采取标签化的处理方式，用数字来表示该特征。不过用这种方式也有缺点，有一篇博客中提到了数值化特征的问题：[数据清洗遇到的问题思考][Link 1]。

from sklearn.preprocessing import LabelEncoder
    for col in data.columns:
        if col!='id' and col!='click': 
            if data[col].dtypes == 'O':
                print(col)
                data[col+'_labelencode'] = LabelEncoder().fit_transform(data[col].values)

这里通过类型来判断，不过一般可以标签化的特征也不会太多，这里最好通过EDA来看下数据分布情况，不然不能光凭借类型来决定是否标签化。

### 关于模型训练 ###

这里没有特殊处理，因为“click” 值是0/1值，0表示用户没有点击，1表示用户点击了，所以就直接用来表示作为样本标签值训练模型。

这里还有一点：如果是销量预测这类要给出数值的这类问题，可以用历史数据作参考，比如预测25号的销量，可以参考上个月25号的销量和前5天的销量，利用这些销量做线性变换或者直接做特征来预测，这其实就是基于规则的统计方法。

### 参考博客 ###

[Click-Through Rate Prediction：银牌][Click-Through Rate Prediction 1]

[Click-Through Rate Prediction]: https://www.kaggle.com/c/avazu-ctr-prediction
[Link 1]: https://blog.csdn.net/randompeople/article/details/98668754
[Click-Through Rate Prediction 1]: https://mp.weixin.qq.com/s?__biz=MzU1Nzc1NjI0Nw==&mid=2247483914&idx=1&sn=b76d1e7df5e91aa75c2853943f0f21f2&chksm=fc31b832cb463124b56276604890dedf2c642b2fed0c03cd941af5b7bfafa2ce71159c96fe52&token=1433307692&lang=zh_CN&scene=21#wechat_redirect