AI比赛-推荐系统（一）-新闻推荐05：排序模型【LightGBM模型、DIN模型】

古城微笑少年丶 2023-09-25 14:59 16阅读 0赞

通过召回的操作， 我们已经进行了问题规模的缩减， 对于每个用户， 选择出了N篇文章作为了候选集，并基于召回的候选集构建了与用户历史相关的特征，以及用户本身的属性特征，文章本省的属性特征，以及用户与文章之间的特征，下面就是使用机器学习模型来对构造好的特征进行学习，然后对测试集进行预测，得到测试集中的每个候选集用户点击的概率，返回点击概率最大的topk个文章，作为最终的结果。

排序阶段选择了三个比较有代表性的排序模型，它们分别是：

1.  LGB的排序模型
2.  LGB的分类模型
3.  深度学习的分类模型DIN

import numpy as np
    import pandas as pd
    import pickle
    from tqdm import tqdm
    import gc, os
    import time
    from datetime import datetime
    import lightgbm as lgb
    from sklearn.preprocessing import MinMaxScaler
    import warnings
    warnings.filterwarnings('ignore')

data_path = './data_raw/'
    save_path = './temp_results/'
    offline = False

## 一、读取“特征工程”阶段保存的排序特征 ##

# 重新读取数据的时候，发现click_article_id是一个浮点数，所以将其转换成int类型
    trn_user_item_feats_df = pd.read_csv(save_path + 'trn_user_item_feats_df.csv')
    trn_user_item_feats_df['click_article_id'] = trn_user_item_feats_df['click_article_id'].astype(int)
    
    if offline:
        val_user_item_feats_df = pd.read_csv(save_path + 'val_user_item_feats_df.csv')
        val_user_item_feats_df['click_article_id'] = val_user_item_feats_df['click_article_id'].astype(int)
    else:
        val_user_item_feats_df = None
        
    tst_user_item_feats_df = pd.read_csv(save_path + 'tst_user_item_feats_df.csv')
    tst_user_item_feats_df['click_article_id'] = tst_user_item_feats_df['click_article_id'].astype(int)
    
    # 做特征的时候为了方便，给测试集也打上了一个无效的标签，这里直接删掉就行
    del tst_user_item_feats_df['label']

## 二、工具函数 ##

### 1、返回排序后的结果 ###

def submit(recall_df, topk=5, model_name=None):
        recall_df = recall_df.sort_values(by=['user_id', 'pred_score'])
        recall_df['rank'] = recall_df.groupby(['user_id'])['pred_score'].rank(ascending=False, method='first')
        
        # 判断是不是每个用户都有5篇文章及以上
        tmp = recall_df.groupby('user_id').apply(lambda x: x['rank'].max())
        assert tmp.min() >= topk
        
        del recall_df['pred_score']
        submit = recall_df[recall_df['rank'] <= topk].set_index(['user_id', 'rank']).unstack(-1).reset_index()
        
        submit.columns = [int(col) if isinstance(col, int) else col for col in submit.columns.droplevel(0)]
        # 按照提交格式定义列名
        submit = submit.rename(columns={'': 'user_id', 1: 'article_1', 2: 'article_2', 3: 'article_3', 4: 'article_4', 5: 'article_5'})
        
        save_name = save_path + model_name + '_' + datetime.today().strftime('%Y-%m-%d') + '.csv'
        submit.to_csv(save_name, index=False, header=True)

### 2、归一化排序结果 ###

# 归一化排序结果
    def norm_sim(sim_df, weight=0.0):
        # print(sim_df.head())
        min_sim = sim_df.min()
        max_sim = sim_df.max()
        if max_sim == min_sim:
            sim_df = sim_df.apply(lambda sim: 1.0)
        else:
            sim_df = sim_df.apply(lambda sim: 1.0 * (sim - min_sim) / (max_sim - min_sim))
    
        sim_df = sim_df.apply(lambda sim: sim + weight)  # plus one
        return sim_df

## 三、排序层模型 ##

### 1、LightGBM模型 ###

# 防止中间出错之后重新读取数据
    trn_user_item_feats_df_rank_model = trn_user_item_feats_df.copy()
    
    if offline:
        val_user_item_feats_df_rank_model = val_user_item_feats_df.copy()
        
    tst_user_item_feats_df_rank_model = tst_user_item_feats_df.copy()