广告CTR预估中真实CTR的离散化方法

比眉伴天荒 2021-09-17 06:30 304阅读 0赞

[来源][Link 1]

在广告CTR预估的过程中，有一个十分重要的特征，那就是广告本身的CTR，从直观上也能明白，对于一个广告，在曝光次数充分的前提下，基于统计的CTR很大程度上反应了广告本身的信息。

作为一个特征，很自然的，我们可以直接把它作为向量的某一维的数值放入样本，这样是有一定的作用的，但作用还不够：首先，对于点击率差距较小的广告，它无法捕捉到相似性；其次，对于点击率差距较大的广告，也很难捕捉到差异性。这是因为一维数值特征的表达力欠缺引起的，那么，怎么解决这个问题呢？

设想，假如我们能有一种手段，能对CTR进行分类，那么，我们就可以借助One Hot Encoding的方法对这个特征进行处理，这样处理之后的特征往往对线性模型更加友好，那么怎么实现这件事呢，我们有以下几种考虑：

1.直接人工分段，人为的根据CTR的分布，来分区间；

2.使用GBDT，K-means等分类算法作映射

可以看到上述两种方法，都有一个明显的缺陷：依赖于先前观测到的数据的分布，这也就意味着，在特征转化的过程中，需要维护额外的数据结构，有没有什么稍微更加简单的方式能做这件事呢？

我们希望存在一个函数满足：

![index=f(CTR)][index_f_CTR]

最简单的 ![f=round(CTR \* (N-1))][f_round_CTR _ _N-1] ，其中N是我们预设的维度的数目，比如N=500，那么CTR会被均匀的映射到0~499共500个维度上，这样做有一定的效果，但是还不够。

我们知道，CTR的分布区间是在\[0,1\]上，但实际情况中却往往不是这样，实际的CTR往往非常的小，能够超过10%点击率的广告几乎是九牛一毛，所以，基于这样的事实，我们是可以对CTR进行区间放缩的，定义一个 upperBound，一个lowerBound:

![CTR\_\{new\}=\\frac\{CTR\_\{original\}-lowerBound\}\{upperBound-lowerBound\}][CTR_new_frac_CTR_original_-lowerBound_upperBound-lowerBound]

实践中也证明，在做完这样一个放缩之后，CTR的分布变得更加的均匀，实际中也取得了更好的效果

--------------------

那么该怎么来评估这件事情呢？

对于一个一般的Category类型的特征，要衡量它的好坏，我们会选择卡方检验或者使用信息增益，对于信息增益，我们知道一般有如下定义：

![IG(T)=H(C)-H(C|T)= -\\sum\_\{i=1\}^n\{P(C\_i)log\_2(P(C\_i))\} +P(t)\\sum\_\{i=1\}^n\{P(C\_i|t)log\_2\{P(C\_i|t)\}\} +P(\\overline\{t\})\\sum\_\{i=1\}^nP(C\_i|\\overline\{t\})log\_2P(C\_i|\\overline\{t\})][IG_T_H_C_-H_C_T_ -_sum_i_1_n_P_C_i_log_2_P_C_i_ _P_t_sum_i_1_n_P_C_i_t_log_2_P_C_i_t_ _P_overline_t_sum_i_1_nP_C_i_overline_t_log_2P_C_i_overline_t]

信息增益表征了从总体中去掉该类特征时，总体中丢失掉的信息量，也就客观的反映了该特征的重要性。

对于一份包含CTR与是否点击（点击为1，否则为0）的样本，采用不同的CTR离散化方法，计算信息增益，信息增益大的，也就意味着这种方式可能比较有效。

计算信息增益的Python代码如下：

import math
    
    def entropy(p):
        if p <= 0 or p >= 1:
            return 0.0
        return - p * math.log(p, 2) - (1 - p) * math.log(1 - p, 2)
    
    
    def calc_gain(lables, indices):
        max_index = max(indices)
    
        index_map = [[0, 0] for x in range(max_index + 1)]
        i = 0
        for index in indices:
            if lables[i] == 1:
                index_map[index][0] += 1
            else:
                index_map[index][1] += 1
            i += 1
        index_map = filter(lambda t: t[0] > 0 or t[1] > 0, index_map)
    
        # print "index map:", index_map
    
        total_positive_count = 0.0
        total_count = 0.0
        for x in index_map:
            total_positive_count += x[0]
            total_count += (x[0] + x[1])
    
        total_entropy = entropy(total_positive_count / total_count)
    
        conditional_entropy = 0.0
        for x in index_map:
            index_count = float(x[0] + x[1])
            conditional_entropy += (index_count / total_count) * entropy(x[0] / index_count)
    
        return total_entropy - conditional_entropy

同时，对于离散化之后的Index在每个桶内的分布，我们可以画一个频率分布直方图，直觉上，这个直方图越平缓越好，而不是像CTR分布一样，大家都挤在一堆，彼此不可分。以下是一个示例：

![v2-6861fda6c44062ffd4d56b6f4a5d970f_hd.jpg][]

直接将CTR乘上500后数值分布情况，可以看到数据分布非常极端

--------------------

仔细观察这个频率分布直方图，再联系到我们想要达到的目的：想要原本密集的区间的值尽可能的分散，原本分散的区间的值尽量的聚合。在图像处理领域，有一类算法天然是为了这类目的存在的：[对比度增强算法][Link 2]

常用的对比度增强算法有对数变换、指数变换（伽马变换）、灰度拉升等，至于直方图均衡化甚至是小波变换等一些更加复杂的算法，由于它们均依赖于数据的先验分布，因此我们暂时不作考虑：

对数变换：

![s=c\\cdot\{log\_\{v+1\}(1+v\\cdot\{r\})\} , r\\in\[0,1\]][s_c_cdot_log_v_1_1_v_cdot_r_ _ r_in_0_1]

指数变换：

![s=c\\cdot\{r^\\gamma\},r\\in\[0,1\]][s_c_cdot_r_gamma_r_in_0_1]

灰度拉伸:

![s=\\frac\{1\}\{1+(\\frac\{m\}\{r+eps\})^E\}][s_frac_1_1_frac_m_r_eps_E]

我们尝试着三种算法，其中指数变换的部分我们用开方实现，三种算法均事先作值域变换，默认与值域变换作对比，相关Python代码如下：

def domain_transform(ctr, func):
        a = 0.002
        b = 0.3
        ctr = max(a, ctr)
        ctr = min(b, ctr)
        ctr = (ctr - a) / (b - a)
        fa, fb = func(0), func(1)
        assert fa >= 0
        return (func(ctr) - fa) / (fb - fa)
    
    
    def map_func1(ctrs):
        return [domain_transform(ctr, lambda x: x) for ctr in ctrs]
    
    
    def map_func2(ctrs):
        return [domain_transform(ctr, lambda x: math.log(1 + 100 * x)) for ctr in ctrs]
    
    
    def map_func3(ctrs):
        return [domain_transform(ctr, lambda x: math.sqrt(x)) for ctr in ctrs]
    
    
    def map_func4(ctrs):
        return [mat2gray(ctr) for ctr in ctrs]
    
    
    def mat2gray(x):
        return x / (x + 0.01)

我们得到了如下的结果：

![v2-eaa4e1e8603de9c936333a0c2d71b672_hd.jpg][]

各种变换后CTR的分布及对应的信息增益

图中的gain为信息增益，cv为下标的覆盖率，显然是越高越好。

实际工程中，采用对数变换，取得了不错的效果。

[Link 1]: https://zhuanlan.zhihu.com/p/34703888
[index_f_CTR]: /images/20210520/8a926b24e261455eadbf391df9886e54.png
[f_round_CTR _ _N-1]: http://www.zhihu.com/equation?tex=f%3Dround%28CTR+%2A+%28N-1%29%29
[CTR_new_frac_CTR_original_-lowerBound_upperBound-lowerBound]: /images/20210520/3fba709c6ca3437db316f8d7f41610ac.png
[IG_T_H_C_-H_C_T_ -_sum_i_1_n_P_C_i_log_2_P_C_i_ _P_t_sum_i_1_n_P_C_i_t_log_2_P_C_i_t_ _P_overline_t_sum_i_1_nP_C_i_overline_t_log_2P_C_i_overline_t]: http://www.zhihu.com/equation?tex=IG%28T%29%3DH%28C%29-H%28C%7CT%29%3D+-%5Csum_%7Bi%3D1%7D%5En%7BP%28C_i%29log_2%28P%28C_i%29%29%7D+%2BP%28t%29%5Csum_%7Bi%3D1%7D%5En%7BP%28C_i%7Ct%29log_2%7BP%28C_i%7Ct%29%7D%7D+%2BP%28%5Coverline%7Bt%7D%29%5Csum_%7Bi%3D1%7D%5EnP%28C_i%7C%5Coverline%7Bt%7D%29log_2P%28C_i%7C%5Coverline%7Bt%7D%29
[v2-6861fda6c44062ffd4d56b6f4a5d970f_hd.jpg]: /images/20210520/1ea702bfd80b4715bc39f03bd19fe632.png
[Link 2]: http://link.zhihu.com/?target=https%3A//blog.csdn.net/ebowtang/article/details/38236441
[s_c_cdot_log_v_1_1_v_cdot_r_ _ r_in_0_1]: http://www.zhihu.com/equation?tex=s%3Dc%5Ccdot%7Blog_%7Bv%2B1%7D%281%2Bv%5Ccdot%7Br%7D%29%7D+%2C+r%5Cin%5B0%2C1%5D
[s_c_cdot_r_gamma_r_in_0_1]: /images/20210520/ef783c54d9734f80bbdc70865e37bfef.png
[s_frac_1_1_frac_m_r_eps_E]: /images/20210520/ba3f0106b50749239ad48ab97381cfea.png
[v2-eaa4e1e8603de9c936333a0c2d71b672_hd.jpg]: /images/20210520/51fa5b0522e246b98b94054e58a99d3f.png