ML之FE：基于BigMartSales数据集利用Featuretools工具实现自动特征工程之详细攻略daiding

傷城~ 2022-12-31 07:21 64阅读 0赞

**目录**

基于BigMartSales数据集利用Featuretools工具实现自动特征工程

设计思路

输出结果

核心代码

--------------------

# 基于BigMartSales数据集利用Featuretools工具实现自动特征工程 #

## 设计思路 ##

更新……

## 输出结果 ##

train.shape: (500, 12)
    test.shape: (200, 11)
    after drop, train.shape: (500, 11)
    data_all.shape: (700, 11)
    -------------------data_all_CountNull: Item_Identifier                0
    Item_Weight                  136
    Item_Fat_Content               0
    Item_Visibility                0
    Item_Type                      0
    Item_MRP                       0
    Outlet_Identifier              0
    Outlet_Establishment_Year      0
    Outlet_Size                  202
    Outlet_Location_Type           0
    Outlet_Type                    0
    dtype: int64
    -------------------after fillna，data_all_CountNull: 
     Item_Identifier              0
    Item_Weight                  0
    Item_Fat_Content             0
    Item_Visibility              0
    Item_Type                    0
    Item_MRP                     0
    Outlet_Identifier            0
    Outlet_Establishment_Year    0
    Outlet_Size                  0
    Outlet_Location_Type         0
    Outlet_Type                  0
    dtype: int64
    -------------------Item_Fat_Content feature value_count: 
     Low Fat    436
    Regular    221
    LF          23
    low fat     12
    reg          8
    Name: Item_Fat_Content, dtype: int64
    ----------data_all.shape: (700, 11)
    Entityset: sales
      Entities:
        bigmart [Rows: 700, Columns: 7]
        outlet [Rows: 10, Columns: 5]
      Relationships:
        bigmart.Outlet_Identifier -> outlet.Outlet_Identifier

## 核心代码 ##

#2、利用Featuretools工具实现自动特征工程
    #(1)、创建一个实体集EntitySet：实体集是一种包含多个数据帧及其之间关系的结构。
    es = ft.EntitySet(id = 'sales') 
    es.entity_from_dataframe(entity_id = 'bigmart', dataframe = data_all, index = 'id')   # adding a dataframe 
    
    
    #(2)、规范化实体集：数据中包含两个级别的信息，即 item商品级别和 outlet门店级别。
    #Featuretools能把一个数据集拆分成多个表格。我们根据outlet ID Outlet_Identifier从BigMart表中创建一个新表“outlet”。
    es.normalize_entity(base_entity_id='bigmart', 
                        new_entity_id='outlet', 
                        index = 'Outlet_Identifier', 
                        additional_variables =   
                        ['Outlet_Establishment_Year', 'Outlet_Size',  
                         'Outlet_Location_Type', 'Outlet_Type'])
    print(es)  
    '''
    输出实体集EntitySet的组成
    它包含两个实体，为bigmart和outlet。这两个表之间也形成了一种关系，用Outlet_Identifier连接。
    这种关系将在生成新特征中发挥关键作用。
    '''
    
    
    #(3)、使用DFS来自动创建新特征：DFS使用特征基元和实体集中给出的多个表来创建特征。
    '''
    target_entity只是创建新特征的实体ID，这种情况下为实体“bigmart”。
    参数max_depth控制着通过堆叠基元生成的要素复杂性。
    参数n_jobs通过使用多个内核来辅助并行特征计算。
    这就是使用Featuretools的过程，它已经产生了许多新特征。
    '''
    feature_matrix, feature_names = ft.dfs(entityset=es,target_entity = 'bigmart', 
                                           max_depth = 2,verbose = 1, n_jobs = -1)
    print(feature_matrix.columns)
    print(feature_matrix.head())