python 将数据集划分为完整数据集和缺失数据集

浅浅的花香味﹌ 2022-12-27 02:12 181阅读 0赞

首先需要用的python包：

import pandas as pd

然后，正式开始处理数据。  
1.定义一个数组

dataset=[[1,2,3,4,5],[1,2,3,None,5],[1,None,3,4,5],[1,2,3,4,5]]

2.将list类型转为pandas的DataFrame类型

df=pd.DataFrame(dataset)
    print(df)

![在这里插入图片描述][20201207160558991.png]  
3.找到具有缺失值的数据

dataset_missing=df[df.isnull().values==True]
    print(dataset_missing)

![在这里插入图片描述][20201207160710725.png]  
今天做实验发现，这个方法有问题，当一行具有多个缺失值时，会返回多个行的数据，因此决定用一个笨办法：

def find_complete_rows(df):
        """
        找到DataFrame的完整数据行
        :param df:
        :return:
        """
        missing_matrix = df.isnull()
        print(missing_matrix)
        complete_rows = []
        for i in range(missing_matrix.shape[0]):
            flag = True
            for j in range(missing_matrix.shape[1]):
                if missing_matrix.iloc[i, j]:
                    flag = False
                    break
            if flag:
                complete_rows.append(i)
    
        return complete_rows

有点笨但是简单啊，不想思考了-0-

4.如果需要找到具有缺失值的列，需要做两步操作

#1判断哪些列存在缺失值（返回的是Series类型的数据）
    coloums_missing_status=df.isnull().any()

![在这里插入图片描述][20201207160856871.png]

#2找到缺失列的列，用to_list()方法返回list
    coloums_missing=coloums_missing_status.index[coloums_missing_status==True].to_list()

![在这里插入图片描述][20201207161106123.png]  
5.找到没有缺失值的数据，也需要两步

#1根据前面找到的缺失数据，获得缺失值的列名（返回的list）
    missing_index=dataset_missing.index.to_list()
    print(missing_index)

![在这里插入图片描述][20201207162557984.png]

#2在原始数据中去除有缺失值的行
    dataset_complete=df.loc[~df.index.isin(missing_index)]
    print(dataset_complete)

![在这里插入图片描述][20201207162821712.png]  
最后附上所有代码

import pandas as pd
    
    """
    input: Full dataset
    output: Missing dataset and Complete dataset
    """
    def split_dataset(dataset):
        #将list类型转为pandas的DataFrame类型
        df=pd.DataFrame(dataset)
        print(df)
        #找到具有缺失值的数据
        dataset_missing=df[df.isnull().values==True]
        print(dataset_missing)
        
        #如果需要找到具有缺失值的列，需要做两步操作
        #1判断哪些列存在缺失值（返回的是Series类型的数据）
        colums_missing_status=df.isnull().any()
        print(colums_missing_status)
        #2找到缺失列的列，用to_list()方法返回list
        colums_missing=colums_missing_status.index[colums_missing_status==True].to_list()
        print(colums_missing)
        coloums_missing=coloums_missing_status.index[coloums_missing_status==True].to_list()
        print(coloums_missing)
        
        #找到没有缺失值的数据，也需要两步
        #1根据前面找到的缺失数据，获得缺失值的列名（返回的list）
        missing_index=dataset_missing.index.to_list()
        print(missing_index)
        #2在原始数据中去除有缺失值的行
        dataset_complete=df.loc[~df.index.isin(missing_index)]
        print(dataset_complete)
    
        return dataset_missing,dataset_complete
    
    if __name__=='__main__':
        #定义一个数组
        dataset=[[1,2,3,4,5],[1,2,3,None,5],[1,None,3,4,5],[1,2,3,4,5]]
        dataset_missing,dataset_complete=split_dataset(dataset)

=======================================  
今天突然发现，如果在一行数据中存在多个缺失值，就不能用上面的步骤获得缺失数据了，因为会重复。那么，如果一行数据中存在多个缺失值，获得缺失数据的方法如下：  
Pandas居然有自带的去Nan方法

//使用pandas自带的dropna()方法：
    #删除表中某行全部为NaN的行 
    nonan_df = df.dropna(axis=0, how='all') 
    #删除表中某行含有任何NaN的行
    nonan_df = df.dropna(axis=0, how='any')
    #删除表中有NaN的任意行
    nonan_df = df.dropna(axis=0)
    “”“
    补充：
    删除行的参数axis = 0
    删除列的参数axis = 1
    ”“”

当一行数据有多个缺失值时，查看有nan的行

#1 查看含有nan的行
    dataset_missing=df[df.isna().any(axis=1)]
    #2 查看不含nan的行
    dataset_complete=df[~df.isna().any(axis=1)]

新的代码如下

def split_dataset(dataset):
        #将list类型转为pandas的DataFrame类型
        df=pd.DataFrame(dataset)
        print('------初始数据-------')
        print(df)
        #找到具有缺失值的数据，需要两步
        #1 查看含有nan的行
        dataset_missing=df[df.isna().any(axis=1)]
        #2 查看不含nan的行
        dataset_complete=df[~df.isna().any(axis=1)]
        
        #判断各列的缺失情况
        colums_missing_status=dataset_missing.isna().any()#判断的数据小一些
        colums_missing=colums_missing_status[colums_missing_status==True].index.to_list()
        print('------有nan的缺失数据-----------')
        print(dataset_missing)
        print('------无nan的完整数据-----------')
        print(dataset_complete)
        print('------有nan的列-----------')
        print(colums_missing)
    
    if __name__=='__main__':
        #定义一个数组
        dataset=[[1,2,3,4,5],[1,None,None,None,5],[1,None,3,4,5],[1,2,3,4,5]]
        split_dataset(dataset)

运行结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RvdWJpMQ_size_16_color_FFFFFF_t_70]

[20201207160558991.png]: /images/20221120/93e00426b9a14f3ba593ead0abce87ef.png
[20201207160710725.png]: /images/20221120/e0e11fff5e52404b81bc21cfa647db8b.png
[20201207160856871.png]: /images/20221120/e6eb6885913c4dd8960edf18a77e6fd1.png
[20201207161106123.png]: /images/20221120/f74408065d0d49e2b2c94a1a1600a4e6.png
[20201207162557984.png]: /images/20221120/c624c38cb1d84a5890a6e8061e500508.png
[20201207162821712.png]: /images/20221120/acc058823d4944bd87e2b76f41f226c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RvdWJpMQ_size_16_color_FFFFFF_t_70]: /images/20221120/2cd2a768677046a19acc350d1c9997f5.png