pandas处理数据得到相关系数均值（去除含有nan的任何行任何列，只算都有数据的）

待我称王封你为后i 2022-11-26 07:57 10阅读 0赞

具体代码就不贴了，因为都是连的公司的数据库，只说做法

1先实现一个pivot\_table表，group\_data是我分组后取得数据

group_data['value'] = group_data['singlereturn'].astype(np.float)
    group_data['code'] = group_data['fund_id']
    group_data['date'] = group_data['statistic_date'].apply(lambda x: x.strftime('%Y%m%d'))
    table = pd.pivot_table(group_data, values='value', index='date', columns='code', dropna=True)

2然后构建个专门处理这个表的函数，因为是两两相关处理

def table_corr(table):
        list = []
        for i in range(0, table.shape[1]):
            for j in range(i + 1, table.shape[1]):
                newdata = table.iloc[:, [i, j]].dropna(axis=0, how='any')
                if len(newdata) > 0:
                    a = newdata.iloc[:, 0]
                    b = newdata.iloc[:, 1]
                    dt_result = np.corrcoef(a, b)
                    # print(dt_result)
                    list.append(dt_result[0][1])
                    list.append(dt_result[1][1])
                    list.append(dt_result[:, 1][1])
        math_result = np.mean(list)
        return math_result

3得出最后结果

# 计算相关性系数均值
    math_result = table_corr(table)

这就是我们想要的数据了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6ejc4MTY5OTg4MA_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6ejc4MTY5OTg4MA_size_16_color_FFFFFF_t_70]: /images/20221124/da4acd6848144eb79532ff186bc6798b.png