Datawhale-数据分析-Task01数据加载及探索性数据分析

朱雀 2022-11-28 00:21 217阅读 0赞

# PART 1：数据加载 #

## 1.1 载入数据 ##

主要是对原数据(csv ,etc.)进行导入并处理，需要numpy和pandas这两个常用库。

### 1.1.1 导入numpy 和 pandas ###

import numpy as np
    import pandas as pd

### 1.1.2 载入数据 ###

# load .csv data
    df = pd.read_csv('train.csv')
    df.head(3)

![在这里插入图片描述][20200816145156179.png_pic_center]

### 1.1.3 每1000行为一个数据模块，逐块读取 ###

chunker = pd.read_csv('train.csv', chunksize=1000)

一旦数据量非常大，如果一次性读取是内存是无法承担，所以我们可以通过分块读取，而参数`chunksize`为设置的块数。

### 1.1.4 将表头改成中文，索引改为乘客ID ###

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
    df.head()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center]  
还可以通过先向表格中增加一行中文表头的信息，然后再删除原来英文的表头。

## 1.2 初步观察 ##

导入完数据之后，我们需要对数据的一些信息进行统计从而会之后的分析做准备。

### 1.2.1 查看数据基本信息 ###

df.info()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 1]

### 1.2.2 观察表格前10行的数据和后15行的数据 ###

df.head(10)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 2]

df.tail(15)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 3]

### 1.2.4 判断数据是否为空，为空的地方返回True，其余地方返回False ###

df.isnull().head()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 4]  
对于一个数据，还可以从这个数据是否具有异常值、是否存在噪音等。

### 1.3 保存数据为新的文件 ###

df.to_csv('train_chinese.csv')

# PART 2: pandas基础 #

## 2.1 知道你的数据叫什么 ##

### 2.1.1 DataFrame 和 Series ###

import numpy as np
    import pandas as pd
    
    sdata = {
        'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
    example_1 = pd.Series(sdata)
    example_1

![在这里插入图片描述][20200819172208367.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 5]  
对导入的train.csv取每列项  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 6]

查看"cabin"这列的所有项：  
![在这里插入图片描述][20200819172940796.png_pic_center]

加载文件"test\_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除  
经过我们的观察发现一个测试集test\_1.csv有一列是多余的，我们需要将这个多余的列删去  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 9]  
思考：我们还可以通过drop()方法来对指定列或行进行删除：

test_1.drop(['a'],axis=1)

![在这里插入图片描述][20200819172555425.png_pic_center]  
以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。![在这里插入图片描述][20200819172616456.png_pic_center]  
以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 10]  
将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 11]  
reset\_index()作用为将df的原index\_label作为新的一列留存，且列名为index，同时自动生成数字index。，如果不用这个函数，下面任务会变成：  
![在这里插入图片描述][20200819173046547.png_pic_center]  
使用loc方法将midage的数据中第100，105，108行的"Pclass"，“Name"和"Sex"的数据显示出来  
![在这里插入图片描述][20200819172739190.png_pic_center]  
使用iloc方法将midage的数据中第100，105，108行的"Pclass”，"Name"和"Sex"的数据显示出来  
![在这里插入图片描述][2020081917274940.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 13]  
![在这里插入图片描述][20200819190619283.png_pic_center]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 14]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 15]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 16]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 17]  
调用 describe 函数，观察frame2的数据基本信息![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 18]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 19]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 20]

[20200816145156179.png_pic_center]: /images/20221124/c83fa1784f7f4858bcb8ef40d7e7c149.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/64fe25da10e146fbb4254f181e160fe2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/7f4af96eedd847169bb20e4c720c3dfa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/eac3ed90d4244547a07895f9a3b6cbe2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/6655fc2ede834eb19793e22f2e9e64ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/dea5ea81bfdf404cae0b8a4486464621.png
[20200819172208367.png_pic_center]: /images/20221124/d565c411808b436ba43b04351aea5c37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/9c447e0d1f9d494aa6bdf5ac21e0f7ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221124/253baae0f39849d9ae990f8ad3acd941.png
[20200819172940796.png_pic_center]: /images/20221124/a6b59589d02d4c75944eaf3558e85f6d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221124/94cd494aef8b49c38dd661291c45f8db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221124/0b9f6909c45a4e1eb5a60d47e5b9226c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221124/0b5b740d3e9f4ef2bafe7466c313aeaa.png
[20200819172555425.png_pic_center]: /images/20221124/2d6135e055d143e4a3f98b5a6f59cb0f.png
[20200819172616456.png_pic_center]: /images/20221124/d7f5c0c9ef694b8f85dc07568f146d3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221124/5608c4e22d84401ba1afad42e5f5f731.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221124/897c0c6fb287478093e9bd262a06c776.png
[20200819173046547.png_pic_center]: /images/20221124/29bb04497f504519a62c0dc765d90671.png
[20200819172739190.png_pic_center]: /images/20221124/19b0dd97712a4f578d1eb3e65664403b.png
[2020081917274940.png_pic_center]: /images/20221124/449bbe9f2c674dc2994afc9207c48345.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221124/9e2839bc70da4db0b465c23e2926d2dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221124/fbafcc3ef0ef4549a3b47888113f10f0.png
[20200819190619283.png_pic_center]: /images/20221124/bfb405b0d9fa437a93ff8f6eca984f98.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20221124/1def0b40d219467197e217520557e680.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20221124/b49e592f9a574faf807f7533b4f3b4d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20221124/a6ebbe9400bb4165bf809f38ec673837.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 17]: /images/20221124/80d37181504941ff840971c266ad4551.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 18]: /images/20221124/1c13a46bd5524f6a814baddb8a8fa0ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 19]: /images/20221124/9a554de0458f4f6b84f5b4b6bb0864cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 20]: /images/20221124/cf888211e2c446a5b9545892c504ae91.png