数据处理的6个 Python 代码块分享

雨点打透心脏的1/2处 2024-03-31 16:01 7阅读 0赞

这篇文章主要介绍了进行数据处理6个Python代码块的分享，分享内容有选取有空值的行、快速替换列值、对列进行分区、将一列分为多列等内容,需要的朋友可以参考一下。对于经常处理数据的coder最好熟练掌握。

### 1、选取有空值的行 ###

在观察数据结构时，该方法可以快速定位存在缺失值的行。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>df </code><code>=</code> <code>pd.DataFrame({ </code><code>'A'</code><code>: [</code><code>0</code><code>, </code><code>1</code><code>, </code><code>2</code><code>],</code> <code>&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</code><code>'B'</code><code>: [</code><code>0</code><code>, </code><code>1</code><code>, </code><code>None</code><code>],</code> <code>&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</code><code>'C'</code><code>: [</code><code>0</code><code>, </code><code>None</code><code>, </code><code>2</code><code>]})</code> <code>df[df.isnull().T.</code><code>any</code><code>()]</code> </td> 
 </tr> 
 </tbody> 
</table>

**输出：**

> A B C A B C  
> 0 0 0.0 0.0 1 1 1.0 NaN  
> 1 1 1.0 NaN --> 2 2 NaN 2.0  
> 2 2 NaN 2.0

### 2、快速替换列值 ###

实际数据处理经常会根据一些限定条件来替换列中的值。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>df </code><code>=</code> <code>pd.DataFrame({ </code><code>'name'</code><code>:[</code><code>'Python'</code><code>, </code><code>'Java'</code><code>, </code><code>'C'</code><code>]})</code> <code># 第一种方式</code> <code>df[</code><code>'name'</code><code>].replace(</code><code>'Java'</code><code>, </code><code>'JavaScript'</code><code>, inplace</code><code>=</code><code>True</code><code>)</code> <code># 第二种方式</code> <code>df.loc[df[</code><code>'name'</code><code>].</code><code>str</code><code>.contains(</code><code>'Java'</code><code>), </code><code>'name'</code><code>] </code><code>=</code> <code>'JavaScript'</code> </td> 
 </tr> 
 </tbody> 
</table>

**输出：**

> name name  
> 0 Python 0 Python  
> 1 Java ---> 1 JavaScript  
> 2 C 2 C

### 3、对列进行分区 ###

很多情况下，对于数值类型的数据，我们需要分区来计算每个区间数据出现的频率。这时用 pd.cut 就能很好的解决这一问题。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>import</code> <code>random</code> <code>age </code><code>=</code> <code>random.sample(</code><code>range</code><code>(</code><code>90</code><code>), </code><code>20</code><code>)</code> <code>cut_res </code><code>=</code> <code>pd.cut(age, bins</code><code>=</code><code>[</code><code>0</code><code>, </code><code>18</code><code>, </code><code>35</code><code>, </code><code>60</code><code>, </code><code>90</code><code>])</code> <code># cut_res type：&lt;class 'pandas.core.arrays.categorical.Categorical'&gt;</code> <code>cut_res.value_counts()</code> </td> 
 </tr> 
 </tbody> 
</table>

**输出：**

> (0, 18\] 6  
> (18, 35\] 1  
> (35, 60\] 6  
> (60, 90\] 7

### 4、将一列分为多列 ###

在文本数据清洗时，一些列中存在分隔符(‘’, ‘,’, ‘:’)分隔的值，我们只需将该列根据分隔符进行 split 即可。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 </td> 
 <td> <code>import</code> <code>pandas as pd</code> <code>df </code><code>=</code> <code>pd.DataFrame({ </code><code>'address'</code><code>: [</code><code>'四川省 成都市'</code><code>,</code> <code>&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</code><code>'湖北省 武汉市'</code><code>,</code> <code>&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</code><code>'浙江省 杭州市'</code><code>]})</code> <code>res </code><code>=</code> <code>df[</code><code>'address'</code><code>].</code><code>str</code><code>.split(</code><code>' '</code><code>, expand</code><code>=</code><code>True</code><code>) &nbsp;</code> <code>res.columns </code><code>=</code> <code>[</code><code>'province'</code><code>, </code><code>'city'</code><code>]</code> </td> 
 </tr> 
 </tbody> 
</table>

**输出：**

> province city  
> 0 四川省 成都市  
> 1 湖北省 武汉市  
> 2 浙江省 杭州市

expand参数选择是否扩展为 DataFrame，False 则返回 Series

### 5、中文筛选 ###

同样在清洗过程中，往往会出现一些不需要的中文字段，这时直接用 str.contains 筛选即可。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 </td> 
 <td> <code>df </code><code>=</code> <code>pd.DataFrame({ </code><code>'mobile_phone'</code><code>:</code> <code>&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</code><code>[</code><code>'15928765644'</code><code>,</code> <code>&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; </code><code>'15567332235'</code><code>,</code> <code>&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; </code><code>'暂无'</code><code>]})</code> <code>df[~df[</code><code>'mobile_phone'</code><code>].</code><code>str</code><code>.contains(</code><code>'[\u4e00-\u9fa5]'</code><code>)]</code> </td> 
 </tr> 
 </tbody> 
</table>

**输出：**

> mobile\_phone mobile\_phone  
> 0 15928765644 0 15928765644  
> 1 15567332235 --> 1 15567332235  
> 2 暂无

### 6、更改列的位置 ###

有时我们需要调整列的位置，当数据列较少时，可以用下面的方式

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>df </code><code>=</code> <code>pd.DataFrame({ </code><code>'name'</code><code>: [</code><code>'A'</code><code>, </code><code>'B'</code><code>, </code><code>'C'</code><code>],</code> <code>&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</code><code>'age'</code><code>: [</code><code>10</code><code>, </code><code>20</code><code>, </code><code>30</code><code>],</code> <code>&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</code><code>'gender'</code><code>: [</code><code>0</code><code>, </code><code>1</code><code>, </code><code>0</code><code>]})</code> <code>df </code><code>=</code> <code>df[[</code><code>'name'</code><code>, </code><code>'gender'</code><code>, </code><code>'age'</code><code>]]</code> </td> 
 </tr> 
 </tbody> 
</table>

**输出：**

> name age gender name gender age  
> 0 A 10 0 0 A 0 10  
> 1 B 20 1 --> 1 B 1 20  
> 2 C 30 0 2 C 0 30

如果列较多，那么，一个个列举出来会比较繁琐，推荐下面插入的方式。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>col </code><code>=</code> <code>df[</code><code>'gender'</code><code>]</code> <code>df.drop(</code><code>'gender'</code><code>, axis</code><code>=</code><code>1</code><code>, inplace</code><code>=</code><code>True</code><code>)</code> <code>df.insert(</code><code>1</code><code>, </code><code>'gender'</code><code>, col)</code> </td> 
 </tr> 
 </tbody> 
</table>

到此这篇关于进行数据处理的6个 Python 代码块分享的文章就介绍到这了,

来源：[https://www.weidianyuedu.com][https_www.weidianyuedu.com]

[https_www.weidianyuedu.com]: https://www.weidianyuedu.com