python 将列和索引的值变换_Python知识点整理（持续更新）

妖狐艹你老母 2023-01-02 04:23 204阅读 0赞

![21ddec332c50ddcdf9e424d8494983d8.png][]

9本人Python小白一枚，为了可以快速的学习的Python，先通过做项目的过程中逐步积累知识，期望能慢慢形成自己的体系，下面是一些做项目之前自己学习的Python的基础知识。

![6dc59eeacbd01f957d3cbc093fe9cc02.png][]

![77a67f71cc710a5ec20d040b7e296d71.png][]

![d5759344a9da9816fac3af02cceb3d4d.png][]

## 一、知识点1——pd.to\_numeric ##

**to\_numeric**：将参数转换为数值类型。根据提供的数据，**默认**返回的dtype是**float64或int64**。使用***downcast***参数获取其他**dtype**。

参数（arg）可以为：列表（list）,元组（ tuple）,一维数组（ 1-d array或者Series）

errors：\{‘raise’，‘ignore’，‘coerce’\}，errors参数包含3种值，

如果errors=‘raise’，则无效的解析将引发异常

如果errors=‘ignore’，则无效的解析将返回输入

如果errors=‘coerce’，则无效的解析将会设置为NAN

例子1：

s = pd.Series(['1.0', '2', -3])
    pd.to_numeric(s)

![0f1db2e8c5eda377cc4d528a86e8bb0f.png][]

pd.to_numeric(s, downcast='float')

![beea310df140652c3d6b96879aeb7e3e.png][]

pd.to_numeric(s, downcast='signed')

![136064b307130697ff4b4ae2f0b10eee.png][]

例子2：

s = pd.Series(['apple', '1.0', '2', -3])
    pd.to_numeric(s, errors='ignore')

![b1a972a66d650950261b6a88da057b8c.png][]

pd.to_numeric(s, errors='coerce')

![d8f7ec0596b427fbcc76a9d4a24ecf0f.png][]

## 二、知识点2——时间转换 ##

to\_datetime：

（1）获取指定的时间和日期

pd.to_datetime('2017/01/08',format='%Y/%m/%d')

![3ac96eab5974a7bd9e42bdf7183a4974.png][]

（2）将时间戳转换为时间格式

#时间戳变为时间
    def convertTime(timeColList):
        timeList=[]
        for value in timeColList:
            dateSer=time.localtime(value)
            timeList.append(time.strftime('%Y-%m-%d %H:%M:%S',dateSer))
        dateSer=pd.Series(timeList)
        return dateSer

## 三、知识点3——pandas文本数据转整数分类编码 ##

数据集中通常包含分类变量，这些变量中通常存储为表示各种特征的文本值。在进行数据分析时，我们需要对分类产量进行特征提取，以便后续建立模型。

### 1、替换字符串——map函数 ###

查找列中所有的字符串，然后给不同字符串一个编号（映射为数字），然后用编号替换字符串

import pandas as pd
    df = pd.DataFrame([
                ['green', '男', 10.1, 'class1'], 
                ['red', '女', 13.5, 'class2'], 
                ['blue', '女', 15.3, 'class1']])
    
    df.columns = ['color', 'sex', 'prize', 'class label']
    '''
    对于性别进行映射
    '''
    sex_mapping = {
         
               '男': 0,
               '女': 1}
    df['sex'] = df['sex'].map(sex_mapping)

结果：

![b9f9ef914c2ea72c5b43e6b7892bee60.png][]

### 2、标签编码——astype('category') ###

标签编码只是将列中的每个值转换为数字。

bs=df['class label'].astype('category')

![386b854444aa0a2385fafa9101138fe7.png][]

然后你只需要使用标签的编码作为真正的数据就可以了:

bs.cat.codes.head()

![65320ea2b70da573770794f674c1bb83.png][]

标签编码的优点是它很简单，但它的缺点是数值可能被算法“误解”。

### 3、转换成哑变量，或者叫one-hot编码——pandas get\_dummies()函数 ###

df=pd.get_dummies(要进行转换的列,prefix='列名')

get\_dummies的第一个参数为要转换为哑变量的列，第二个参数为要生成的哑变量的名称的前缀。

## 四、知识点4——列名重命名 ##

### 1、导入数据无列名时 ###

在导入数据时，添加参数header=None

lianjiaData = pd.read_excel('rlianjia.xlsx')        
    df = lianjiaData.copy()        
    display(df.head(5))

![d4cb359ab1dc0bd824a00e8fd82a6c9c.png][]

#导入数据
    lianjiaData = pd.read_excel('rlianjia.xlsx',header=None)  
    #备份数据      
    df = lianjiaData.copy() 
    #列名重命名的第一种方法
    df.colunms=['TotalPrice','PerPrice','Floor','Message','Popularity']       
    display(df.head(5))

![b7c48a64d8f09e17d17260d9198d7678.png][]

### 2、第1种方法 ###

import pandas as pd
    a = pd.DataFrame({'A':[1,2,3], 'B':[4,5,6], 'C':[7,8,9]})
    a

![de3abab23feb0a88d229450026580148.png][]

a.columns=['a','b','c']
    a

![98195c6331d1e91b5222ed8cc29cb64a.png][]

3、第2种方法

a.rename(columns={'A':'a', 'B':'b', 'C':'c'}, inplace = True)
    a

![5d5632c47f9a6f39502fd6249f4355d8.png][]

## 五、知识点5——删除缺失值 ##

data = data[data['SALE PRICE'].notnull()]

## 六、知识点6——异常值处理 ##

### 1、异常值的检测方法 ###

*  简单统计

如果使用`pandas`，我们可以直接使用`describe()`来观察数据的统计性描述（只是粗略的观察一些统计量），不过统计数据为连续型的，如下：

import pandas as pd
    import numpy as np
    #导入数据集
    nycData=pd.read_csv('F:/nyc-property-sales/nyc-rolling-sales.csv')
    #查看数据集
    nycData.describe()

![a1d8c1392e825dd1962e36a99c0c22b0.png][]

*  3∂原则

使用条件：**数据需要服从正态分布**。在3∂原则下，异常值如超过3倍标准差，那么可以将其视为异常值。正负3∂的概率是99.7%，那么距离平均值3∂之外的值出现的概率为P(|x-u| > 3∂) <= 0.003，属于极个别的小概率事件。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。

![bc7d7ca8646adf67fd842b06378afe31.png][]

*  箱型图

利用箱型图的**四分位距（IQR）**对异常值进行检测，也叫**Tukey‘s test**。箱型图的定义如下：

![bca40ca1d3a1e5875ffe714719010f1e.png][]

以四分位距的的1.5倍为标准，超过**上四分位+1.5倍IQR距离，或者下四分位-1.5倍IQR距离**的点为异常值。

--------------------

以上三种方法为比较简单的判断异常值的方法，较为复杂的异常值检测方法后续用到并深入了解后再进行添加。

### 2、异常值处理方法 ###

*  **删除含有异常值的记录**：直接将含有异常值的记录删除；(**具体操作见知识点7**)
 *  **视为缺失值**：将异常值视为缺失值，利用缺失值处理的方法进行处理；
 *  **平均值修正**：可用前后两个观测值的平均值修正该异常值；
 *  **不处理**：直接在具有异常值的数据集上进行数据挖掘；

## 七、知识点7——pandas.DataFrame删除/选取含有特定数值的行或列 ##

### 1、删除/选取某列含有特殊数值的行 ###

import pandas as pd
    import numpy as np
    a=np.array([[1,2,3],[4,5,6],[7,8,9]])
    df1=pd.DataFrame(a,index=['row0','row1','row2'],columns=list('ABC'))
    print(df1)
    df2=df1.copy()
     
    #删除/选取某列含有特定数值的行
    #df1=df1[df1['A'].isin([1])]
    #df1[df1['A'].isin([1])]  选取df1中A列包含数字1的行
     
    df1=df1[~df1['A'].isin([1])]
    #通过~取反，选取不包含数字1的行
    print(df1)

![66661c4775c7cc8cebdfe3e7c6d45f52.png][]

### 2、删除/选取某行含有特殊数值的列 ###

import pandas as pd
    import numpy as np
    #删除/选取某行含有特定数值的列
    cols=[x for i,x in enumerate(df2.columns) if df2.iat[0,i]==3]
    #利用enumerate对row0进行遍历，将含有数字3的列放入cols中
    print(cols)
     
    #df2=df2[cols]   选取含有特定数值的列
    df2=df2.drop(cols,axis=1) #利用drop方法将含有特定数值的列删除
    print(df2)

## 八、知识点8——pandas DataFrame获取索引 ##

df.index.values

[21ddec332c50ddcdf9e424d8494983d8.png]: /images/20221120/d9cd579c2ac24f22acef2f93662cd75b.png
[6dc59eeacbd01f957d3cbc093fe9cc02.png]: /images/20221120/cffedcd405c14b569463d9992f416c5b.png
[77a67f71cc710a5ec20d040b7e296d71.png]: /images/20221120/4bdfb65b1ce44bbab59c72d683ddbaf4.png
[d5759344a9da9816fac3af02cceb3d4d.png]: /images/20221120/81993e324b894dbdbf5b844247082623.png
[0f1db2e8c5eda377cc4d528a86e8bb0f.png]: /images/20221120/0930c9c062fe4f3caa5b7f652be87b69.png
[beea310df140652c3d6b96879aeb7e3e.png]: /images/20221120/caaf2578a2054bf29e3cddd39b82832c.png
[136064b307130697ff4b4ae2f0b10eee.png]: /images/20221120/217600c0910342809022d0deaab1ffa1.png
[b1a972a66d650950261b6a88da057b8c.png]: /images/20221120/f2ff917a3da243febf8d5571e9544833.png
[d8f7ec0596b427fbcc76a9d4a24ecf0f.png]: /images/20221120/741d69d48cd44d0eb1d52fdd65bb9d7b.png
[3ac96eab5974a7bd9e42bdf7183a4974.png]: /images/20221120/99b0afb38cc645408650705104e2f45e.png
[b9f9ef914c2ea72c5b43e6b7892bee60.png]: /images/20221120/14c6ea2ff0ec44d79e8cb23a0db47c7f.png
[386b854444aa0a2385fafa9101138fe7.png]: /images/20221120/16c11f2dd3fd4191aac1adc87e6bac12.png
[65320ea2b70da573770794f674c1bb83.png]: /images/20221120/7b326ab5afb640bb9e5bf9ccf6ebc852.png
[d4cb359ab1dc0bd824a00e8fd82a6c9c.png]: /images/20221120/8a803e3be298407ab8cfc92c67eaddc1.png
[b7c48a64d8f09e17d17260d9198d7678.png]: /images/20221120/561f0497e0bc4bfba4c9f6b2853135a7.png
[de3abab23feb0a88d229450026580148.png]: /images/20221120/90e7ad443f2a43d996e1fd9e81f51caf.png
[98195c6331d1e91b5222ed8cc29cb64a.png]: /images/20221120/4909690d147f44a9a8e00f10e1cfcd34.png
[5d5632c47f9a6f39502fd6249f4355d8.png]: /images/20221120/5bd88d4b83e04c1a82aab4632e2268c3.png
[a1d8c1392e825dd1962e36a99c0c22b0.png]: /images/20221120/1430bf8b237c40a9947dee6cc373dea0.png
[bc7d7ca8646adf67fd842b06378afe31.png]: /images/20221120/0b176592bc13431c90615bed17fe428f.png
[bca40ca1d3a1e5875ffe714719010f1e.png]: /images/20221120/4bb0ef522e0a43db89c86c113f1a450e.png
[66661c4775c7cc8cebdfe3e7c6d45f52.png]: /images/20221120/5e2a915b2f2a46aeb81b6b4a35c92680.png