pythondataframe输出小结

- 日理万妓 2022-05-31 01:20 1290阅读 0赞

在使用dataframe时遇到datafram在列太多的情况下总是自动换行显示的情况，导致数据阅读困难，效果如下：  
  
  
\# -\*- coding: utf-8 -\*-  
import numpy as np  
import pandas as pd  
  
**df = pd.DataFrame(np.random.randn(1, 20))**  
****  
print df  
   
显示效果:  
  
         0         1         2         3         4         5         6   \\  
0 -1.193428 -0.870381 -0.970323 -1.062275  1.227282 -3.016298 -0.587623     
  
         7         8         9         10        11       12        13  \\  
0 -0.608017 -0.006382  0.275454 -0.073537  1.217392 -0.12844 -1.228424     
  
         14        15        16        17        18        19    
0 -1.153452  0.191372  0.582537  0.503437 -2.263716 -0.529881    
height has been deprecated.   
  
  
解决方法：   
  
在代码中设置显示的长宽等，如下代码示例：  
  
  
\# -\*- coding: utf-8 -\*-  
import numpy as np  
import pandas as pd  
  
  
**pd.set\_option('display.height',1000)  
**  
**pd.set\_option('display.max\_rows',500)  
**  
**pd.set\_option('display.max\_columns',500)  
**  
**pd.set\_option('display.width',1000)**  
  
  
df = pd.DataFrame(np.random.randn(1, 20))  
print df   
  
  
  
  
def get\_achievement(self):  
        fc=ts.forecast\_data(2016,4)  
        print fc  
   
上面这个简单的代码意思是获取已经发布的2016年第4季度的业绩预告的上市公司。   
  
![pandas省略号.PNG][pandas_.PNG]   
中间多了个省略号，就是中间若干的数据因为太多而没有被显示。 那么要怎样才能正常显示所有数据呢？？？  
   
查看了pandas的官方文档。  
  
**pandas.set\_option() 可以设置pandas相关的参数，从而改变默认参数。 打印pandas数据事，默认是输出100行，多的话会输出....省略号。**  
   
那么可以添加： pandas.set\_option('display.max\_rows',None)  
  
或者  **np.set\_printoptions(threshold='nan')  \#全部输出 **      
  
 import numpy as np    
**np.set\_printoptions(threshold=np.inf)**     
  
  
这样就可以显示全部数据：  
   
    def get\_achievement(self):  
  
  
        fc=ts.forecast\_data(2016,4)  
        ** pandas.set\_option('display.max\_rows',None)**  
        print fc

import numpy as np    
import pandas as pd    
**df = pd.DataFrame(\[\['Snow','M',22\],\['Tyrion','M',32\],\['Sansa','F',18\],\['Arya','F',14\]\], columns=\['name','gender','age'\])  **  
  
  
     name    gender  age    
0    Snow     M       22    
1    Tyrion   M       32    
2    Sansa    F       18    
3    Arya     F       14    
  
  
\#打印列名  
**df.columns  **  
  
Index(\['name', 'gender', 'age'\], dtype='object')   
  
**df\['column\_name'\] ，df\[row\_start\_index, row\_end\_index\] 选取指定整列数据**  
  
  
df\['name'\]    
df\['gender'\]    
df\[\['name','gender'\]\] \#选取多列，多列名字要放在list里    
**df\[0:\]  \#第0行及之后的行，相当于df的全部数据，注意冒号是必须的 **   
df\[:2\]  \#第2行之前的数据（不含第2行）    
**df\[0:1\] \#第0行 **   
df\[1:3\] \#第1行到第2行（不含第3行）    
**df\[-1:\] \#最后一行  **  
df\[-3:-1\] \#倒数第3行到倒数第1行（不包含最后1行即倒数第1行，这里有点烦躁，因为从前数时从第0行开始，从后数就是-1行开始，毕竟没有-0）    
  
**loc，在知道列名字的情况下，df.loc\[index,column\] 选取指定行，列的数据**  
  
\# df.loc\[index, column\_name\],选取指定行和列的数据    
  
df.loc\[0,'name'\] \# 'Snow'    
**df.loc\[0:2, \['name','age'\]\]          \#选取第0行到第2行，name列和age列的数据, 注意这里的行选取是包含下标的。  **  
df.loc\[\[2,3\],\['name','age'\]\]         \#选取指定的第2行和第3行，name和age列的数据    
  
df.loc\[df\['gender'\]=='M','name'\]     \#选取gender列是M，name列的数据    
**df.loc\[df\['gender'\]=='M',\['name','age'\]\] \#选取gender列是M，name和age列的数据  **  
  
  
iloc，在column name特别长或者index是时间序列等各种不方便输入的情况下，可以用iloc (i = index), iloc完全用数字来定位 iloc\[row\_index, column\_index\]  
  
df.iloc\[0,0\]        \#第0行第0列的数据，'Snow'    
df.iloc\[1,2\]        \#第1行第2列的数据，32    
  
**df.iloc\[\[1,3\],0:2\]  \#第1行和第3行，从第0列到第2列（不包含第2列）的数据**   
   
**df.iloc\[1:3,\[1,2\]   \#第1行到第3行（不包含第3行），第1列和第2列的数据  **  
  
  
ix, ix很强大，loc和iloc的功能都能做到 ix\[row\_index, column\_index\]  
  
  
ix虽然强大，然而已经不再被推荐，因为在最新版的pandas里面，ix已经成为deprecated。（https://github.com/pandas-dev/pandas/issues/14218）  
  
  
大概是因为可以混合label和position导致了很多用户问题和bug。  
  
  
所以， **用label就用loc，用position就用iloc。**  
  
  
df.ix\[0,0\]      \#第0行第0列的数据，'Snow'    
  
df.ix\[0,\[1,2\]\]      \#第0行，第1列和第2列的数据    
  
df.ix\[0:2,\[1,2\]\]    \#第0行到第2行（包含第3行），第1列和第2列的数据    
  
df.ix\[1,0:2\]        \#第1行，从第0列到第2列（不包含第2列）的数据    
  
**切片时，iloc行不含下标上限，loc,ix行包含，列iloc和ix都不含列下标上限**   
  
  
创建数据集  
  
\# 导入pandas与numpy  
import pandas as pd  
import numpy as np  
\#创建一个dataframe 以时间序列为index 以abcdef为column  
date1 = pd.date\_range("20170813",periods=6)  
df = pd.DataFrame(data=np.random.randint(3,9,size=(6,6)),index=date1,columns=list(\["a","b","c","d","e","f"\]))  
print(df)  
  
  
            a   b   c   d   e   f  
2017-08-13  6   5   5   5   4   4  
2017-08-14  3   3   4   3   4   8  
2017-08-15  3   5   5   6   5   4  
2017-08-16  5   3   5   3   3   4  
2017-08-17  3   6   3   4   8   6  
2017-08-18  7   6   5   7   4   6  
  
根据column选取  
  
**print(df\["a"\])**  
  
  
2017-08-13    6  
2017-08-14    3  
2017-08-15    3  
2017-08-16    5  
2017-08-17    3  
2017-08-18    7  
Freq: D, Name: a, dtype: int32   
  
  
根据index进行选取  
  
**print(df\[0:1\])**  
  
  
            a   b   c   d   e   f  
2017-08-13  5   6   4   3   3   7  
  
  
  
loc函数的使用  
\# 根据loc函数进行选取指定行  
  
**print(df.loc\["2017-08-18",:\])**  
  
  
\# 使用loc函数选取所有行 并对列上的数据进行筛选  
  
**print(df.loc\[:,("a","b","f")\])**  
  
  
\# 使用loc函数筛选行与列  
  
**print(df.loc\["2017-08-14",\["b","a","e"\]\])**  
  
a    7  
b    6  
c    5  
d    7  
e    4  
f    6  
Name: 2017-08-18 00:00:00, dtype: int32  
  
  
  
            a   b   f  
2017-08-13  5   6   7  
2017-08-14  5   4   7  
2017-08-15  3   6   4  
2017-08-16  7   7   7  
2017-08-17  7   5   7  
2017-08-18  7   8   4  
  
  
b    4  
a    5  
e    6  
Name: 2017-08-14 00:00:00, dtype: int32   
  
  
iloc函数的使用  
  
\# 使用iloc函数对行与列的位置进行选取  
  
  
\# 使用iloc函数选取第三行第三列的数据  
  
**print(df.iloc\[3,3\])**  
  
  
\# 使用iloc函数选取第3行到第5行与第3列到第5列的数据  
  
**print(df.iloc\[3:5,3:5\])**  
  
  
\# 使用iloc函数选取1、2、5行与2、4、5列数据  
print(df.iloc\[\[1,2,5\],\[2,4,5\]\])  
  
  
3  
  
  
            d   e  
2017-08-16  3   5  
2017-08-17  4   6  
  
            c   e   f  
2017-08-14  8   6   7  
2017-08-15  6   5   4  
2017-08-18  5   3   4  
  
  
  
ix函数  
\# 使用ix函数综合iloc与loc函数进行筛选  需要注意的是ix函数的第一个参数要使用索引位  
print(df.ix\[\[0,2\],\[0,3\]\])  
print(df.ix\[\[0,2\],\["a","e"\]\])  
  
  
  
  
  
  
            a   d  
2017-08-13  5   3  
2017-08-15  3   5  
  
  
  
  
            a   e  
2017-08-13  5   3  
2017-08-15  3   5  
  
  
使用boolean index参数进行切片  
**print(df\[\[True,True,False,True,True,False\]\])**  
  
  
            a   b   c   d   e   f  
2017-08-13  6   5   5   5   4   4  
2017-08-14  3   3   4   3   4   8  
2017-08-16  5   3   5   3   3   4  
2017-08-17  3   6   3   4   8   6  
  
  
\# boolean index结合loc函数使用  
**df.loc\[df\["a"\]>5,df.loc\["2017-08-15",:\]>4\]**  
  
  
  
            b   c   d   e  
2017-08-13  5   5   5   4  
2017-08-18  6   5   7   4   
  
  
import pandas as pd 引用pandas时使用pd名称就可  
  
  
使用DataFrame查看数据(类似SQL中的select):  
  
  
from pandas import DataFrame \#从pandas库中引用DataFrame  
  
  
df\_obj = DataFrame() \#创建DataFrame对象  
  
  
**df\_obj.dtypes \#查看各行的数据格式**  
  
  
df\_obj.head() \#查看前几行的数据,默认前5行  
  
  
df\_obj.tail() \#查看后几行的数据,默认后5行  
  
  
**df\_obj.index \#查看索引**  
  
  
df\_obj.columns \#查看列名  
  
  
df\_obj.values \#查看数据值  
  
  
**df\_obj.describe \#描述性统计**  
  
  
df\_obj.T \#转置  
  
  
**df\_obj.sort(columns = '')\#按列名进行排序**  
  
  
df\_obj.sort\_index(by=\['',''\])\#多列排序,使用时报该函数已过时,请用sort\_values  
  
  
df\_obj.sort\_values(by=\['',''\])同上  
   
使用DataFrame选择数据(类似SQL中的LIMIT):  
  
  
df\_obj\[‘客户名称’\] \#显示列名下的数据  
  
  
**df\_obj\[1:3\] \#获取1-3行的数据,该操作叫切片操作,获取行数据**  
  
  
df\_obj.loc\[:0,\['用户号码','产品名称'\]\] \#获取选择区域内的数据,逗号前是行范围,逗号后是列范围,注loc通过标签选择数据,iloc通过位置选择数据  
  
  
**df\_obj\['套餐'\].drop\_duplicates() \#剔除重复行数据**  
  
  
使用DataFrame重置数据:  
  
  
df\_obj.at\[df\_obj.index,'支局\_维护线'\]='自有厅' \#通过标签设置新的值,如果使用iat则是通过位置设置新的值  
  
  
使用DataFrame筛选数据(类似SQL中的WHERE):  
  
  
alist = \['023-18996609823'\]  
  
  
df\_obj\['用户号码'\].isin(alist) \#将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回ture  
  
  
df\_obj\[df\_obj\['用户号码'\].isin(alist)\] \#获取匹配结果为ture的行  
  
  
使用DataFrame模糊筛选数据(类似SQL中的LIKE):  
  
  
df\_obj\[df\_obj\['套餐'\].str.contains(r'.\*?语音CDMA.\*')\] \#使用正则表达式进行模糊匹配,\*匹配0或无限次,?匹配0或1次  
  
  
使用DataFrame进行数据转换(后期补充说明)  
  
  
df\_obj\['支局\_维护线'\] = df\_obj\['支局\_维护线'\].str.replace('巫溪分公司(.\{2,\})支局','\\\\1')\#可以使用正则表达式  
  
  
df\_obj\['支局\_维护线'\].drop\_duplicates() \#返回一个移除重复行的数据  
  
  
可以设置take\_last=ture 保留最后一个,或保留开始一个.补充说明:注意take\_last=ture已过时,请使用keep='last'  
  
  
使用pandas中读取文本数据:  
  
  
read\_csv('D:\\LQJ.csv',sep=';',nrows=2) \#首先输入csv文本地址,然后分割符选择等等  
  
  
使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):  
  
  
data\_obj\['用户标识'\].groupby(data\_obj\['支局\_维护线'\])  
  
  
data\_obj.groupby('支局\_维护线')\['用户标识'\] \#上面的简单写法  
  
  
adsl\_obj.groupby('支局\_维护线')\['用户标识'\].agg(\[('ADSL','count')\])  
  
  
\#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL  
  
  
使用pandas合并数据集(类似SQL中的JOIN):  
  
  
merge(mxj\_obj2, mxj\_obj1 ,on='用户标识',how='inner')\# mxj\_obj1和mxj\_obj2将用户标识当成重叠列的键合并两个数据集,inner表示取两个数据集的交集.   
  
  
def load\_excel\_data(filename):  
     **data = pd.ExcelFile(filename)**  
    print data.sheet\_names  
     **df = data.parse("Sheet1")**  
    id = df\['ID'\]  
    priority\_id = df\[u'优先级'\]  
    print id  
    print priority\_id  
    return id,priority\_id  
  
import pandas as pd  
  
xlsfile = r'D:\\workfile\\uv\\wind.xls'  
  
**df0 = pd.read\_excel(xlsfile,0,index\_col = None,na\_values= \['9999'\])  
**  
**df1 = pd.read\_excel(xlsfile,1,index\_col = None,na\_values= \['9999'\])**  
  
  
\#index\_col拿出某列作为index  
  
**with pd.ExcelWriter('newxls.xls') as writer:**  
    df0.to\_excel(writer,sheet\_name = str(0))  
    df1.to\_excel(writer,sheet\_name = str(1))  
  
  
import pandas as pd  
import xlrd  
xlsfile = r'D:\\workfile\\uv\\wind.xls'  
**book = xlrd.open\_workbook(xlsfile) **  
\#xlrd用于获取每个sheet的sheetname    
\#count = len(book.sheets())  
with pd.ExcelWriter('newxls.xls') as writer:  
    for sheet in book.sheets():  
        print sheet.name  
        df = pd.read\_excel(xlsfile,sheet.name,index\_col = None,na\_values= \['9999'\])  
        df.to\_excel(writer,sheet\_name = sheet.name)  
  
  
  
  
使用pandas读写Excel文件：    
    模块安装：    
        pip install openpyxl    
        模块openpyxl源于PHPExcel，它提供了针对.xlsx文件的读写功能    
        pip install xlsxwriter    
        模块也需要读取.xlsx文件    
        pip install xlrd    
    模块xlrd能用来析取.xls和.xlsx文件中的数据。下面，我们先来生成用于填充pandas中DataFrame的随机数，然后用这个DataFrame创建一个Excel文件，接着再用Excel文件重建DataFrame，并通过mean()方法来计算其平均值。对于Excel文件的工作表，我们既可以为其指定一个从0开始计数的索引，也可以为其规定一个名称。    
    import numpy as np    
    import pandas as pd    
    from tempfile import NamedTemporaryFile    
        
    np.random.seed(42)    
    a = np.random.randn(365,4)    
        
    tmpf = NamedTemporaryFile(suffix='.xlsx')    
    df = pd.DataFrame(a)    
    print tmpf.name    
    df.to\_excel(tmpf.name,sheet\_name='Random Data')    
    print "Means\\n", pd.read\_excel(tmpf.name, 'Random Data').mean()    
    
通过to\_excel()方法创建Excel文件，具体如下：    
    df.to\_excel(tmpf.name,sheet\_name='Random Data')  将DataFrame里的内容写入tmpf.name里，并把表取名为Random Data    
下面使用顶级read\_excel()函数来重建DataFrame，代码如下：    
    print "Means\\n", pd.read\_excel(tmpf.name, 'Random Data').mean()  读取tmpf.name里的Random Data表，并求每列的平均值   
  
  
  
  
  
  
  
  
\#coding:utf-8  
import pandas as pd  
import numpy as np  
  
  
filefullpath = r"/home/geeklee/temp/all\_gov\_file/pol\_gov\_mon/downloads/1.xls"  
\#filefullpath = r"/home/geeklee/temp/all\_gov\_file/pol\_gov\_mon/downloads/26368f3a-ea03-46b9-8033-73615ed07816.xls"  
**df = pd.read\_excel(filefullpath,skiprows=\[0\])**  
\#df = pd.read\_excel(filefullpath, sheetname=\[0,2\],skiprows=\[0\])  
\#sheetname指定为读取几个sheet，sheet数目从0开始  
\#如果sheetname=\[0,2\]，那代表读取第0页和第2页的sheet  
\#skiprows=\[0\]代表读取跳过的行数第0行，不写代表不跳过标题  
\#df = pd.read\_excel(filefullpath, sheetname=None ,skiprows=\[0\])  
  
  
print df  
print type(df)  
\#若果有多页，type(df)就为<type 'dict'>  
\#如果就一页，type(df)就为<class 'pandas.core.frame.DataFrame'>  
\#\{0:dataframe,1:dataframe,2:dataframe\}  
  
  
  
  
pandas.read\_excel(io, sheetname=0, header=0, skiprows=None, skip\_footer=0, index\_col=None, names=None, parse\_cols=None, parse\_dates=False, date\_parser=None, na\_values=None, thousands=None, convert\_float=True, has\_index\_names=None, converters=None, engine=None, squeeze=False, \*\*kwds)

[pandas_.PNG]: /images/20220531/f72a393b141043bdaa15e96f53c08cf2.png