在pandas中使用sql

阳光穿透心脏的1/2处 2022-07-24 06:17 141阅读 0赞

# 在pandas中使用sql #

就像可以使用sqldf在R中使用sql一样，可以使用pandasql在pandas中使用sql操作DataFrame，对于熟悉数据库的人来说，更喜欢用sql做数据清洗整合吧。  
DataFrame，是一个二维的表格，就和数据库表一样，所以用sql操作DataFrame也就水到渠成了。  
pandasql使用 SQLite作为其操作数据库，使用的sql也遵循 SQLite代码规范。Python自带 SQLite模块，所以不需要安装，可以直接使用。  
下面的pandasql在github的一些例子。  
注：操作DataFrame得到的还是DataFrame

from pandasql import sqldf
    # 查找内存中的pandas数据框
    pysqldf = lambda q: sqldf(q, globals())

# 导入模块，自带数据，寻找pandas数据框
    from pandasql import sqldf, load_meat, load_births
    pysqldf = lambda q: sqldf(q, globals())
    meat = load_meat()
    births = load_births()
    pysqldf("SELECT * FROM meat LIMIT 10;").head()

# 表关联
    q = """SELECT m.date, m.beef, b.births FROM meats m INNER JOIN births b ON m.date = b.date;"""
    joined = pyqldf(q)
    joined.head()
    # 分组计算
    q = "select strftime('%Y', date) as year , SUM(beef) as beef_total FROM meat GROUP BY year;"
    pysqldf(q).head()

如果需要在函数内使用sql，在需要定义全局变量

def my_sql(df):
        """在自定义函数内使用sql"""
        global g_df
        g_df = df  # 将局部变量传给全局变量，因为pysqldf找不到函数内的局部变量
        sql = "select * from g_df limit 10"
        new_df = pysqldf(sql)
        return new_df

pandasql的官方博客是：  
[http://blog.yhat.com/posts/pandasql-sql-for-pandas-dataframes.html][http_blog.yhat.com_posts_pandasql-sql-for-pandas-dataframes.html]  
github地址是：  
[https://github.com/yhat/pandasql][https_github.com_yhat_pandasql]

[http_blog.yhat.com_posts_pandasql-sql-for-pandas-dataframes.html]: http://blog.yhat.com/posts/pandasql-sql-for-pandas-dataframes.html
[https_github.com_yhat_pandasql]: https://github.com/yhat/pandasql