python3 pandas读取文本写入MySQL

落日映苍穹つ 2022-05-13 21:19 172阅读 0赞

import pymysql
    import pandas as pd
    from sqlalchemy import create_engine
    pymysql.install_as_MySQLdb()
    
    name = ['id','create_time','ruuid','version','addition',
            'bookname','content','dversion','grade','message','operatedate',
            'pageindex','realname','school','source','status','time','type','week','userid','caption']
    
    data = pd.read_table('/Users/yangyang/Desktop/report_table.txt',error_bad_lines=False,names = name)
    list = set()
    dict = {}
    
    for i,row in data.iterrows():
        label = "{} {} {} {} {} {} {}".format(row['time'],row['userid'],row['bookname'],row['type'],
                                        row['content'],row['message'],row['addition'])
        if label in list:
            if row['id'] > dict['id']:
                # data.drop(data.index[i])
                data= data.drop(i)
            else :
                dict['id'] = row['id']
        else:
            list.add(label)
            dict['id'] = row['id']
    
    connect = create_engine('mysql+mysqldb://root:chineseall@192.168.1.177:3306/bigdata?charset=utf8mb4')
    data.to_sql('report_table_clean',con=connect,if_exists='replace',index=False)
    print('success')

发表评论取消回复

表情：

评论列表（有 0 条评论，172人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python读取Excel工作表数据写入CSV、XML、文本

本文演示了如何使用Python读取Excel数据并写入到CSV、XML和文本文件中。

素颜马尾好姑娘i/ 2024年05月01日 03:15/ 0 赞/ 57 阅读

相关 java将文本读取写入数据库

心思想： 1.找到要读取的文件。 2.通过文件流按行读取，因为一行是一条记录，按照文件的分割字符方式进行拆分数组。 3.遍历文本的行，每一行存数组。遍历数组，数据库...

「爱情、让人受尽委屈。」/ 2024年04月18日 22:14/ 0 赞/ 63 阅读

相关 Python3 读取、新建、追加写入Excel文件

文章目录环境使用xlrd读取使用openpyxl读取按需读取无脑读取使用openpyxl新建使用op

小灰灰/ 2023年01月13日 04:14/ 0 赞/ 826 阅读

相关 java实现写入打断读取_Java实现txt文本的读取、写入、转移！

该代码功能为： 1：txt文本的读取 2：txt文本的写入 3：将一个txt文本的内容读出后写入另外一个txt文本中代码如下： import java.io.\;

男娘i/ 2022年10月23日 08:09/ 0 赞/ 163 阅读

相关 python读取、写入txt文本内容

读取txt文本 python常用的读取文件函数有三种read()、readline()、readlines() ![这里写图片描述][70] 以读取上述txt

不念不忘少年蓝@/ 2022年10月22日 11:53/ 0 赞/ 264 阅读

相关 python3 pandas 读取MySQL数据和插入

python 代码如下： -- coding:utf-8 -- import pandas as pd import pymysql

偏执的太偏执、/ 2022年06月13日 10:50/ 0 赞/ 178 阅读

相关 python3 pandas读取文本写入MySQL

import pymysql import pandas as pd from sqlalchemy import create_engine

落日映苍穹つ/ 2022年05月13日 21:19/ 0 赞/ 173 阅读

相关 Java Spark2.1.0 读取文本写入MySQL

import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.funct

忘是亡心i/ 2022年05月12日 01:56/ 0 赞/ 131 阅读

相关 Python3 读取写入

读取txt 利用file 它长这个样子： ![在这里插入图片描述][20181114190326717.png] f = open('A-small-

Myth丶恋晨/ 2022年04月16日 00:12/ 0 赞/ 191 阅读

相关 python中向文本中写入文字与按行读取

文件写入且覆盖 file = open(filename, 'w', encoding='utf-8') 文件写入且不覆盖 file =

淩亂°似流年/ 2022年02月27日 08:56/ 0 赞/ 204 阅读