如何生成可导入数据库的亿级别数据

我不是女神ヾ 2022-09-25 03:22 122阅读 0赞

1. 使用python脚本可以轻松生成满足条件的数据，具体如下

#coding: utf-8
    import os, sys, time, datetime
    from itertools import izip
    
    N = 100000000
    
    def gen_meid():
       return
    
    def gen_seq():
       return
    
    def generate_message(meid,seq):
        ts = time.time();
        time_st = datetime.datetime.fromtimestamp(ts).strftime('%Y-%m-%d %H:%M:%S')
        print '\t'.join(( meid, seq, '\N', '\N', '\N', '\N', '0', '0', '0', '0', time_st, '\N', '\N', '0', '\N', '\N', '\N', '\N', time_st ))
    
    def main(args):
        print '\t'.join(( 'deviceID', 'battery', ... , 'accumulatedTime', 'createDate' ))  // for mongodb, mysql delete
        for meid,seq in izip(gen_meid(),gen_seq()):
            generate_message(meid,seq)
            pass
        return 0
    
    #==============================
    if __name__ == "__main__":
     import sys
     main(sys.argv)
     pass
    #==============================

$ python a.py > device.tsv

2. 切分数据（可选）

tail -n +1      device.csv | head -n 5000000 > part1.txt

tail -n +100001 device.csv | head -n 100000 > part2.txt

tail -n +200001 device.csv | head -n 100000 > part3.txt

tail -n +300001 device.csv | head -n 100000 > part4.txt

3. 生成txt 文件

python a.py > device.txt

发表评论取消回复

表情：

评论列表（有 0 条评论，122人围观）

还没有评论，来说两句吧...

相关阅读

相关如何把excel的数据快速导入到数据库

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

╰+哭是因爲堅強的太久メ/ 2022年10月17日 05:54/ 0 赞/ 179 阅读

相关 Mysql 导入3亿数据

前言前端时间，以前的同事问我，Mysql能不能导入3亿的数据。我脑子当时翁的一下，不太确定的说应该可以导入的吧！只是导入进去以后，可能会出现查询过慢的情况。于是马上

亦凉/ 2022年10月11日 13:43/ 0 赞/ 146 阅读

相关如何生成可导入数据库的亿级别数据

1. 使用python脚本可以轻松生成满足条件的数据，具体如下 coding: utf-8 import os, sys, time, datetime

我不是女神ヾ/ 2022年09月25日 03:22/ 0 赞/ 123 阅读

相关使用 NoSQL 数据库提供云级别数据可伸缩性

探索云和 NoSQL 数据库设计基础在提及数据库扩展性时，人们就会想到相对低成本的、高性能的 NoSQL（不仅是 SQL）数据库，它包含一些非常有用的特性：水平可伸缩性、对

向右看齐/ 2022年08月24日 14:29/ 0 赞/ 174 阅读

相关亿级别---数据生成及高效率导入

引言做这件事情之前，首先对于mysql，首先需要改改mysql的默认存储路径，以免因为硬盘分区或者挂载容量的问题，导致数据插入不成功。两个解决方案： http:/

待我称王封你为后i/ 2022年07月19日 11:49/ 0 赞/ 225 阅读

相关如何设计一个数据库中间件（支持百亿级别数据存储）

如何设计一个数据库中间件（支持百亿级别数据存储）置顶 2016年05月08日 10:27:06 阅读数：12037 继《如何设计开发一个可用的w

偏执的太偏执、/ 2022年05月20日 08:06/ 0 赞/ 167 阅读

相关日均千亿级别的数据请求量背后的秘密

> 近几年由于各个行业的数据体量都在飞速增长，伴随着云计算产业的快速发展，上云，已经成为了众多企业优化运维手段、突破数据存储瓶颈的关键选择。目前绝大多数企业都正在进行或已实现整

ゝ一纸荒年。/ 2022年04月24日 00:14/ 0 赞/ 288 阅读

相关日均千亿级别的数据请求量背后的秘密

> 近几年由于各个行业的数据体量都在飞速增长，伴随着云计算产业的快速发展，上云，已经成为了众多企业优化运维手段、突破数据存储瓶颈的关键选择。目前绝大多数企业都正在进行或已实现整

小咪咪/ 2022年02月22日 07:11/ 0 赞/ 227 阅读

相关数十亿级别数据下，如何提高ES查询效率？

节操泛滥的程序员 DBAplus社群今天 ![640_wx_fmt_gif_tp_webp_wxfrom_5_wx_lazy_1][] 如果面试的时候碰到这样一个面

ゝ一纸荒年。/ 2022年01月29日 15:27/ 0 赞/ 263 阅读

相关如何设计十亿级别数据的用户系统

想必大家都接触过数据设计，那么当系统用户达到十亿级别你会如何设计数据库进行存储呢？或者是说当你开发的系统用户量达到十亿你讲如何维护呢？当下最火的数据库就是mysql，因为开源免

╰半橙微兮°/ 2021年12月23日 15:29/ 0 赞/ 397 阅读