php使用mysql分批大量插入数据

╰半橙微兮° 2022-10-28 11:28 189阅读 0赞

### 之前由于误删数据,需要恢复,但是不能影响线上服务: ###

public function insertData()
    { 
        $number = 11020095;
        $interval = 500000;
        $file_name = ' /tmp/table_name_12220095.sql';
        for ($i = 1; $i < 100; $i++) { 
            $samll = $number - $interval * $i;
            if ($samll > 0) { 
                $big = $samll + $interval;
                echo sprintf('mysqldump -h db_host -u db_user -p db_password table_name --where="id>=%s and id<%s" >%s', $samll, $big, $file_name) . PHP_EOL;
                sleep(1);
            }
        }
    }

### 批量检查遗漏的ID: ###

public function checkNotExist()
    { 
        // 每次调用之前清空之前的数据
        file_put_contents(LOG_ROOT . '/Log/not_exist.txt', '');
        $number = 12270095;
        $intrval = 10000;
        for ($i = 0; $i < $number; $i++) { 
            $small = $i * $intrval;
            $big = $small + $intrval - 1;
            $arr = range($small, $big);
            if ($big > $number) { 
                return $this->writeJson(sprintf('已完成,大值%s,小值%s', $big, $small));
            }
            $ids = XxModel::create()->where('id', [$small, $big], 'between')->column('id');
            $str = '';
            if (empty($ids)) { 
                $str = implode(',', $arr);
            } elseif (count($ids) != $intrval) { 
                $str = implode(',', array_diff($arr, $ids));
            }
            if ($str) { 
                file_put_contents(LOG_ROOT . '/Log/not_exist.txt', $str . PHP_EOL, FILE_APPEND);
            }
            // usleep(100);
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，189人围观）

还没有评论，来说两句吧...

相关阅读

相关 mysql批插大量数据,大批量插入数据

\ 大批量插入数据 \\ 1.环境准备： \`\`\`sql CREATE TABLE \`tb\_user\_2\` ( \`id\` int(11) NOT NUL

爱被打了一巴掌/ 2023年01月16日 09:53/ 0 赞/ 164 阅读

相关 php使用mysql分批大量插入数据

之前由于误删数据,需要恢复,但是不能影响线上服务: public function insertData() { $number = 1

╰半橙微兮°/ 2022年10月28日 11:28/ 0 赞/ 190 阅读

相关 mysql php 插入数据_通过PHP脚本来插入MySQL数据

MySQL 插入数据 MySQL 表中使用INSERT INTOSQL语句来插入数据。你可以通过 mysql> 命令提示窗口中向数据表中插入数据，或者通过PHP脚本来插入

旧城等待，/ 2022年10月25日 01:22/ 0 赞/ 203 阅读

相关更新和插入php,php – 加快大量的mysql更新和插入

我有一个应用程序需要通过大量的条目更新大量的数据.基本上它做了大约7,000个插入和/或更新,但是它需要一个漫长的时间(比如近9分钟,平均每个查询约0.08秒).本质上,我正在

蔚落/ 2022年10月21日 12:54/ 0 赞/ 214 阅读

相关 TP5批量插入数据（分批插入）

我们知道TP5有insetall函数可以批量插入，但是如果一次插入10000条数据呢同时插入肯定会卡死，所以我们分批插入 foreach ($sheetCont

曾经终败给现在/ 2022年10月10日 04:45/ 0 赞/ 190 阅读

相关 Redis大量数据插入

有些时候，Redis实例需要装载大量用户在短时间内产生的数据，数以百万计的keys需要被快速的创建。我们称之为大量数据插入(mass insertion)，本文档的目标就是提供

矫情吗；*/ 2022年10月06日 15:51/ 0 赞/ 284 阅读

相关集合数据分批插入到数据库

//考试相关题目--选项 if (!org.springframework.util.CollectionUtils.isEmpty(list)

红太狼/ 2022年09月11日 12:26/ 0 赞/ 169 阅读

相关 JDBC向mysql批量插入大量数据

想要向mysql中插入大量数据（10w+）时，使用单纯的insert会很慢。我们需要借助JDBC的批处理。 1. jdbc连接url增加rewriteBatchedStat

Love The Way You Lie/ 2022年08月29日 05:44/ 0 赞/ 229 阅读

相关 JAVA中使用JDBC插入大量mysql中的数据

最近在拓展Giraph的功能，是为了可以支持Giraph这个系统存储更多的数据后来在老师的建议下内嵌了MySQL,其实一点原创性都没有TAT，为了应付深圳项目的测试先这样吧

落日映苍穹つ/ 2022年06月07日 10:07/ 0 赞/ 214 阅读

相关分批插入数据基于mybatis

DB框架：Mybatis。DataBase:Oracle。 \--------------------------------------------------------

待我称王封你为后i/ 2021年10月30日 02:06/ 0 赞/ 245 阅读