几百万的数据，mysql快速高效创建索引

向右看齐 2023-09-24 09:59 112阅读 0赞

测试数据本机一张表users有100百万条记录。在创建此表前没有未相应字段添加索引，所以此时需要为表添加索引。但是因为数据量大的原因，索引添加可能不成功，想了很多办法，终于挖坑成功。

开始准备工作，

user表结构：

![几百万的数据，mysql快速高效创建索引\_几百万的数据，mysql快速高效创建索引][mysql_mysql]

CREATE TABLE \`users\` (

\`id\` int(11) unsigned NOT NULL AUTO\_INCREMENT,

\`name\` varchar(255) CHARACTER SET utf8mb4 DEFAULT NULL,

\`add\_time\` int(11) DEFAULT NULL,

PRIMARY KEY (\`id\`)

) ENGINE=MyISAM AUTO\_INCREMENT=1000001 DEFAULT CHARSET=latin1;![几百万的数据，mysql快速高效创建索引\_几百万的数据，mysql快速高效创建索引][mysql_mysql 1]

尝试在navicat中使用 into outfile导出数据的时候出现错误：

select \* from users into outfile 'users.txt'; //users.txt文件在mysql的dat

如下图：

![几百万的数据，mysql快速高效创建索引\_几百万的数据，mysql快速高效创建索引\_03][mysql_mysql_03]

上网查了一下是mysql设置的权限，可以使用

show variables like '%secure%';查看?secure-file-priv 当前的值是什么?

可以看到secure-file-priv参数是用来限制LOAD DATA, SELECT ... OUTFILE, and LOAD\_FILE()传到哪个指定目录的。 当secure\_file\_priv的值为null?，表示限制mysqld 不允许导入|导出 当secure\_file\_priv的值为/tmp/ ，表示限制mysqld 的导入|导出只能发生在/tmp/目录下 当secure\_file\_priv的值没有具体值时，表示不对mysqld 的导入|导出做限制.

![几百万的数据，mysql快速高效创建索引\_几百万的数据，mysql快速高效创建索引\_04][mysql_mysql_04]

导出的数据必须是这个值的指定路径才可以导出，默认有可能是NULL(我这里查看的是null)就代表禁止导出，所以需要设置一下

由于我使用的是phpstudy,mysql安装路径下的my.ini文件，设置一下路径：

![几百万的数据，mysql快速高效创建索引\_几百万的数据，mysql快速高效创建索引\_05][mysql_mysql_05]

注意：路径名加双引号" "

重启后再次执行错误依旧.....

mysql.cnf中没有对这个参数进行设定，就说明这个参数默认便是null所以再尝试修改mysql.cnf中的\[mysqld\]加入secure\_file\_priv?=?最终如下：![几百万的数据，mysql快速高效创建索引\_几百万的数据，mysql快速高效创建索引\_06][mysql_mysql_06]

再次重启mysql

![几百万的数据，mysql快速高效创建索引\_几百万的数据，mysql快速高效创建索引\_07][mysql_mysql_07]

![几百万的数据，mysql快速高效创建索引\_几百万的数据，mysql快速高效创建索引\_08][mysql_mysql_08]

可以看到users.txt生成在同级test数据库目录。。。

接着执行：

truncate users;

创建索引：

create index name using BTREE on users(name);

索引的方式有：BTREE、RTREE、HASH、FULLTEXT、SPATIAL,这里不再赘述他们的区别，网上有很多关于这块的介绍啦

导入文件到相应表users。

load data infile 'users.txt' into table users;

![几百万的数据，mysql快速高效创建索引\_几百万的数据，mysql快速高效创建索引\_09][mysql_mysql_09]

此方式在write 锁住情况下，或对外服务暂停时使用，线上不可能直接这样玩了。。

[mysql_mysql]: https://img-blog.csdnimg.cn/img_convert/a5b32e55386c306cd1bb5ad297e41241.gif
[mysql_mysql 1]: https://img-blog.csdnimg.cn/img_convert/10157e1f4e13da9e002f579297766ea0.gif
[mysql_mysql_03]: https://img-blog.csdnimg.cn/img_convert/91cb843cefa25f08c3bf286b7de338a5.png
[mysql_mysql_04]: https://img-blog.csdnimg.cn/img_convert/802548bfec0e87104e39d2c2fdb2c899.png
[mysql_mysql_05]: https://img-blog.csdnimg.cn/img_convert/411e0a3d7315b207648a0eda12cbcc34.png
[mysql_mysql_06]: https://img-blog.csdnimg.cn/img_convert/1c31048cd017fdf4e9d42562ef4166a8.png
[mysql_mysql_07]: https://img-blog.csdnimg.cn/img_convert/d8e9a6b6bf72d062d54d3f9a93e267f9.png
[mysql_mysql_08]: https://img-blog.csdnimg.cn/img_convert/5b7e48ed5d0799b770bf8b3483d6b7df.png
[mysql_mysql_09]: https://img-blog.csdnimg.cn/img_convert/730e1d34921e2ed6eb694711f537a0b9.png