mysql定制化_MySQL 的可定制化行输入-爱可生

电玩女神 2023-01-12 10:25 109阅读 0赞

原标题：MySQL 的可定制化行输入-爱可生

![a061417cc16bbd5c9b17dbce5914859b.png][]

作者：杨涛涛

资深数据库专家，专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生，为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。

MySQL 8.0.22 在今年的 10 月 19 日发布，给我们带来很多非常实用的特性。特别是对 MySQL Shell 8.0.22 来说，UTIL 组件功能更多，更加丰富，使用更加简单。

比如今天我们来介绍 import\_table(importTable) 的延伸功能：可定制化行输入。

import\_table(importTable) 我们之前有介绍过，是一款并行导入各种格式文本的工具，封装了 MySQL 语句 load data local infile。

比如说要导入一个以 TAB 为分隔符的文本数据文件：/tmp/sample\_ytt.txt 列表：ytt\_new.t1，可以执行下面语句：

![c888f7a005706cd18c0f8bfc58d4712d.png][]

上面结果是 load data infile 语句的导入结果。如果改用 import\_table 方法来做同样的事情，基于 Python 语法，使用方法如下：

![c775838905517446d573dee7da81ef76.png][]

那接下来看另外一个需求：在导入文本文件时对每行做预处理(例如在导入数据之前更改列 r2 的值为 mod(r1,10)，列 r5 的值为 abs(r4-46) )，这样可以减少导入后再次处理的时间开销。

这个需求用 load data infile 语句非常容易实现：(导入时更改列 r2 和 r5 的数据，类似 UPDATE 语法)

![bd37bc53812bcf4c52ef7b737ec2a791.png][]

那如果要用 util.import\_table(importTable) 来实现上面的需求，在 MySQL 8.0.22 之前是没办法的。

随着 MySQL 8.0.22 的发布，MySQL 对 import\_table 方法做了些扩充功能，其中增加了一个选项 “decodeColumns” 可以实现字段的预先输入定制化功能，并且还可以更加丰富。

接下来用 import\_table 来实现上面的需求，定制化字段 r2 和 r5：

![775747885a3da5dc30055a79c6691df5.png][]

以上 Options 选项，见下图：

![7064a8106ebee2b49e166830fe94110e.png][]

我来具体解释下上图的含义：蓝色字体 columns 对应的数组分别指定数据文件中的每行字段，也就是默认的 TAB 分隔符所分割的每列值，1 和 2 代表占位符，1 代表数据文件中每行的第一个列，2 代表数据文件中每行的第四列，decodeColumns 字典分别对需要预先输入的字段做处理。比如 r1 字段保留为变量 @1，r2 字段对应 mod(r1,10) 等。

如果还是不太理解变换规则，可以临时打开 general log， 上面 import\_table(importTable)对应的 MySQL 日志为：

![73b83fe44536028af6c42ee83b872e7e.png][]

以上日志写的很清楚，内部转换为最基本的 load data infile 语法。

那这里我简单解读了下 MySQL 8.0.22 对 MySQL Shell 的一项定制化输入文本文件的新特性，更多的新特性可以继续关注。

本文由爱可生云数据库原创，欢迎关注，带你一起长知识！返回搜狐，查看更多

责任编辑：

[a061417cc16bbd5c9b17dbce5914859b.png]: /images/20221119/f2efe99f653e4486946469f808c21ad4.png
[c888f7a005706cd18c0f8bfc58d4712d.png]: /images/20221119/57b70fb2710f4c3b950c364172fd2e1d.png
[c775838905517446d573dee7da81ef76.png]: /images/20221119/c2a1f652d6c641088ed70f53f114db10.png
[bd37bc53812bcf4c52ef7b737ec2a791.png]: /images/20221119/a1d56d4d9366426d9e4ae81d32fc7bdf.png
[775747885a3da5dc30055a79c6691df5.png]: /images/20221119/bb0ed170c2fc4cf18b1be41692a38b01.png
[7064a8106ebee2b49e166830fe94110e.png]: /images/20221119/c7f96af88efa473090e5818f60d3fc3c.png
[73b83fe44536028af6c42ee83b872e7e.png]: /images/20221119/1ca82b310ae44c119166a66b9dc3f434.png