Kettle--MySQL生产数据库千万、亿级数据量迁移方案及性能优化

逃离我推掉我的手 2024-03-30 15:05 115阅读 0赞

一、Kettle环境搭建

一、Windows主要用于可视化创建数据迁移用到的ktr转换脚本、kjb作业脚本，以及脚本需要配置的DB2信息、读写性能优化信息等，也可直接在客户端完成不同数据库之间的数据迁移。

## **测试库表及数据** ##

**（1）创建测试库表**

**分别在Windows（模拟旧库环境）及Linux（模拟新库环境），创建一个测试库test以及两张测试库表****test**`.demo_info`**、****test**`.demo_info2`**，这里为了方便测试，我两张表除了表名不一样，其他字段都一样，测试表的主键为ID，使用了auto\_increment设置主键从1开始自增长，MySQL中int类型占用4个byte字节，即最大数值是(2^31)-1即2147483647，大概二十多亿，数值够大，自增长主键实际使用问题不大~**

**–** **建库测试库**

create database if not exists test default character set utf8 collate utf8_general_ci;

use test;

**–** **创建测试表demo\_info**

use test;

create table test.demo_info(

id int(7) primary key not null auto_increment,

name varchar(255) not null,

sex char(1) not null,

age int(3)

)ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

alter table test.demo_info add index index_name(name);

alter table test.demo_info add index index_age(age);

alter table test.demo_info add index index_name_age(name,age);

alter table test.demo_info comment '测试表';

alter table test.demo_info modify column id int(7) not null auto_increment comment 'ID';

alter table test.demo_info modify column name varchar(255) not null comment '姓名';

alter table test.demo_info modify column sex char(1) not null comment '性别:1-男,0-女';

alter table test.demo_info modify column age int(3) comment '年龄';

**–** **创建测试表demo\_info2**

create table test.demo_info2(

id int(7) primary key not null auto_increment,

name varchar(255) not null,

sex char(1) not null,

age int(3)

)ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

alter table test.demo_info2 add index index_name(name);

alter table test.demo_info2 add index index_age(age);

alter table test.demo_info2 add index index_name_age(name,age);

alter table test.demo_info2 comment '测试表2';

alter table test.demo_info2 modify column id int(7) not null auto_increment comment 'ID';

alter table test.demo_info2 modify column name varchar(255) not null comment '姓名';

alter table test.demo_info2 modify column sex char(1) not null comment '性别:1-男,0-女';

alter table test.demo_info2 modify column age int(3) comment '年龄';

**（2）构建测试数据**

**只需要插入Windows（模拟旧库环境）数据表的测试数据，Linux（模拟新库环境）不需要，我们的目的是要使用Kettle迁移数据到Linux（模拟新库环境）数据表的~**  
**这里构建测试数据很简单，因为两张数据表的主键ID设置了自增长，直接新建文本，编辑文本另存为后缀.del文件，再使用文本编辑器（notepad++ yyds 仅个人推荐，非广告，哈哈哈！！！）编辑内容，这里先直接复制个不含ID的`10w`条数据（注意字段数据间的特殊分隔符是0x0f，如下图特殊符号所示）到文件中~**  
![72a40b809a4c46a693bb4822115f378e.png][]  
**通过MySQL的****load**``**data** **infile****语法指定字段快速插入数据，用这些数据，先来简单的进行数据迁移的测试，后面性能优化之后再用**`100w`**、**`1000w`**更多的数据量来进行数据迁移测试，当然实际环境的话最好按你们实际数据库大概有多少数据量，去构建多少的测试数据~**

**这里提供下，Kettle数据迁移10w、100w、1000w 测试del数据文件，也可以可直接下载~**  
[csdn 下载1~][csdn _1]  
[mpan 下载2~][mpan _2] 提取码：`jj6l`

**说明：想学习和了解MySQL的****load**``**data** **infile****导出数据的语法和使用技巧的话，可以先看下我的这篇文章学习下：**

[MySQL如何使用load data infile、into outfile高效导入导出数据…][MySQL_load data infile_into outfile]

**先执行这两行命令，导入10w条数据（性能优化前测试使用）：**

load data infile 'C:/Users/Administrator/Desktop/10w.del' into table test.demo_info  character set utf8 fields terminated by 0x0f (name,sex,age);

load data infile 'C:/Users/Administrator/Desktop/10w.del' into table test.demo_info2  character set utf8 fields terminated by 0x0f (name,sex,age);

**通过load data infile分别导入两张表的数据，还挺快的，单表不到1秒完成10w条数据导入~**  
![4206386e4f3646978f48349c1bc8fd1c.png][]  
**导入100w条数据（性能优化后测试再使用）：**

load data infile 'C:/Users/Administrator/Desktop/100w.del' into table test.demo_info  character set utf8 fields terminated by 0x0f (name,sex,age);

load data infile 'C:/Users/Administrator/Desktop/100w.del' into table test.demo_info2  character set utf8 fields terminated by 0x0f (name,sex,age);

**导入100w条数据（性能优化后测试再使用）：**

load data infile 'C:/Users/Administrator/Desktop/1000w.del' into table test.demo_info  character set utf8 fields terminated by 0x0f (name,sex,age);

load data infile 'C:/Users/Administrator/Desktop/1000w.del' into table test.demo_info2  character set utf8 fields terminated by 0x0f (name,sex,age);

**测试库表及数据构建完成，接下来进入正文学习如何制作Kettle脚本及性能优化的实战演练吧~**

推荐内容

## **一、Kettle环境搭建** ##

### **1.1 Kettle下载及安装** ###

**Kettle****安装包官方下载** [https://sourceforge.net/projects/pentaho/files/][https_sourceforge.net_projects_pentaho_files]  
**我这里以最新版本****pdi**`-ce-`**9.2.0.0**`-`**290**`.zip`**为例，直接下载****zip****压缩包后解压得到目录****data****-integration****即可~**  
![8a1d36390fcd4355bae2b15258464943.png][]  
**这里通过双击****Spoon****.**`bat`**即可~**  
**不过，在运行之前，还是要先装好相关**`相关数据库的连接驱动包`**，不然无法连接到数据库~**

### **1.2 驱动包下载** ###

**Kettle****是基于纯Java实现的，通过JDBC与数据库建立连接，连接过程需要依赖数据库连接驱动jar包，这里提供几种常用的驱动包的官方下载地址如下：**  
**官方****Oracle** **Java****驱动包下载：** [https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html][https_www.oracle.com_database_technologies_appdev_jdbc-downloads.html]  
**官方****DB****2** **Java****驱动包下载：**[https://www.ibm.com/support/pages/node/382667][https_www.ibm.com_support_pages_node_382667]  
**官方****MySQL** **Java****驱动包下载：** [https://dev.mysql.com/downloads/connector/j/][https_dev.mysql.com_downloads_connector_j]

**我这里下载MySQL的驱动包，选择哪个版本呢？~**

### **1.3 驱动包版本** ###

**关于驱动包的版本选择，这个要根据实际相关数据库的版本去选择对应驱动包版本下载，这里我以****MySQL****数据库驱动包及版本下载为例~**  
**进入上面给的MySQL官方下载地址，可以看到最新的驱动是****8**`.`**0**`.`**26****的驱动（下拉选****Platform**`Independent`**）：**  
![7d1da453ab67451faed4a6e959bead17.png][]  
**这里说明一下，只要你的MySQL是****5**`.`**6**`及以后的数据库版本`**，直接下载****8**`.`**0**`+`**的最新驱动包****mysql**`-connector-java-`**8**`.`**0**`.`**26****即可，不一定非要MySQL 5.7就下5.7的驱动包，而且MySQL官方文档也说明建议MySQL 5.6以后的升级驱动包为8.0+的，如下：**  
![7db93946a3914cd3ae72de1851403b6d.png][]  
**即MySQL驱动包****8**`.`**0**`+`**版本能够兼容****MySQL5**`.`**6****及之后的所有版本的数据库连接~**  
**如果你使用的MySQL低于** **5**`.`**6****版本的，比如****MySQL**``**5**`.`**5****，驱动包****8**`.`**0**`+`**是不兼容的，无法完成数据库的连接~**  
**这时，只需要去历史版本[Archives][]下载对应的****5**`.`**1**`.+`**版本的驱动包即可~**  
![9b4e83dc96ba4a318d3b5b5745b118a8.png][]  
**解压下载得到的****zip****压缩包，得到官方MySQL连接驱动****jar****包~**![47889120c9e04058803a8c9145600d6e.png][]

### **1.4 驱动包安装** ###

**将下载得到的MySQL数据库连接驱动包****mysql**`-connector-java-`**8**`.`**0**`.`**26**`.jar`**放到****kettle****如下目录：**

data-integration\lib

**如果你觉得不够稳妥的话，比如放到Linux会不会加载不到驱动，那么以下这几个目录，都放驱动包，妥妥的：**

\data-integration\libswt

\data-integration\libswt\osx64

\data-integration\libswt\win64

## **二、Kettle使用** ##

### **2.1 Windows** ###

**Windows****下，主要通过运行****Spoon****.**`bat`**，打开Kettle客户端可视化操作页面，创建数据迁移用到的****ktr****转换脚本、****kjb****作业脚本（**`转换`**和**`作业`**后面会介绍），以及相关数据库连接配置、读写性能优化配置等，配置完成后最后一般都是上传kettle脚本到Linux上执行，当然也可直接在Windows下Kettle客户端可视化页面直接执行转换或作业脚本，完成数据库之间的数据迁移，但是生产一般是在Linux，而且Windows执行数据迁移的效率一般要比Linux慢一些~**

#### **2.1.1 数据库连接测试** ####

**双击**`\`**data****-integration\\****Spoont****.bat****脚本运行~**

**视图**`主对象树` **->** `转换` **->****右键新建 -> 直接快捷键****Ctrl**`+ S`**另存为****test**`.ktr`**（自定义后缀，这里建议使用****.ktr****）**  
**选中****DB**`连接`**，按如下图，操作验证相关数据库是否能正确连接，这里以MySQL数据库为例~**  
**注意：两个DB连接，都要右键，设置为共享！！！**  
![113e810095a34cf29577090489261cef.png][]  
**本地数据库连接可以使用自己的IP，方便后面Linux中模拟两台IP服务器之间测试：**![859a8f100ce34a87b94e49dea1472838.png][]

**几种导致数据库连接报错的情况：**  
…  
**（1）缺少驱动或者无法正确加载到驱动都会报错，提示：**  
Driver class `org`.gjt.mm.mysql`.Driver` could not be found…\*\*  
…  
**（2）远程连接MySQL的用户(****root****)****，没有被放开远程连接的权限，，则会报错如下：**  
Access denied for user ‘root’@’119`.`168`.xxx.xxx`’ (using password: YES)  
…  
**（3）配置连接参数不对，会报错如下：**  
Connection failed. Verify all connection parameters and confirm that the appropriate driver is installed.  
…  
**缺少驱动的具体就不说了，直接下载数据库驱动包放到**`\`**data****-integration\\lib****目录下即可~**  
…  
**MySQL****放开用户的远程连接（flush刷新权限生效）方式如下：**  
mysql> select``user`,host`from`mysql.`user`;`  
mysql> update`mysql.`user``set`host=`'%'``where``user`=`'root'`;`  
mysql> `flush privileges`;  
…  
**同样如果需要在Kettle中建立Oracle、DB2连接时，如果没有驱动也会报同样类似的错误，这时需要下载数据库连接驱动包并正确安装驱动包即可~**

#### **2.1.2 Kettle作业和转换** ####

**使用****Kettle****进行数据迁移的过程中，主要有两个专业名词即**`转换（Kettle Transformation）`**和**`作业（Kettle`**Job**`）`**~**

<table> 
 <thead> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>名词</strong></p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>说明</strong></p> </td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:left;">转换</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">一般文件后缀命名为.ktr ，单表迁移数据，构建表输入（读取数据），表输出（写入数据），Linux下使用<code>kitchen.</code>sh脚本调用执行</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">作业</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">文件后缀为.kjb，可以关联多个.ktr执行，实现多表（串行/并行）迁移数据，Linux下使用<code>pan.</code>sh脚本调用执行</p> </td> 
  </tr> 
 </tbody> 
</table>

**2.1.2.1 创建Kettle转换**

**在前面**`数据库连接测试`**时，新建的****test**`.ktr`**就是一个Kettle**`转换`**文件，只不过前面只是测试了****DB**`连接`**是否正常，至于**`表输入`**和**`表输出`**的相关配置，实现数据表数据迁移的相关配置还没作具体说明~**

<table> 
 <thead> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>选项</strong></p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>说明</strong></p> </td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:left;">表输入</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">简单理解为从指定的数据表（旧库）读取数据的过程~</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">表输出</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">简单理解为插入数据到指定的数据表（新库）的过程~</p> </td> 
  </tr> 
 </tbody> 
</table>

**（1）同前面创建****test**`.ktr`**方式，创建****demo\_info****数据表对应的转换文件**`demo_info.ktr`  
**（2）双击**`表输入`**进行编辑，如下图：**  
![74c55585d4284751af0e16137c7b98fd.png][]  
**（3）双击**`表输出`**进行编辑，如下图：**![4fec5cb0cc084a519e27331432ae5f60.png][]

**（4）同样创建测试表**`demo_i`**nfo2****对应的转换文件**`demo_i`**nfo2**`.ktr`

**2.1.2.2 创建Kettle作业**

**（1）完成kjb作业的创建，并关联demo\_info表的ktr转换，作业执行过程为** `Start -> 转换 -> 成功`**，如下图：**![38e4b4fb296d4482b453241ae4908e36.png][]

**注意这里Transformation一般建议使用相对路径，移植性比较高，如：**  
$\{Internal.Entry.Current.Directory\}`/demo_info.ktr`

**表示****kjb****会加载跟自己同目录的****ktr****文件，建议不要写死****ktr****的绝对路径，容易出错~**

**（2）同样将测试表demo\_info2的转换也添加到作业中~**![a54493451236458c83b2c697bd839b6f.png][]

**最后，快捷键****Ctrl**`+ S`**或者点击左上角保存，保存得到****kjb****作业文件（跟****ktr****转换放同一个目录下）~**

#### **2.1.3 数据迁移测试（未优化）** ####

**前面已通过在Windows下可视化来创建好Kettle数据迁移需要用到的**`作业`**和**`转换`**了，测试环境可以直接在Kettle客户端点击执行转换（单表）或作业（多表）的运行按钮，完成数据的迁移即可~**

**2.1.3.1 执行转换测试（单表）**

**建议在测试每个表的转换时，先少量数据，验证每个转换的正确性，最后执行作业时，关联所有转换完成多个数据表的全部数据迁移~**

**我这里先正常用前面插入的10w条记录，测试看看Kettle不做任何性能优化，单表demo\_info数据迁移的效率如何~**  
![6c965fe616af4121ab06c1d840ac304d.png][]  
**通过转换单表数据迁移的过程…**  
![5f20d84f597f49708b1152566758fcb8.png][]  
**最后看到，Windows环境下，Kettle默认不做任何优化，单表数据迁移10w条数据大概**`100条左右/秒`**，总耗时**`16分`**左右，汗！！！虽然也跟我Linux服务器（目标数据库）配置有关，就单核1G，但主要还是没做性能优化~**![c695553ebe73408f89fdc8fd28882adc.png][]

**同样，测试下demo\_info2表的转换是否正确，不过这里就不再测10w条记录了，太慢了，双击修改下demo\_info2表输入，select查询语句中加个****limit**``**0**`,`**100****测试100条数据迁移，验证转换正确性即可~**  
![2c780632d9bc419cab2956e59d0eca90.png][]  
**验证转换demo\_info2.ktr没问题~**  
![9261648d2b18410ba23bb2b0fbc3b387.png][]  
**也可以检查下Linux（模拟新库环境）测试表demo\_info2的数据是否是100条~**![a20b4a7629d147e28ca1bce005e1e325.png][]

**2.1.3.2 执行作业测试（多表）**

**把前面通过转换迁移到Linux（模拟新库环境）数据表demo\_info和demo\_info2的数据先清了，并重置ID从1开始自增~**

**- - Linux****下mysql命令行执行：**

use test;

delete from test.demo_info;

alter table test.demo_info auto_increment 1;

delete from test.demo_info2;

alter table test.demo_info2 auto_increment 1;

**重新来测试测试下通过作业关联两个转换的多表的数据迁移（ 数据量比较大的话，建议先配置每个转换的SQL语句查询少量数据迁移，先验证完整作业执行的正确性）…**

**这里不用测试也知道，因为都是没做任何性能优化，因此跟前面通过转换demo\_info.ktr迁移demo\_info单表10w条数据的耗时没有任何区别，只不过是串行的加了一张表，耗时增加了一倍多一些~~**

**这里有时间也跑一下吧，花了37分钟迁移20w条数据，**`还是大概90条记录/秒`**，汗！！！前面16分钟10w条数据，**`100条左右/秒`**~**  
![723f2a7565b0410e9f2aeaaebe2e0c94.png][]  
**虽然也跟个人电脑及服务器的CPU性能以及网络传输能力有关，但这些硬件条件有时候没法改变，接下来会从软件层面来进行优化，相信会有飞一样的感觉！！！~~**

#### **2.1.4 数据迁移（性能优化）** ####

**通过前面不做任何性能优化的Kettle，在做数据迁移时，效率真的是非常低下，接下来对Kettle数据迁移优化，做完优化，整体迁移效率至少提升5 ~ 10倍以上的效率，主要从以下几个方面的优化：**

*  优化Kettle`作业`
 *  优化Kettle`转换`
 *  化Kettle连接DB`参数`
 *  优化`JVM``内存大小`
 *  优化目标表的字段`索引`（临时删除）

**2.1.4.1 优化Kettle作业**

**（1）优化Kettle作业**  
**第一步：统计数据量比较大的表**  
**统计数据量比较大的表，将这些表作为并发执行的第一张表，其他小数据量的表平均放在后面即可，这里假设我们构建的两张数据表demo\_info和demo\_info都是两张大表~**

**第二步：重新改造作业为并发执行转换~**  
**把原来串联执行的demo\_info和demo\_info2改成并发执行~**![209abc590f4245d58051ddeb5f78cefa.png][]

**第三步：Kettle -> kjb作业文件 -> 选中"Start" -> “右键” -> Run next Entries in parallel -> 确定(I understand)，完成并发生效，如图即为并发执行：**![332d8bcd094b4d2e9ac35fbb9d34085b.png][]

**2.1.4.2 优化Kettle转换**

**（1）加大提交记录数**  
**加大每一个表对应的ktr转换的表输出，每次的提交记录数~**  
**加大步骤：Kettle -> ktr转换文件 -> 双击表输出 -> 提交记录数量: 10000 (默认1000，范围1000~50000，百千万级大表，建议最大设置为50000即可，最大不要超过65535！！)**![9ed86b655105424b80daa18846e046b7.png][]

**2.1.4.3 优化Kettle连接DB参数**

**（1）使用连接池**  
**配置步骤：kettle -> ktr转换文件 -> DB连接 -> 双击数据库连接 ->连接池~**  
**比如：**  
**设置连接池初始化大小：50 最大空闲：151 以及勾选关键的几个参数并赋值~**![c7c29173943e4f2aa44c6031eb64d393.png][]

**连接池的相关参数要配置多少合适呢？**  
**这个可以按你们工程jdbc.properties数据库配置中的参数值来填写以及根据自己数据库当前配置的max\_connections最大连接数来确定~**![e0c06849761146fbb91499bc9cc5070c.png][]

**注意：关于****max\_connections****最大连接数，MySQL 5.7版本默认**`151`**，最大可设置为2的14次方=\`\`16384**  
**可以查看下自己的MySQL服务配置的最大连接数是多少：**  
mysql > `show`variables`like`'%max\_connections%'`;`

**当然有些小伙伴说，数据库最大连接数多少咱也不懂，咱也不敢改啊，OK，没问题，如果你不敢改，那就使用数据库默认的最大连接数，起码默认最大连接数也有151，只不过可能会慢一些~**

**如果你有权限，想让自己生产的数据迁移效率高一些，还是建议申请修改一下最大连接数，默认的太小了，可以通过修改MySQL的配置my.ini（Linux是my.cnf），加大MySQL的最大连接数，在\[mysqld\]组下添加或者修改以下内容：**  
max\_connections`=`2000

**Windows****下直接net stop mysql/ net start mysql重启生效MySQL服务~**  
Linux下可能会不生效，若不生效则需要配置Linux操作系统的`limits.`conf配置文件~  
`vi`/etc/`security/limits.conf`  
**在最后加入以下MySQL服务配置信息：**

mysql hard nofile 65535

mysql soft nofile 65535

**查看Linux最大连接显示是否设置成功~**

ulimit -n

**重启MySQL服务后，查看Linux下最大连接数是否设置成功~**![afe188babc2b4702b99b6e331bb24a16.png][]

**（2）优化DB读写参数**

**–** **表输入（读）核心参数优化**  
**双击DB连接（读库），对选项下的相关参数进行配置：**  
![95a728b86ce846a2bebfbe0a11127c20.png][]  
**- -** **参数说明**

<table> 
 <thead> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>参数及赋值</strong></p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>参数说明</strong></p> </td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:left;">defaultFetchSize=10000</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">每次与数据库交互，读多少条数据加入内存中缓存，不设置默认把所有数据读取出来，容易内存溢出（OOM），我这里设置10000，大表CPU性能高建议设置最大50000，不能超过65535</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">useServerPrepStmts<code>=</code>true</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">是否在使用服务端的预编译语句，true表示以占位符的方式发送SQL到服务端进行拼接</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">cachePrepStmts<code>=</code>true</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">是否客户端缓存预处理语句</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">useCursorFetch<code>=</code>true</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">是否允许部分数据到客户端就进行处理，如果为false表示所有数据到达客户端后，才进行处理</p> </td> 
  </tr> 
 </tbody> 
</table>

**参数不在于多，在于使用几个简单高效的参数即可，其他参数可以查看MySQL性能优化官方文档：**  
[https://dev.mysql.com/doc/connectors/en/connector-j-reference-configuration-properties.html][https_dev.mysql.com_doc_connectors_en_connector-j-reference-configuration-properties.html]

**–** **表输出（写）核心参数优化**  
**双击DB连接（写库），对选项下的相关参数进行配置：**![e39fcfb2f59143989428a8ee6eaf4685.png][]

**- -** **参数说明**

<table> 
 <thead> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>参数及赋值</strong></p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>参数说明</strong></p> </td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:left;">defaultFetchSize=5000</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">每次与数据库交互，从内存中读取多少条数据写入数据表，不设置默认把所有数据写入， rewriteBatchedStatements设置true，该参数会失效</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">rewriteBatchedStatements<code>=</code>true</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">是否开启批量写入，true表示开启，原多条insert变成单条insert执行</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">useServerPreStmts<code>=</code>false</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">是否使用服务端预编译，设置为false，表示在客户端编译好</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">useCompression<code>=</code>true</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">是否使用压缩，使用压缩优化客户端与服务端传输效率</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">useCursorFetch<code>=</code>true</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">是否允许部分数据到客户端就进行处理，如果为false表示所有数据到达客户端后，才进行处理</p> </td> 
  </tr> 
 </tbody> 
</table>

**2.1.4.4 优化JVM内存大小**

**修改Kettle安装目录data-integration/****Spoon****.**`bat`**（Linux是****Spoon****.**`sh`**）文件中的**`PENTAHO_DI_JAV`**A\_OPTIONS****参数中的JVM相关参数值~**  
**默认如下：**  
PENTAHO\_DI\_JAVA\_OPTIONS`=`"-Xms1024m"``"-Xmx2048m"

**– JVM****内存优化说明**

<table> 
 <thead> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>参数</strong></p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>说明</strong></p> </td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:left;">-Xms</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">堆区最小内存，默认物理内存的1/64，建议-Xms、-Xmx设置成一样，避免每次GC后调整堆区大小</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">-Xmx</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">堆区最大内存，默认物理内存的1/4 ，建议最大值设置为实际可用物理内存的3/4即可，不要超过80%，不过有个度，32位操作系统有限制，Winows 32限制2-3G，Linux限制2-3G~ ，64位操作系统不限制，取决于实际可用的物理内存~</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">-Xmn</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">新生代内存大小，JDK1.8 新生代:年老代=1:3 ，官方建议设置为最大堆区内存值的3/8，不知道这里不配置也行~</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">-XX:MaxPermSize</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">永久代最大内存，默认64m，JDK1.8取消了永久代，这里该参数就不要配置了，配置了也会失效，JDK1.7及之前版本，默认64m，建议加大一些，不然64m随时发生OutOfMemoryError内存溢出~</p> </td> 
  </tr> 
 </tbody> 
</table>

**（1）Windows配置JVM参数**  
**查看物理内存~**  
![e7ef177b93c9403995d36aa7478b4514.png][]  
**理论上建议设置的JVM最大堆区内存值（8g \* 3/4 = 6g即 6 \* 1024m = 6144m）：**  
PENTAHO\_DI\_JAVA\_OPTIONS`=`"-Xms6144m"``"-Xmx6144m"

**不过我本地电脑实际物理内存就30%（2g）左右了，配置再大也没用，再稍微优化下，勉强配置个3g=3072m最大堆区内存吧：**

PENTAHO\_DI\_JAVA\_OPTIONS`=`"-Xms3072m"``"-Xmx3072m"![20af7e73542447ed9d9ba4a17ed3d7ea.png][]

**（2）Linux配置JVM参数**  
**查看Linux的内存大小（默认单位KB）：**

cat /proc/meminfo |grep 'MemTotal'

cat /proc/meminfo |grep 'MemFree'

**或（更简单的）**

free -m

**可以看到我的****"高性能"**`单核`**1**`g Linux服务器`**，就剩余83M空闲内存！！！！对写数据效率影响大！**![2b793270412c40399458e1cc2fd31ea9.png][]

**不过一般生产的机器基本标配都是4G或8G起步了吧，像我当时做数据迁移时，UAT环境就MySQL服务器16G，生产环境MySQL服务器的物理内存是32G（32768M，33554432KB，三千多万KB，我们老板，有钱！！！），按堆区最大内存设置为物理内存的1/4，年轻代为最大堆区的3/8的话，可以设置的Kettle的JVM内存对应配置为：**  
`-Xms24g -Xmx24g -Xmn9g -XX:`MaxPermSize`=1024m`  
**不过单个作业执行，肯定用不到那么大内存，而且要考虑可能并发执行多个作业，建议单个作业最大配置个3g就OK了~**

**2.1.4.5 优化目标表的字段索引（临时删除）**

**在目标库建立库表时，先不要创建表的相关非主键字段索引，如果已经创建的，建议先临时删除相关表（新库）的字段索引，完成数据迁移之后，再重新建立字段索引~**

**MySQL****建立字段索引，用得好会给查询的速度有大大的提升，但是进行插入、修改数据时，MySQL也需要进行动态的维护索引，比较消耗性能，因此在做数据迁移时建议先临时删除索引，特别是百千万级大表，如果存在字符串组合索引，在做数据迁移插入数据时效率非常低~**

**–** **查看指定表的索引**

show index from test.demo_info;

**前面我们创建测试表的时候，也建立了索引，因此需要先删除索引~**

**–** **临时删除非主键索引（数据迁移前）**

alter table test.demo_info drop index index_name;

alter table test.demo_info drop index index_age;

alter table test.demo_info drop index index_name_age;

alter table test.demo_info2 drop index index_name;

alter table test.demo_info2 drop index index_age;

alter table test.demo_info2 drop index index_name_age;

**–** **重新建立非主键索引（数据迁移完成后）**

alter table test.demo_info add index index_name(name);

alter table test.demo_info add index index_age(age);

alter table test.demo_info add index index_name_age(name,age);

alter table test.demo_info2 add index index_name(name);

alter table test.demo_info2 add index index_age(age);

alter table test.demo_info2 add index index_name_age(name,age);

#### **2.1.5 重做数据迁移（性能优化后）** ####

**完成关键的几个方面的性能优化后，接下来就是见证奇迹的时候了，来迁移下20w条数据，看看效率如何~**  
**（1）测试迁移两张表20w条数据**  
**执行作业~**  
![f1479fa16139421fb48c2a0696c1fb53.png][]  
**16****秒！！！！两张表20w条数据，大概12500条/秒~**  
**前面我们没做任何优化前，单表10w条数据，要16分钟，100条/秒左右，两张表20w条数据，要37分钟，90条/秒左右~**

**性能直接飙升120倍以上？？ 当然实际肯定不会提高那么高倍数的，只是数据量太少了，接下来再测一下200w条数据量迁移效率如何~**

**（2）测试迁移两张表200w条数据~**  
**清理Windows本地数据：**

delete from test.demo_info;

delete from test.demo_info2;

alter table test.demo auto_increment 1;

alter table test.demo2 auto_increment 1;

**同样，清理Linux远程数据：**

delete from test.demo_info;

delete from test.demo_info2;

alter table test.demo auto_increment 1;

alter table test.demo2 auto_increment 1;

**Windows****本地两张表分别导入100w条数据**

load data infile 'C:/Users/Administrator/Desktop/100w.del' into table test.demo_info  character set utf8 fields terminated by 0x0f (name,sex,age);

load data infile 'C:/Users/Administrator/Desktop/100w.del' into table test.demo_info2  character set utf8 fields terminated by 0x0f (name,sex,age);

**load data infile****导入数据还是挺快的，单表100w条数据，4秒左右~**  
![d7e39bb15e05464c807e1109f57a4a6d.png][]  
**完成本地库两张表数据导入，执行重新执行作业，看看还是不是有120倍，如下所示：**  
![195f8a405c9a43c09b29beac4f34f110.png][]  
**耗时2分48秒，两张表200w条数据，11904条/秒左右，不错了，不过比我预期的低一些，毕竟我本地Windows配置和Linux远程服务器的性能比较一般！！！**

**（3）测试迁移两张表2000w条数据~**  
**同样，来测试下2000w，数据迁移效率如何~**

**Windows****本地两张表分别导入1000w条数据：**

load data infile 'C:/Users/Administrator/Desktop/1000w.del' into table test.demo_info  character set utf8 fields terminated by 0x0f (name,sex,age);

load data infile 'C:/Users/Administrator/Desktop/1000w.del' into table test.demo_info2  character set utf8 fields terminated by 0x0f (name,sex,age);

**两张表都load data infile导入数据，单表导入1000w条数据耗时45 ~ 50秒左右~**  
![7d9ca73530644bc4b575f2b0bc62d66b.png][]  
**执行作业**  
**耗时30分钟左右，两张表2000w条数据，大概11111条/秒的速度，个人觉得挺不错了，最辣鸡的配置了，生产好一些的配置，连接池配大一些，JVM参数再加大一些，单个作业能达到了25000+条/秒以上，Linux可以分成4个作业，并发执行，即便每个脚本下降到2w条/秒左右，但总的还是能达到8w条/秒，1分钟 480w，10分钟4800w，30分钟内还是能轻松实现亿级数据量的高效迁移的~**![990991986c2a411cbeac3a85b1c78849.png][]

## **三、Linux** ##

### **3.1 Kettle环境搭建** ###

#### **3.1.1 检查JDK** ####

**Kettle****基于纯java编写，基于JDK环境运行，因此需要检查下环境~**

java -version

**如没有配置好JDK，需先配置好JDK环境~**

#### **3.1.2 目录规划** ####

**目录位置及命名可以根据实际需要定义，这里建议创建这四个目录：**

mkdir -p $HOME/kettle

mkdir -p $HOME/kettle/kettle_file

mkdir -p $HOME/kettle/kettle_sh

mkdir -p $HOME/kettle/kettle_log

mkdir -p $HOME/kettle/sql

**注意：Linux下****$HOME****表示当前操作用户的主目录，如我都是用****mysql****用户操作的，主目录****/home/my**`sql`

**–** **目录说明**

<table> 
 <thead> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>目录</strong></p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:center;"><strong>说明</strong></p> </td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:left;">kettle_file</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">存放数据迁移准备好的kettle的转换ktr和作业kjb文件</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">kettle_sh</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">存放Shell脚本，脚本内容是多表，通过kitchen.sh调用作业kjb，单表的话，通过pan.sh调用转换ktr~</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">kettle_log</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">存放执行脚本以及调用Kettle作业和转换进行数据迁移打印的日志文件~</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">sql</p> </td> 
   <td> <p style="margin-left:.0001pt;text-align:justify;">存放统计数据量的SQL语句文件~</p> </td> 
  </tr> 
 </tbody> 
</table>

**先上传kettle作业和转换文件到kettle\_file目录下~**![1df71c3fd9344b44910ed17c9fd63bee.png][]

#### **3.1.3 kettle安装包** ####

**提前在Windows下往安装包pdi-ce-9.0.0.0-423.zip的lib目录中放好数据库驱动包~**

**上传压缩包到MySQL服务器，如：**

$HOME/kettle/

**解压完成安装：**

cd $HOME/kettle/

unzip pdi-ce-9.0.0.0-423.zip

#### **3.1.4 验证kettle** ####

**执行测试kettle命令：**

cd $HOME/kettle/data-integration

./kitchen.sh --version

./pan.sh --version

**分别出现关键信息如下，表明kettle解压安装成功！**

...

Kitchen - Start of run.

...

Pan - Start of run.

...

**如果服务器内存不足，执行测试可能会报错如下：**  
![4a3b8529ac954ae3ab1d0987819ac8ac.png][]  
**关键报错：**  
Native memory allocation (mmap) failed to map``715849728``bytes for committing reserved memory.

**即最低至少要分配715849728 bytes约等于699M的内存，才能运行kitchen.sh脚本测试~**

**查看了我的单核1gLinux服务器，总物理内存才990M左右，剩余内存就211M了，汗！！！**![da46f6a3c26a44caaaafd334b22f6486.png][]

**通过top命令查看，光是mysqld服务进程就占用了44%，大概占用435M了，基本没内存了~**  
![57b0f2b2434c425d8411bb4ccd2d886f.png][]  
**一般如果生产需要在Linux执行kettle脚本，内存肯定不会这么小的~**  
**这种情况，我这里为了方便在Linux简单测试，只能先修改data-integration/**`spoon.`**sh****中的JVM内存小一点了，改成**`128m`**吧，如下（搜索**`PENTAHO_DI_JAV`**A\_OPTIONS****定位）：**

if [ -z "$PENTAHO_DI_JAVA_OPTIONS" ]; then

PENTAHO_DI_JAVA_OPTIONS="-Xms128m -Xmx128m"

**实际CPU性能好一些的测试环境或者生产环境建议改为**`3g`**即**`3072m`**：**

if [ -z "$PENTAHO_DI_JAVA_OPTIONS" ]; then

PENTAHO_DI_JAVA_OPTIONS="-Xms3072m -Xmx3072m"

**再次测试下**

cd $HOME/kettle/data-integration

./kitchen.sh --version

./pan.sh --version

### **3.2 检查驱动及网络连接** ###

**kettle****安装成功不代表两台服务器之间能开始进行数据迁移了，还需要检查相关**`数据库驱动`**以及新旧数据库两台服务器之间的**`网络是否连通`**~**  
**（1）检查驱动**  
**检查kettle安装目录lib目录下表是否存在相关数据库的连接驱动，如MySQL数据库连接驱动包**  
data-integration/lib/mysql`-connector-java-`8`.`0`.`26`.jar`

**（2）检查网络及连接**  
**在新数据库服务器检查与旧数据库服务器的**`网络连通性`**以及**`连接权限指定端口`**~**

**–** **检查与旧数据库服务器的网络是否连通**

ping 旧数据库服务器的IP

**–** **是否有权限连接到指定端口（如MySQL的3306端口）**

telnet 就数据库服务器的IP 3306

**当然如果要在Linux执行telnet Windows的3306端口，需要做以下几件件事：**  
**第一：配置防火墙入站规则天机3306端口**  
**防火墙未开启，可以忽略这步~**![68579ec9fd8547e8a1030c6775502a36.png][]

**第二：勾选telnet服务端**  
![a135dc0f49284c4a8a81d47ee87bb41d.png][]  
**第三：开启telnet服务**![4960d73c79b7449c9d07668569373a99.png][]

### **3.3 再次性能优化** ###

**这一步主要是，准备Shell脚本！！！**

**（1）主要是针对亿级以上的数据量，再次进行性能优化的方案，数据量比较小的可以忽略~**  
**（2）前面通过Windows下的可视化操作等对Kettle进行了优化，可以直接在Kettle客户端执行作作业或者转换，完成数据迁移，也可以直接上传脚本到Linux服务器执行~**  
**（3）实际的测试环境或生产环境，大多一般都是两台远程Linux服务器之间的数据迁移，如果库表数据量达到亿级以上，这种情况就可以根据每一张大表（如1000w以上）创建一个Shell脚本，每个脚本的内容是执行指定的作业~  
（4）如果存在多张大表，则对应创建多个Shell脚本，这样可以在实际投产时并发的执行Shell脚本，最大化的利用CPU的性能，并发数据迁移，再次成倍数的提高数据迁移效率，进一步节省投产的时间成本~~**

**亿级以上数据量，Linux再次优化大概思路：**  
**（1）假设有100张表，大概1亿左右的数据量，统计超过1000w的表有5张~**  
**（2）在Windows下给每张大表（如1000w以上）建一个对应的Kettle作业，这个作业除了关联那张大表转换之外，还要再平均关联其他小表的转换（比如平均再关联20个小表）~**  
**（3）不过虽然这里有5张表，但是建议总作业数不要超过4个，每个作业一般分配3g内存左右，4个作业总需物理内存就是12g左右内存，如果你生产内存远远大于12g，那没啥问题，建5个作业，对应5个Shell脚本~~**  
**（4）每一个作业的创建按照前面Windows下提的几个方面优化，特别是并发执行，验证每个作业的正确性**  
**（5）创建每一个Shell脚本，如demo\_info.sh、demo\_info2.sh，Shell脚本内容是通过span.sh脚本去调用指定的作业**  
**（6）准备好这几张大表为主的Shell脚本后，就可以在Linux同时执行这几个Shell脚本并发数据迁移~**

**为什么不直接一个作业，然后这个作业并发执行多个大表转换即可？**

**因为Linux环境下，通过kettle的kitchen.sh脚本执行作业时，只会开启一个Java进程，JVM的内存是有上限的，作业并发再多转换，内存也就那么多，所以还是建议并行执行多个Shell脚本（对应多个作业）执行，意味着内存的叠加使用，可以最大化的利用生产比较好的CPU配置，更高效的完成数据的迁移~**

**当然，如果不想麻烦，就想一个脚本，一个作业，关联所有转换也可以，不过需要给Kettle配置JVM最大内存调到最优，比如一个作业整这么多转换~**![807aa09eb48b4f9dbfad20a29711535f.png][]

**本文为方便测试，这里就一个作业，创建一个数据迁移的Shell脚本****test**`.`**sh****进行测试，内容如下：**

#!/bin/sh

#一、使用自定义的JDK版本

export JAVA_HOME=/usr/java/jdk1.8.0.221

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#二、执行kettle脚本，作业通过 kitchen.sh执行，转换通过pan.sh执行

#作业（多表）

$HOME/kettle/data-integration/kitchen.sh -file=$HOME/kettle/kettle_file/test.kjb > $HOME/kettle/kettle_log/transTest.log 2>&1 &

#转换（单表），这里先注释，如果数据迁移数据总量不一致，排查出哪张表数据不一致，需要单独迁移这张表，可以把这个放开，前面的作业注释

#$HOME/kettle/data-integration/pan.sh -file=$HOME/kettle/kettle_file/demo_info.kjb > $HOME/kettle/kettle_log/demo_info.log 2>&1 &

**注意JDK等相关目录改成自己的~**  
**将****test**`.`**sh****脚本上传到****kettle\_sh****目录下：**

$HOME/kettle/kettle_sh

**往下进行数据迁移~**

### **3.4 数据迁移** ###

**实际做数据迁移的时间成本，不只是kettle作业脚本的执行时间，你还需要花一些时间进行其他相关操作，比如统计数据迁移前（旧库）和数据迁移后（新库）的数据量总量~**

**（1）先统计**`旧库`**的总数据量**  
**提前准备一个**`selectCount.`**sql****语句文件，统计所有数据表的数据量，内容如：**

select sum(selectCount.ct) as totalRows from (

select count(*) as ct from test.demo_info

union all

select count(*) as ct from test.demo_info2

) selectCount;

**上传**`selectCount.`**sql****语句文件到****sql****目录下：**

$HOME/kettle/sql/

**执行SQL语句文件，查看数据量（旧库）~**  
mysql > source`C:`/Users/`Administrator`/Desktop/`selectCount.sql;`![56ed2214311d4a0094f8a576735b088e.png][]

**（2）执行数据迁移Shell脚本**

/bin/sh $HOME/kettle/kettle_sh/test.sh

**可以查看Shell脚本调用的Kettle作业的执行进程~**

ps -ef|grep kjb

![ceb181f6a0cd4dc38b14611de35ec1a8.png][]

**测试时，可以可以通过top命令，查看CPU性能消耗及内存使用情况~**![dfc307db4591473fa17bbc608a77b5eb.png][]

**（3）实时查看数据迁移日志**  
**Shell****脚本test.sh中，有指定日志文件存放路径~**

tail -f $HOME/kettle/kettle_log/transTest.log

**（4）最后统计新库的总数据量**  
**提前准备一个**`selectCount.`**sql****语句文件，统计所有新库，数据表的数据量，内容如：**

select sum(selectCount.ct) as totalRows from (

select count(*) as ct from test.demo_info

union all

select count(*) as ct from test.demo_info2

) selectCount;

**执行SQL语句文件，查看数据量~**  
mysql > source``/home/my`sql`/kettle/`sql/selectCount.sql;`  
![4f4188c3d7234acc981b17055c53f0c4.png][]  
**（4）数据量不一致需查看日志**

vi /home/mysql/kettle/kettle_log

**日志中会记录每张表的表输入记录、表输出记录，根据这个排查总数据量不一致，是哪张表导致的~**

[72a40b809a4c46a693bb4822115f378e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/62750dc38e9f424aa4038dc30a22a517.png
[csdn _1]: https://download.csdn.net/download/JustinQin/22333570?login=from_csdn
[mpan _2]: https://pan.baidu.com/s/1939oHgdC7Vt09ncbBtu19w?login=from_csdn
[MySQL_load data infile_into outfile]: https://blog.csdn.net/JustinQin/article/details/120110647?login=from_csdn
[4206386e4f3646978f48349c1bc8fd1c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/12b4bc7b45294073a7eb34051768b5ca.png
[https_sourceforge.net_projects_pentaho_files]: https://sourceforge.net/projects/pentaho/files/?login=from_csdn
[8a1d36390fcd4355bae2b15258464943.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/cc86bf1a81b44e4b9bfdfb6f445e5af0.png
[https_www.oracle.com_database_technologies_appdev_jdbc-downloads.html]: https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html?login=from_csdn
[https_www.ibm.com_support_pages_node_382667]: https://www.ibm.com/support/pages/node/382667?login=from_csdn
[https_dev.mysql.com_downloads_connector_j]: https://dev.mysql.com/downloads/connector/j/?login=from_csdn
[7d1da453ab67451faed4a6e959bead17.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/71b64340e26746269ac2ecf5eaf6622e.png
[7db93946a3914cd3ae72de1851403b6d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/29ff29645a264dee9f49adb801939bc3.png
[Archives]: https://downloads.mysql.com/archives/c-j/?login=from_csdn
[9b4e83dc96ba4a318d3b5b5745b118a8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/919da52a729543dca075890df2eb1467.png
[47889120c9e04058803a8c9145600d6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/20bb8192518c4dcf9b8474645d59ed8b.png
[113e810095a34cf29577090489261cef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/38bd79b73c7f45cdb8712ab5d9d0f435.png
[859a8f100ce34a87b94e49dea1472838.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d1625e9d84c444858852c6044a7ec1de.png
[74c55585d4284751af0e16137c7b98fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c155d17896d54a739ada698fc1739bd7.png
[4fec5cb0cc084a519e27331432ae5f60.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e4a26e28de70476b9d9961e0b6d21c43.png
[38e4b4fb296d4482b453241ae4908e36.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/85875eb2970b4d2ca6e3092c10244e55.png
[a54493451236458c83b2c697bd839b6f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1342c8a13bf740eabc3a4d5b615cbde8.png
[6c965fe616af4121ab06c1d840ac304d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d67b3fffe0c64ee7960a8536e8dfeecd.png
[5f20d84f597f49708b1152566758fcb8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9e1a8a25b87446eaa055f97bde3a441c.png
[c695553ebe73408f89fdc8fd28882adc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/89463de0c7a74ea1bc9afdfba6afd060.png
[2c780632d9bc419cab2956e59d0eca90.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/cdc28bf24acc43fbbad86fbbd24e680a.png
[9261648d2b18410ba23bb2b0fbc3b387.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/804e8ddff12a4995b03d6d47e575f0ed.png
[a20b4a7629d147e28ca1bce005e1e325.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2ef43c2d9b3a4cb3b61c6a19bbecbc98.png
[723f2a7565b0410e9f2aeaaebe2e0c94.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/931d51a7599748a0be0ede963048958a.png
[209abc590f4245d58051ddeb5f78cefa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/75e478a5b9e943dd9a7397a08a8f390f.png
[332d8bcd094b4d2e9ac35fbb9d34085b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4a316243aa694ec19345b5730b32c31b.png
[9ed86b655105424b80daa18846e046b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/134d8e3903494a79bb9f56559e4e9ea6.png
[c7c29173943e4f2aa44c6031eb64d393.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4f03df27bebb497bafaac3d68c353652.png
[e0c06849761146fbb91499bc9cc5070c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f0ed914f1ac14b9ca38501bfd4166935.png
[afe188babc2b4702b99b6e331bb24a16.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a385df10c1754b998d2b64954961ceff.png
[95a728b86ce846a2bebfbe0a11127c20.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/130cb6df804e451baf2e2266839e2e02.png
[https_dev.mysql.com_doc_connectors_en_connector-j-reference-configuration-properties.html]: https://dev.mysql.com/doc/connectors/en/connector-j-reference-configuration-properties.html?login=from_csdn
[e39fcfb2f59143989428a8ee6eaf4685.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/14ce774608fe4247966c6bb4d2194d2a.png
[e7ef177b93c9403995d36aa7478b4514.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/02c6dbe9917e4fbaa20d6bc111b4ab36.png
[20af7e73542447ed9d9ba4a17ed3d7ea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/371a8d4e88124c7d86fc1bb5262eafc1.png
[2b793270412c40399458e1cc2fd31ea9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8293e379215c421f98ee5755d141dd92.png
[f1479fa16139421fb48c2a0696c1fb53.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7b52dc5b48d6487db2ec13ed1b775c26.png
[d7e39bb15e05464c807e1109f57a4a6d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4accef2e0adc48a2b820d6c4d36dfa56.png
[195f8a405c9a43c09b29beac4f34f110.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d4037ab0680542819e191182bcaf9543.png
[7d9ca73530644bc4b575f2b0bc62d66b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7838c410aca6470aa1b7f768b4df4f7f.png
[990991986c2a411cbeac3a85b1c78849.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a85f06c37723474fa10e5906776e6eab.png
[1df71c3fd9344b44910ed17c9fd63bee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3d66e1b959d84f51a37f9c80d661f7dc.png
[4a3b8529ac954ae3ab1d0987819ac8ac.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c6d5b742b9d3432fa936364c4b77995b.png
[da46f6a3c26a44caaaafd334b22f6486.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3641a68eb1084a7aa8eadde7de3f0644.png
[57b0f2b2434c425d8411bb4ccd2d886f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/91fcded3fb9d47a8a3dad7d3b6b8d292.png
[68579ec9fd8547e8a1030c6775502a36.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/bc455d08d3364e84a41b02ac360e8e6b.png
[a135dc0f49284c4a8a81d47ee87bb41d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/dacfd9e047ae46bdbde96d4646db3bb0.png
[4960d73c79b7449c9d07668569373a99.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1b3a82223dfc472bad5351d8bfa15ce8.png
[807aa09eb48b4f9dbfad20a29711535f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/dd83b6d0304e4623bbe923b19addbbab.png
[56ed2214311d4a0094f8a576735b088e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1c4d9580b2be44e0a1f39403e14a6bb1.png
[ceb181f6a0cd4dc38b14611de35ec1a8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/95e00ca297a1440da5a30f900e49fc8d.png
[dfc307db4591473fa17bbc608a77b5eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b39d2570e6f648b38ba93abaf41f2568.png
[4f4188c3d7234acc981b17055c53f0c4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/57694b136c014193aa33bec4eba0dbc8.png