mysql迁移到mycat

超、凢脫俗 2021-09-01 05:36 411阅读 0赞

记录一下mysql单库迁移到mycat使用的多库记录，由于业务增速较快，单库会出现瓶颈，所以采用mycat来分表分库。  
由于之前的表字段过多，所以先采取分表，分为主表和详细表

CREATE TABLE fileinfo( 
        id INT NOT NULL , 
        fid  varchar(32) NOT NULL , 
        userid varchar(32) NOT NULL ,
        filename  varchar(32) NOT NULL ,
        create_date DATETIME , 
        PRIMARY KEY (fid  ) 
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
     
    filedetail
    | status | downloadurl | fid | realname | langu | deviceid|
    CREATE TABLE filedetail( 
        fid  varchar(32) NOT NULL , 
        status varchar(2) NOT NULL ,
        realname   varchar(32) NOT NULL ,
        langu varchar(32) NOT NULL ,
        create_date DATETIME , 
        PRIMARY KEY (fid  ) 
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

由于目前需要使用uuid分片，原来的分片规则已不适用  
采用一致性hash

<tableRule name="sharding-by-murmur">
          <rule>
            <columns>fid</columns>
            <algorithm>murmur</algorithm>
          </rule>
       </tableRule>
    <function name="murmur" class="io.mycat.route.function.PartitionByMurmurHash">
          <property name="seed">0</property>
          <property name="count">2</property>
          
          
      </function>

schema.xml表的配置如下

导出fileinfo表的信息

select id, fid, userid, filename,create_date
    from fileuploadinfo into outfile
    '/var/lib/mysql-files/fileinfo.text'
    fields terminated by ','
    optionally enclosed by ''
    LINES TERMINATED BY '\n';

导出filedetail表的信息

select fid, status, realname,langu,create_date
    from fileuploadinfo into outfile
    '/var/lib/mysql-files/filedetail.text'
    fields terminated by ','
    optionally enclosed by ''
    LINES TERMINATED BY '\n';

ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement
    show variables like "secure_file_priv";

出现这个问题的原因是mysql的secure\_file\_priv这个选项没有开启，或者这个选择了特定的文件路径，只有在这个路径下的文件才能导入导出mysql。  
也可以修改my.cnf：在\[mysqld\]这个选项下加入变量声明：  
secure\_file\_priv=’’

默认情况下mysql安装后，会自动创建mysql用户和mysql用户组，  
数据库会创建在/var/lib/mysql目录下，所要保证数据导出目录有mysql用户权限。

准备好了，接下来进入mycat

mysql -utest -p123456 -h127.0.0.1 -P8066 -DTESTDB

use TESTDB

下面执行成功  
导入fileinfo表

load data infile '/home/emeet/fileinfo.text' into table fileinfo fields terminated by',' lines terminated by'\n' (id, fid, userid, filename,create_date);

导入filedetail表，注意表名和列名不一样，需要修改，注意导入后查看相同fid是否数据在同一分片下

load data infile '/home/emeet/filedetail.text' into table filedetail fields terminated by',' lines terminated by'\n' (fid, status, realname,langu,create_date);

经过检查数据已经导入成功。