Flink电商指标分析项目(6)_实时数据同步系统介绍

深藏阁楼爱情的钟 2022-11-07 01:55 231阅读 0赞

### 目录 ###

*   *  实时数据同步系统目标
     *  业务同步系统需求分析
     *   *  业务场景
         *  \`sqoop\`解决方案一
         *  \`logstash\`解决方案二
         *  \`canal\`解决方案三
     *  Canal数据采集平台
     *   *  MySql安装
         *  \`binlog\`日志介绍
         *  开启\`binlog\`
     *  安装Canal
     *   *  Canal介绍
         *  Canal原理
         *  安装Canal

## 实时数据同步系统目标 ##

*  理解`canal`数据同步解决方案
 *  安装`canal`
 *  实现`Flink数据同步系统`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

## 业务同步系统需求分析 ##

### 业务场景 ###

一个大型的电商网站，每天都需要分析当天的成交量。如果使用`mysql`去分析，会`非常慢`，甚至会导致mysql宕机。要进行海量数据分析，需要将mysql中的数据`同步`到其他的海量数据存储介质（HDFS、hbase）中。那如何来导出呢？

### `sqoop`解决方案一 ###

![在这里插入图片描述][20210310175840633.png]

1.  使用`sqoop`定期导出mysql的数据到hbase或hdfs
2.  `sqoop`导出mysql的数据，需要通过sql语句来查询数据，再执行导出

### `logstash`解决方案二 ###

![在这里插入图片描述][20210310175906325.png]

1.  通过`logstash`将mysql的数据抽取到kafka
2.  在`logstatsh`编写sql语句，从mysql中查询数据

**存在的问题**
    logstash也需要在mysql中执行sql语句，也会加大mysql的压力，拖慢mysql

### `canal`解决方案三 ###

![在这里插入图片描述][2021031017593999.png]

1.  通过`canal`来解析mysql中的`binlog`日志来获取数据
2.  `不需要使用sql`查询mysql，不会增加mysql的压力

## Canal数据采集平台 ##

### MySql安装 ###

**步骤**

1.  创建`pyg`数据库
2.  创建数据库表  
    **实现**  
    推荐使用`sqlyog`来创建数据库、创建表
3.  创建`pyg`数据库
4.  将`资料\mysql脚本\`下的`创建表.sql`贴入到sqlyog中执行，创建数据库表

### `binlog`日志介绍 ###

*  用来记录mysql中的`增加`、`删除`、`修改`操作
 *  select操作`不会`保存到binlog中
 *  必须要`打开`mysql中的binlog功能，才会生成binlog日志
 *  binlog日志就是一系列的二进制文件

-rw-rw---- 1 mysql mysql 669 11⽉月 10 21:29 mysql-bin.000001
    -rw-rw---- 1 mysql mysql 126 11⽉月 10 22:06 mysql-bin.000002
    -rw-rw---- 1 mysql mysql 11799 11⽉月 15 18:17 mysql-bin.00000

### 开启`binlog` ###

**步骤**

1.  修改mysql配置文件，添加binlog支持
2.  重启mysql，查看binlog是否配置成功  
    **实现**
3.  使用vi打开`/etc/my.cnf`
4.  添加以下配置

[mysqld]
    log-bin=/var/lib/mysql/mysql-bin 
    binlog-format=ROW
    server_id=1

**配置说明**

# 2. 配置binlog日志的存放路径为/var/lib/mysql目录，文件以mysql-bin开头
    log-bin=/var/lib/mysql/mysql-bin 
    
    # 3. 配置mysql中每一行记录的变化都会详细记录下来
    binlog-format=ROW 
    
    # 4. 配置当前机器器的服务ID（如果是mysql集群，不能重复）
    server_id=1

1.  重启mysql

service mysql restart

1.  `mysql -u root -p`登录到mysql，执行以下命令

show variables like '%log_bin%';

1.  mysql输出以下内容，表示binlog已经成功开启
2.  进入到`/var/lib/mysql`可以查看到mysql-bin.000001文件已经生成

## 安装Canal ##

### Canal介绍 ###

*  canal是`阿里巴巴`的一个使用Java开发的开源项目
 *  它是专门用来进行`数据库同步`的
 *  目前支持`mysql`、以及(mariaDB)

### Canal原理 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]

1.  Canal模拟mysql slave的交互协议，伪装自己为mysql slave
2.  向mysql master发送dump协议
3.  mysql master收到dump协议，发送binary log给slave（canal)
4.  canal解析binary log字节流对象

### 安装Canal ###

**步骤**

1.  上传canal安装包
2.  解压canal
3.  配置canal
4.  启动canal  
    **实现**

1.上传`canal.deployer-1.0.24.tar.gz`到`/export/software`目录  
2.在`/export/servers`下创建`canal`目录，一会直接将canal的文件解压到这个目录中

cd /export/servers
    mkdir canal

3.解压canal到`/export/servers`目录

tar -xvzf canal.deployer-1.0.24.tar.gz -C ../servers/canal

4.修改`canal/conf/example`目录中的`instance.properties`文件

## mysql serverId
      canal.instance.mysql.slaveId = 1234
      
      # position info
      canal.instance.master.address = hadoop102:3306
      
      canal.instance.dbUsername = root
      canal.instance.dbPassword = 000000

1. canal.instance.mysql.slaveId这个ID不能与之前配置的`service_id`重复
    2. canal.instance.master.address配置为mysql安装的机器名和端口号

5.执行/export/servers/canal/bin目录中的`startup.sh`启动canal

cd /export/servers/canal/bin
    ./startup.sh

6.控制台如果输出如下，表示canal已经启动成功

cd to /export/servers/canal/bin for workaround relative path
    LOG CONFIGURATION : /export/servers/canal/bin/../conf/logback.xml
    canal conf : /export/servers/canal/bin/../conf/canal.properties
    CLASSPATH :/export/servers/canal/bin/../conf:/export/servers/canal/bin/../lib/zookeeper-
    ...
    cd to /export/servers/canal/bin for continue

注意：
    
    Canal的远程连接端口号默认为`11111`，当然如果需要，可以在`canal.properties`文件中修改

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221023/db68580a8e174bc5ac97d3234618cb74.png
[20210310175840633.png]: /images/20221023/88d99dab896f4a198cfdb44178469f5b.png
[20210310175906325.png]: /images/20221023/fdb0f48dbfb049dfaa59b30dc03990a1.png
[2021031017593999.png]: /images/20221023/e6d69d1efea54290ae86fcba872b199d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: /images/20221023/4d52317ffa6b4708b3aa22c0c8c4d953.png