离线数仓 (六) --------- 业务数据采集模块

约定不等于承诺〃 2024-04-01 09:45 79阅读 0赞

#### 目录 ####

*  一、MySQL 安装
 *   *  1. 安装包准备
     *  2. 安装 MySQL
     *  3. 配置 MySQL
 *  二、业务数据生成
 *   *  1. 连接 MySQL
     *  2. 建表语句
     *  3. 生成业务数据
     *  4. 业务数据建模
 *  三、Sqoop 安装
 *   *  1. 下载并解压
     *  2. 修改配置文件
     *  3. 拷贝JDBC驱动
     *  4. 验证 Sqoop
     *  5. 测试 Sqoop 是否能够成功连接数据库
     *  6. Sqoop 基本使用
 *  四、同步策略
 *   *  1. 全量同步策略
     *  2. 增量同步策略
     *  3. 新增及变化策略
     *  4. 特殊策略
 *  五、业务数据导入 HDFS
 *   *  1. 分析表同步策略
     *  2. 业务数据首日同步脚本
     *  3. 业务数据每日同步脚本
     *  4. 项目经验

--------------------

## 一、MySQL 安装 ##

### 1. 安装包准备 ###

**A、将安装包和 JDBC 驱动上传到 /opt/software，共计6个**

01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
    02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
    03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm
    04_mysql-community-client-5.7.16-1.el7.x86_64.rpm
    05_mysql-community-server-5.7.16-1.el7.x86_64.rpm
    mysql-connector-java-5.1.27-bin.jar

**B、如果是虚拟机按照如下步骤执行**

卸载自带的Mysql-libs（如果之前安装过MySQL，要全都卸载掉）

[fancy@node101 software]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps

**C、如果是阿里云服务器按照如下步骤执行**

说明：由于阿里云服务器安装的是 Linux 最小系统版，没有如下工具，所以需要安装。

卸载MySQL依赖，虽然机器上没有装MySQL，但是这一步不可少

[fancy@node101 software]# sudo yum remove mysql-libs

下载依赖并安装

[fancy@node101 software]# sudo yum install libaio
    [fancy@node101 software]# sudo yum -y install autoconf

### 2. 安装 MySQL ###

**A、安装 MySQL 依赖**

[fancy@node101 software]$ sudo rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
    [fancy@node101  software]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
    [fancy@node101  software]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

**B、安装 mysql-client**

[fancy@node101 software]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

**C、安装mysql-server**

[fancy@node101 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

> 注意：如果报如下错误，这是由于 yum 安装了旧版本的 GPG keys 所造成，从 rpm 版本4.1后，在安装或升级软件包时会自动检查软件包的签名。

warning: 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
    error: Failed dependencies:
    libaio.so.1()(64bit) is needed by mysql-community-server-5.7.16-1.el7.x86_64

解决办法

[fancy@node101 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm --force --nodeps

**D、启动 MySQL**

[fancy@node101 software]$ sudo systemctl start mysqld

**E、查看 MySQL 密码**

[fancy@node101 software]$ sudo cat /var/log/mysqld.log | grep password

### 3. 配置 MySQL ###

配置只要是 root 用户 + 密码，在任何主机上都能登录 MySQL 数据库。

**A、用刚刚查到的密码进入MySQL（如果报错，给密码加单引号）**

[fancy@node101 software]$ mysql -uroot -p'password'

**B、设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）**

mysql> set password=password("Qs23=zs32");

**C、更改 MySQL 密码策略**

mysql> set global validate_password_length=4;
    mysql> set global validate_password_policy=0;

**D、设置简单好记的密码**

mysql> set password=password("000000");

**E、进入MySQL库**

mysql> use mysql

**F、查询user表**

mysql> select user, host from user;

**G、修改user表，把Host表内容修改为%**

mysql> update user set host="%" where user="root";

**H、刷新**

mysql> flush privileges;

**I、退出**

mysql> quit;

## 二、业务数据生成 ##

### 1. 连接 MySQL ###

通过MySQL可视化客户端连接数据库。

![在这里插入图片描述][0ec9e96864af486cb59700cc7c4eb446.png]

### 2. 建表语句 ###

**A、通过 SQLyog 创建数据库**

![在这里插入图片描述][fc0d7d688cb5447b8d91d9f12f3ad28b.png]

**B、设置数据库名称为gmall，编码为utf-8，排序规则为utf8\_general\_ci**

![在这里插入图片描述][2ccc502474fd4d6e8f0d4391fff5ea82.png]  
**C、导入数据库结构脚本 (gmall.sql)**

![在这里插入图片描述][b6f00a67da91450ba8f5400413df6761.png]  
注意：完成后，要记得右键，刷新一下对象浏览器，就可以看见数据库中的表了。

### 3. 生成业务数据 ###

**A、在 node101 的 /opt/module/ 目录下创建db\_log文件夹**

[fancy@node101 module]$ mkdir db_log/

**B、把 gmall2020-mock-db-2021-01-22.jar 和 application.properties 上传到node101 的/opt/module/db\_log路径上**

**C、根据需求修改 application.properties 相关配置**

logging.level.root=info
    
    
    spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    spring.datasource.url=jdbc:mysql://node101:3306/gmall?characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8
    spring.datasource.username=root
    spring.datasource.password=000000
    
    logging.pattern.console=%m%n
    
    
    mybatis-plus.global-config.db-config.field-strategy=not_null
    
    
    #业务日期
    mock.date=2020-06-14
    #是否重置  注意：第一次执行必须设置为1，后续不需要重置不用设置为1
    mock.clear=1
    #是否重置用户 注意：第一次执行必须设置为1，后续不需要重置不用设置为1
    mock.clear.user=1
    
    #生成新用户数量
    mock.user.count=100
    #男性比例
    mock.user.male-rate=20
    #用户数据变化概率
    mock.user.update-rate:20
    
    #收藏取消比例
    mock.favor.cancel-rate=10
    #收藏数量
    mock.favor.count=100
    
    #每个用户添加购物车的概率
    mock.cart.user-rate=50
    #每次每个用户最多添加多少种商品进购物车
    mock.cart.max-sku-count=8 
    #每个商品最多买几个
    mock.cart.max-sku-num=3 
    
    #购物车来源  用户查询，商品推广，智能推荐, 促销活动
    mock.cart.source-type-rate=60:20:10:10
    
    #用户下单比例
    mock.order.user-rate=50
    #用户从购物中购买商品比例
    mock.order.sku-rate=50
    #是否参加活动
    mock.order.join-activity=1
    #是否使用购物券
    mock.order.use-coupon=1
    #购物券领取人数
    mock.coupon.user-count=100
    
    #支付比例
    mock.payment.rate=70
    #支付方式 支付宝：微信 ：银联
    mock.payment.payment-type=30:60:10
    
    
    #评价比例 好：中：差：自动
    mock.comment.appraise-rate=30:10:10:50
    
    #退款原因比例：质量问题 商品描述与实际描述不一致 缺货 号码不合适 拍错 不想买了 其他
    mock.refund.reason-rate=30:10:20:5:15:5:5

**D、并在该目录下执行，如下命令，生成2020-06-14日期数据**

[fancy@node101 db_log]$ java -jar gmall2020-mock-db-2021-01-22.jar

**E、查看gmall数据库，观察是否有2020-06-14的数据出现**

### 4. 业务数据建模 ###

可借助 EZDML 这款数据库设计工具，来辅助我们梳理复杂的业务表关系。

**A、下载地址**

[http://www.ezdml.com/download\_cn.html][http_www.ezdml.com_download_cn.html]

**B、使用说明**

新建模型

![在这里插入图片描述][599b801d6db1486ca2e620648cee7499.png]  
命名模型

![在这里插入图片描述][e184c907d36a415b9514d10aa078cc8c.png]

点击图标，选中模型

![在这里插入图片描述][6d804e27531144cb8badc52e55771953.png]  
导入数据库

![在这里插入图片描述][933a42b08a3c48af834cda9335b39abb.png]  
配置数据库连接

![在这里插入图片描述][3685da92cbef4ccc9455581422339a16.png]  
选择导入的表 (标注红点的表不需要导入)

![在这里插入图片描述][5a8debdc295649d4b02bdae0c651fc18.png]

建立表关系

第一步：点击选中主表 (主键所在的表)  
![在这里插入图片描述][0454759af3bb462297e60269876a7fa9.png]  
第二步：点击连接按钮

![在这里插入图片描述][8e975748a22948eaa67dab915ec07fb6.png]  
第三步：点击从表，配置连接条件

![在这里插入图片描述][d95f41914bfd4493bdbc847e4e8bcee0.png]  
第四步：效果展示

![在这里插入图片描述][e13bcd073ee047a9b39efae42b78894e.png]

**C、使用技巧**

缩略图

![在这里插入图片描述][e268859446f144aca3f16201d7e00839.png]

热键

*  按住 shift 键，用鼠标点击表，进行多选，可实现批量移动
 *  按住 ctrl 键，用鼠标圈选表，也可进行多选，实现批量移动

## 三、Sqoop 安装 ##

### 1. 下载并解压 ###

sqoop官网地址：[http://sqoop.apache.org][http_sqoop.apache.org]

下载地址：[http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/][http_mirrors.hust.edu.cn_apache_sqoop_1.4.6]

上传安装包 sqoop-1.4.6.bin\_\_hadoop-2.0.4-alpha.tar.gz 到 node101 的 /opt/software 路径中

解压sqoop安装包到指定目录，如：

[fancy@node101 software]$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

解压sqoop安装包到指定目录，如：

[fancy@node101 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

### 2. 修改配置文件 ###

**A、进入到 /opt/module/sqoop/conf 目录，重命名配置文件**

[fancy@node101 conf]$ mv sqoop-env-template.sh sqoop-env.sh

**B、修改配置文件**

[fancy@node101 conf]$ vim sqoop-env.sh

增加如下内容

export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3
    export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
    export HIVE_HOME=/opt/module/hive
    export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
    export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf

### 3. 拷贝JDBC驱动 ###

将 mysql-connector-java-5.1.48.jar 上传到 /opt/software 路径

进入到 /opt/software/ 路径，拷贝 jdbc 驱动到 sqoop 的 lib 目录下。

[fancy@node101 software]$ cp mysql-connector-java-5.1.48.jar /opt/module/sqoop/lib/

### 4. 验证 Sqoop ###

我们可以通过某一个command来验证sqoop配置是否正确：

[fancy@node101 sqoop]$ bin/sqoop help

出现一些 Warning 警告 (警告信息已省略) ，并伴随着帮助命令的输出：

Available commands:
      codegen            Generate code to interact with database records
      create-hive-table     Import a table definition into Hive
      eval               Evaluate a SQL statement and display the results
      export             Export an HDFS directory to a database table
      help               List available commands
      import             Import a table from a database to HDFS
      import-all-tables     Import tables from a database to HDFS
      import-mainframe    Import datasets from a mainframe server to HDFS
      job                Work with saved jobs
      list-databases        List available databases on a server
      list-tables           List available tables in a database
      merge              Merge results of incremental imports
      metastore           Run a standalone Sqoop metastore
      version            Display version information

### 5. 测试 Sqoop 是否能够成功连接数据库 ###

[fancy@node101 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://node101:3306/ --username root --password 000000

出现如下输出：

information_schema
    metastore
    mysql
    oozie
    performance_schema

### 6. Sqoop 基本使用 ###

将 mysql 中 user\_info 表数据导入到 HDFS 的 /test 路径

bin/sqoop import \
    --connect jdbc:mysql://node101:3306/gmall \
    --username root \
    --password 000000 \
    --table user_info \
    --columns id,login_name \
    --where "id>=10 and id<=30" \
    --target-dir /test \
    --delete-target-dir \
    --fields-terminated-by '\t' \
    --num-mappers 2 \
    --split-by id

## 四、同步策略 ##

数据同步策略的类型包括：全量同步、增量同步、新增及变化同步、特殊情况。

*  全量表：存储完整的数据。
 *  增量表：存储新增加的数据。
 *  新增及变化表：存储新增加的数据和变化的数据。
 *  特殊表：只需要存储一次。

### 1. 全量同步策略 ###

每日全量，就是每天存储一份完整数据，作为一个分区。适用于表数据量不大，且每天既会有新数据插入，也会有旧数据的修改的场景。

例如：编码字典表、品牌表、商品三级分类、商品二级分类、商品一级分类、优惠规则表、活动表、活动参与商品表、加购表、商品收藏表、优惠卷表、SKU商品表、SPU商品表。

![在这里插入图片描述][f32d27e635624bfeb7ce60b1eb06916b.png]

### 2. 增量同步策略 ###

每日增量，就是每天存储一份增量数据，作为一个分区。适用于表数据量大，且每天只会有新数据插入的场景。

例如：退单表、订单态表、支付流水表、订单详情表、活动与订单关联表、商品评论表。  
![在这里插入图片描述][8c4d52109d914b648535875fea462f64.png]

### 3. 新增及变化策略 ###

每日新增及变化，就是存储创建时间和操作时间都是今天的数据。

适用场景为，表的数据量大，既会有新增，风会有变化。例如；用户表、订表、优惠卷领用表。

![在这里插入图片描述][87afc6d7c3e44105945b6a0f70018fec.png]

### 4. 特殊策略 ###

某些特殊的表，可不必遵循上述同步策略。例如某些不会发生变化的表 (地区表，省份表，民族表) 可以只存一份固定值。

## 五、业务数据导入 HDFS ##

### 1. 分析表同步策略 ###

在生产环境，个别小公司，为了简单处理，所有表全量导入。

中大型公司，由于数据量比较大，还是严格按照同步策略导入数据。

![在这里插入图片描述][fdb853d7056b463fa05d7eb271dc28eb.png]

### 2. 业务数据首日同步脚本 ###

**A、脚本编写**

在 `/home/fancy/bin` 目录下创建

[fancy@node101 bin]$ vim mysql_to_hdfs_init.sh

添加如下内容：

#! /bin/bash
    
    APP=gmall
    sqoop=/opt/module/sqoop/bin/sqoop
    
    if [ -n "$2" ] ;then
       do_date=$2
    else 
       echo "请传入日期参数"
       exit
    fi 
    
    import_data(){
    	$sqoop import \
    	--connect jdbc:mysql://node101:3306/$APP \
    	--username root \
    	--password 000000 \
    	--target-dir /origin_data/$APP/db/$1/$do_date \
    	--delete-target-dir \
    	--query "$2 where \$CONDITIONS" \
    	--num-mappers 1 \
    	--fields-terminated-by '\t' \
    	--compress \
    	--compression-codec lzop \
    	--null-string '\\N' \
    	--null-non-string '\\N'
    	
    	hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date
    }
    
    import_order_info(){
      import_data order_info "select
                                  id, 
                                  total_amount, 
                                  order_status, 
                                  user_id, 
                                  payment_way,
                                  delivery_address,
                                  out_trade_no, 
                                  create_time, 
                                  operate_time,
                                  expire_time,
                                  tracking_no,
                                  province_id,
                                  activity_reduce_amount,
                                  coupon_reduce_amount,                            
                                  original_total_amount,
                                  feight_fee,
                                  feight_fee_reduce      
                              from order_info"
    }
    
    import_coupon_use(){
      import_data coupon_use "select
    	                          id,
    	                          coupon_id,
    	                          user_id,
    	                          order_id,
    	                          coupon_status,
    	                          get_time,
    	                          using_time,
    	                          used_time,
    	                          expire_time
                              from coupon_use"
    }
    
    import_order_status_log(){
      import_data order_status_log "select
                                        id,
                                        order_id,
                                        order_status,
                                        operate_time
                                    from order_status_log"
    }
    
    import_user_info(){
      import_data "user_info" "select 
                                   id,
                                   login_name,
                                   nick_name,
                                   name,
                                   phone_num,
                                   email,
                                   user_level, 
                                   birthday,
                                  gender,
                                  create_time,
                                  operate_time
                               from user_info"
    }
    
    import_order_detail(){
      import_data order_detail "select 
                                    id,
                                    order_id, 
                                    sku_id,
                                    sku_name,
                                    order_price,
                                    sku_num, 
                                    create_time,
                                    source_type,
                                    source_id,
                                    split_total_amount,
                                    split_activity_amount,
                                    split_coupon_amount
                                from order_detail"
    }
    
    import_payment_info(){
      import_data "payment_info"  "select 
                                       id,  
                                       out_trade_no, 
                                       order_id, 
                                       user_id, 
                                       payment_type, 
                                       trade_no, 
                                       total_amount,  
                                       subject, 
                                       payment_status,
                                       create_time,
                                       callback_time 
                                   from payment_info"
    }
    
    import_comment_info(){
      import_data comment_info "select
                                    id,
                                    user_id,
                                    sku_id,
                                    spu_id,
                                    order_id,
                                    appraise,
                                    create_time
                                from comment_info"
    }
    
    import_order_refund_info(){
      import_data order_refund_info "select
    	                                 id,
    	                                 user_id,
    	                                 order_id,
    	                                 sku_id,
    	                                 refund_type,
    	                                 refund_num,
    	                                 refund_amount,
    	                                 refund_reason_type,
    	                                 refund_status,
    	                                 create_time
                                      from order_refund_info"
    }
    
    import_sku_info(){
      import_data sku_info "select 
                                id,
                                spu_id,
                                price,
                                sku_name,
                                sku_desc,
                                weight,
                                tm_id,
                                category3_id,
                                is_sale,
                                create_time
                            from sku_info"
    }
    
    import_base_category1(){
      import_data "base_category1" "select 
                                        id,
                                        name 
                                    from base_category1"
    }
    
    import_base_category2(){
      import_data "base_category2" "select
                                        id,
                                        name,
                                        category1_id 
                                    from base_category2"
    }
    
    import_base_category3(){
      import_data "base_category3" "select
                                        id,
                                        name,
                                        category2_id
                                    from base_category3"
    }
    
    import_base_province(){
      import_data base_province "select
                                     id,
                                     name,
                                     region_id,
                                     area_code,
                                     iso_code,
                                     iso_3166_2
                                 from base_province"
    }
    
    import_base_region(){
      import_data base_region "select
                                   id,
                                   region_name
                                from base_region"
    }
    
    import_base_trademark(){
      import_data base_trademark "select
                                      id,
                                      tm_name
                                  from base_trademark"
    }
    
    import_spu_info(){
      import_data spu_info "select
                                id,
                                spu_name,
                                category3_id,
                                tm_id
                              from spu_info"
    }
    
    import_favor_info(){
      import_data favor_info "select
    	                          id,
    	                          user_id,
    	                          sku_id,
    	                          spu_id,
    	                          is_cancel,
    	                          create_time,
    	                          cancel_time
                              from favor_info"
    }
    
    import_cart_info(){
      import_data cart_info "select
    	                        id,
    	                        user_id,
    	                        sku_id,
    	                        cart_price,
    	                        sku_num,
    	                        sku_name,
    	                        create_time,
    	                        operate_time,
    	                        is_ordered,
    	                        order_time,
    	                        source_type,
    	                        source_id
                             from cart_info"
    }
    
    import_coupon_info(){
      import_data coupon_info "select
    	                           id,
    	                           coupon_name,
    	                           coupon_type,
    	                           condition_amount,
    	                           condition_num,
    	                           activity_id,
    	                           benefit_amount,
    	                           benefit_discount,
    	                           create_time,
    	                           range_type,
    	                           limit_num,
    	                           taken_count,
    	                           start_time,
    	                           end_time,
    	                           operate_time,
    	                           expire_time
                                from coupon_info"
    }
    
    import_activity_info(){
      import_data activity_info "select
                                     id,
                                     activity_name,
                                     activity_type,
                                     start_time,
                                     end_time,
                                     create_time
                                 from activity_info"
    }
    
    import_activity_rule(){
        import_data activity_rule "select
                                       id,
                                       activity_id,
                                       activity_type,
                                       condition_amount,
                                       condition_num,
                                       benefit_amount,
                                       benefit_discount,
                                       benefit_level
                                    from activity_rule"
    }
    
    import_base_dic(){
        import_data base_dic "select
                                  dic_code,
                                  dic_name,
                                  parent_code,
                                  create_time,
                                  operate_time
                              from base_dic"
    }
    
    
    import_order_detail_activity(){
        import_data order_detail_activity "select
                                               id,
                                               order_id,
                                               order_detail_id,
                                               activity_id,
                                               activity_rule_id,
                                               sku_id,
                                               create_time
                                           from order_detail_activity"
    }
    
    
    import_order_detail_coupon(){
        import_data order_detail_coupon "select
                                             id,
                                       		 order_id,
                                             order_detail_id,
                                             coupon_id,
                                             coupon_use_id,
                                             sku_id,
                                             create_time
                                         from order_detail_coupon"
    }
    
    
    import_refund_payment(){
        import_data refund_payment "select
                                        id,
                                        out_trade_no,
                                        order_id,
                                        sku_id,
                                        payment_type,
                                        trade_no,
                                        total_amount,
                                        subject,
                                        refund_status,
                                        create_time,
                                        callback_time
                                     from refund_payment"                                                    
    
    }
    
    import_sku_attr_value(){
        import_data sku_attr_value "select
                                        id,
                                        attr_id,
                                        value_id,
                                        sku_id,
                                        attr_name,
                                        value_name
                                    from sku_attr_value"
    }
    
    
    import_sku_sale_attr_value(){
        import_data sku_sale_attr_value "select
                                             id,
                                             sku_id,
                                             spu_id,
                                             sale_attr_value_id,
                                             sale_attr_id,
                                             sale_attr_name,
                                             sale_attr_value_name
                                          from sku_sale_attr_value"
    }
    
    case $1 in
      "order_info")
         import_order_info
    ;;
      "base_category1")
         import_base_category1
    ;;
      "base_category2")
         import_base_category2
    ;;
      "base_category3")
         import_base_category3
    ;;
      "order_detail")
         import_order_detail
    ;;
      "sku_info")
         import_sku_info
    ;;
      "user_info")
         import_user_info
    ;;
      "payment_info")
         import_payment_info
    ;;
      "base_province")
         import_base_province
    ;;
      "base_region")
         import_base_region
    ;;
      "base_trademark")
         import_base_trademark
    ;;
      "activity_info")
          import_activity_info
    ;;
      "cart_info")
          import_cart_info
    ;;
      "comment_info")
          import_comment_info
    ;;
      "coupon_info")
          import_coupon_info
    ;;
      "coupon_use")
          import_coupon_use
    ;;
      "favor_info")
          import_favor_info
    ;;
      "order_refund_info")
          import_order_refund_info
    ;;
      "order_status_log")
          import_order_status_log
    ;;
      "spu_info")
          import_spu_info
    ;;
      "activity_rule")
          import_activity_rule
    ;;
      "base_dic")
          import_base_dic
    ;;
      "order_detail_activity")
          import_order_detail_activity
    ;;
      "order_detail_coupon")
          import_order_detail_coupon
    ;;
      "refund_payment")
          import_refund_payment
    ;;
      "sku_attr_value")
          import_sku_attr_value
    ;;
      "sku_sale_attr_value")
          import_sku_sale_attr_value
    ;;
      "all")
       import_base_category1
       import_base_category2
       import_base_category3
       import_order_info
       import_order_detail
       import_sku_info
       import_user_info
       import_payment_info
       import_base_region
       import_base_province
       import_base_trademark
       import_activity_info
       import_cart_info
       import_comment_info
       import_coupon_use
       import_coupon_info
       import_favor_info
       import_order_refund_info
       import_order_status_log
       import_spu_info
       import_activity_rule
       import_base_dic
       import_order_detail_activity
       import_order_detail_coupon
       import_refund_payment
       import_sku_attr_value
       import_sku_sale_attr_value
    ;;
    esac

说明1：

*  `[ -n 变量值 ]` 判断变量的值，是否为空
 *  – 变量的值，非空，返回true
 *  – 变量的值，为空，返回false

说明2：

*  查看date命令的使用

[fancy@node101 ~]$ date --help

增加脚本执行权限

[fancy@node101 bin]$ chmod +x mysql_to_hdfs_init.sh

**B、脚本使用**

[fancy@node101 bin]$ mysql_to_hdfs_init.sh all 2020-06-14

### 3. 业务数据每日同步脚本 ###

**A、脚本编写**

在 `/home/fancy/bin` 目录下创建

[fancy@node101 bin]$ vim mysql_to_hdfs.sh

添加如下内容：

#! /bin/bash
    APP=gmall
    sqoop=/opt/module/sqoop/bin/sqoop
    
    if [ -n "$2" ] ;then
        do_date=$2
    else
        do_date=`date -d '-1 day' +%F`
    fi
    
    import_data(){
        
    	$sqoop import \
    	--connect jdbc:mysql://node101:3306/$APP \
    	--username root \
    	--password 000000 \
    	--target-dir /origin_data/$APP/db/$1/$do_date \
    	--delete-target-dir \
    	--query "$2 and  \$CONDITIONS" \
    	--num-mappers 1 \
    	--fields-terminated-by '\t' \
    	--compress \
    	--compression-codec lzop \
    	--null-string '\\N' \
    	--null-non-string '\\N'
    	
    	hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date
    }
    
    import_order_info(){
        
      import_data order_info "select
    	                          id, 
    	                          total_amount, 
    	                          order_status, 
    	                          user_id, 
    	                          payment_way,
    	                          delivery_address,
    	                          out_trade_no, 
    	                          create_time, 
    	                          operate_time,
    	                          expire_time,
    	                          tracking_no,
    	                          province_id,
    	                          activity_reduce_amount,
    	                          coupon_reduce_amount,                            
    	                          original_total_amount,
    	                          feight_fee,
    	                          feight_fee_reduce      
                            from order_info
                            where (date_format(create_time,'%Y-%m-%d')='$do_date' 
                            or date_format(operate_time,'%Y-%m-%d')='$do_date')"
    }
    
    import_coupon_use(){
        
      import_data coupon_use "select
    	                          id,
    	                          coupon_id,
    	                          user_id,
    	                          order_id,
    	                          coupon_status,
    	                          get_time,
    	                          using_time,
    	                          used_time,
    	                          expire_time
                            from coupon_use
                            where (date_format(get_time,'%Y-%m-%d')='$do_date'
                            or date_format(using_time,'%Y-%m-%d')='$do_date'
                            or date_format(used_time,'%Y-%m-%d')='$do_date'
                            or date_format(expire_time,'%Y-%m-%d')='$do_date')"
    }
    
    import_order_status_log(){
        
      import_data order_status_log "select
                                      	id,
                                     	order_id,
                                      	order_status,
                                      	operate_time
                                    from order_status_log
                                    where date_format(operate_time,'%Y-%m-%d')='$do_date'"
    }
    
    import_user_info(){
        
      import_data "user_info" "select 
                                   id,
                                   login_name,
                                   nick_name,
                                   name,
                                   phone_num,
                                   email,
                                   user_level, 
                                   birthday,
                                   gender,
                                   create_time,
                                   operate_time
                              from user_info 
                              where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' 
                              or DATE_FORMAT(operate_time,'%Y-%m-%d')='$do_date')"
    }
    
    import_order_detail(){
        
      import_data order_detail "select 
                                    id,
                                    order_id, 
                                    sku_id,
                                    sku_name,
                                    order_price,
                                    sku_num, 
                                    create_time,
                                    source_type,
                                    source_id,
                                    split_total_amount,
                                    split_activity_amount,
                                    split_coupon_amount
                                from order_detail 
                                where DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date'"
    }
    
    import_payment_info(){
        
      import_data "payment_info"  "select 
                                      id,  
                                      out_trade_no, 
                                      order_id, 
                                      user_id, 
                                      payment_type, 
                                      trade_no, 
                                      total_amount,  
                                      subject, 
                                      payment_status,
                                      create_time,
                                      callback_time 
                                  from payment_info 
                                  where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' 
                                  or DATE_FORMAT(callback_time,'%Y-%m-%d')='$do_date')"
    }
    
    import_comment_info(){
        
      import_data comment_info "select
                                    id,
                                    user_id,
                                    sku_id,
                                    spu_id,
                                    order_id,
                                    appraise,
                                    create_time
                                from comment_info
                                where date_format(create_time,'%Y-%m-%d')='$do_date'"
    }
    
    import_order_refund_info(){
        
      import_data order_refund_info "select
                                        id,
                                        user_id,
                                        order_id,
                                        sku_id,
                                        refund_type,
                                        refund_num,
                                        refund_amount,
                                        refund_reason_type,
                                        refund_status,
                                        create_time
                                  from order_refund_info
                                  where date_format(create_time,'%Y-%m-%d')='$do_date'"
    }
    
    import_sku_info(){
        
      import_data sku_info "select 
                                id,
                                spu_id,
                                price,
                                sku_name,
                                sku_desc,
                                weight,
                                tm_id,
                                category3_id,
                                is_sale,
                                create_time
                            from sku_info where 1=1"
    }
    
    import_base_category1(){
        
      import_data "base_category1" "select 
                                        id,
                                        name 
                                    from base_category1 where 1=1"
    }
    
    import_base_category2(){
        
      import_data "base_category2" "select
                                        id,
                                        name,
                                        category1_id 
                                    from base_category2 where 1=1"
    }
    
    import_base_category3(){
        
      import_data "base_category3" "select
                                        id,
                                        name,
                                        category2_id
                                    from base_category3 where 1=1"
    }
    
    import_base_province(){
        
      import_data base_province "select
                                     id,
                                     name,
                                     region_id,
                                     area_code,
                                     iso_code,
                                     iso_3166_2
                                from base_province
                                where 1=1"
    }
    
    import_base_region(){
        
      import_data base_region "select
                                   id,
                                   region_name
                                from base_region
                                where 1=1"
    }
    
    import_base_trademark(){
        
      import_data base_trademark "select
                                      id,
                                      tm_name
                                  from base_trademark
                                  where 1=1"
    }
    
    import_spu_info(){
        
      import_data spu_info "select
                                id,
                                spu_name,
                                category3_id,
                                tm_id
                              from spu_info
                              where 1=1"
    }
    
    import_favor_info(){
        
      import_data favor_info "select
                                  id,
                                  user_id,
                                  sku_id,
                                  spu_id,
                                  is_cancel,
                                  create_time,
                                  cancel_time
                            from favor_info
                            where 1=1"
    }
    
    import_cart_info(){
        
      import_data cart_info "select
                            	id,
                            	user_id,
                           		sku_id,
                            	cart_price,
                            	sku_num,
                            	sku_name,
                            	create_time,
                            	operate_time,
                            	is_ordered,
                            	order_time,
                            	source_type,
                            	source_id
                          from cart_info
                          where 1=1"
    }
    
    import_coupon_info(){
        
      import_data coupon_info "select
                              	   id,
                              	   coupon_name,
                                   coupon_type,
                                   condition_amount,
                                   condition_num,
                                   activity_id,
                                   benefit_amount,
                                   benefit_discount,
                                   create_time,
                              	   range_type,
                                   limit_num,
                                   taken_count,
                                   start_time,
                                   end_time,
                                   operate_time,
                                   expire_time
                              from coupon_info
                              where 1=1"
    }
    
    import_activity_info(){
        
      import_data activity_info "select
                                    id,
                                    activity_name,
                                    activity_type,
                                    start_time,
                                    end_time,
                                    create_time
                                 from activity_info
                                 where 1=1"
    }
    
    import_activity_rule(){
        
        import_data activity_rule "select
                                        id,
                                        activity_id,
                                        activity_type,
                                        condition_amount,
                                        condition_num,
                                        benefit_amount,
                                        benefit_discount,
                                        benefit_level
                                    from activity_rule
                                    where 1=1"
    }
    
    import_base_dic(){
        
        import_data base_dic "select
                                  dic_code,
                                  dic_name,
                                  parent_code,
                                  create_time,
                                  operate_time
                             from base_dic
                             where 1=1"
    }
    
    
    import_order_detail_activity(){
        
        import_data order_detail_activity "select
                                               id,
                                               order_id,
                                               order_detail_id,
                                               activity_id,
                                               activity_rule_id,
                                               sku_id,
                                               create_time
                                           from order_detail_activity
                                           where date_format(create_time,'%Y-%m-%d')='$do_date'"
    }
    
    
    import_order_detail_coupon(){
        
        import_data order_detail_coupon "select
                                             id,
                                             order_id,
                                             order_detail_id,
                                             coupon_id,
                                             coupon_use_id,
                                             sku_id,
                                             create_time
                                          from order_detail_coupon
                                          where date_format(create_time,'%Y-%m-%d')='$do_date'"
    }
    
    
    import_refund_payment(){
        
        import_data refund_payment "select
    	                                id,
    	                                out_trade_no,
    	                                order_id,
    	                                sku_id,
    	                                payment_type,
    	                                trade_no,
    	                                total_amount,
    	                                subject,
    	                                refund_status,
    	                                create_time,
    	                                callback_time
    	                             from refund_payment
    	                             where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' 
    	                             or DATE_FORMAT(callback_time,'%Y-%m-%d')='$do_date')"                                                    
    
    }
    
    import_sku_attr_value(){
        
        import_data sku_attr_value "select
                                        id,
                                        attr_id,
                                        value_id,
                                        sku_id,
                                        attr_name,
                                        value_name
                                    from sku_attr_value
                                    where 1=1"
    }
    
    
    import_sku_sale_attr_value(){
        
        import_data sku_sale_attr_value "select
                                    		id,
                                            sku_id,
                                            spu_id,
                                            sale_attr_value_id,
                                            sale_attr_id,
                                            sale_attr_name,
                                            sale_attr_value_name
                                       from sku_sale_attr_value
                                       where 1=1"
    }
    
    case $1 in
      "order_info")
         import_order_info
    ;;
      "base_category1")
         import_base_category1
    ;;
      "base_category2")
         import_base_category2
    ;;
      "base_category3")
         import_base_category3
    ;;
      "order_detail")
         import_order_detail
    ;;
      "sku_info")
         import_sku_info
    ;;
      "user_info")
         import_user_info
    ;;
      "payment_info")
         import_payment_info
    ;;
      "base_province")
         import_base_province
    ;;
      "activity_info")
          import_activity_info
    ;;
      "cart_info")
          import_cart_info
    ;;
      "comment_info")
          import_comment_info
    ;;
      "coupon_info")
          import_coupon_info
    ;;
      "coupon_use")
          import_coupon_use
    ;;
      "favor_info")
          import_favor_info
    ;;
      "order_refund_info")
          import_order_refund_info
    ;;
      "order_status_log")
          import_order_status_log
    ;;
      "spu_info")
          import_spu_info
    ;;
      "activity_rule")
          import_activity_rule
    ;;
      "base_dic")
          import_base_dic
    ;;
      "order_detail_activity")
          import_order_detail_activity
    ;;
      "order_detail_coupon")
          import_order_detail_coupon
    ;;
      "refund_payment")
          import_refund_payment
    ;;
      "sku_attr_value")
          import_sku_attr_value
    ;;
      "sku_sale_attr_value")
          import_sku_sale_attr_value
    ;;
    "all")
       import_base_category1
       import_base_category2
       import_base_category3
       import_order_info
       import_order_detail
       import_sku_info
       import_user_info
       import_payment_info
       import_base_trademark
       import_activity_info
       import_cart_info
       import_comment_info
       import_coupon_use
       import_coupon_info
       import_favor_info
       import_order_refund_info
       import_order_status_log
       import_spu_info
       import_activity_rule
       import_base_dic
       import_order_detail_activity
       import_order_detail_coupon
       import_refund_payment
       import_sku_attr_value
       import_sku_sale_attr_value
    ;;
    esac

增加脚本执行权限

[fancy@node101 bin]$ chmod +x mysql_to_hdfs.sh

**B、脚本使用**

[fancy@node101 bin]$ mysql_to_hdfs.sh all 2020-06-15

### 4. 项目经验 ###

Hive 中的 Null 在底层是以 `"\N"` 来存储，而 MySQL 中的 Null 在底层就是 Null，为了保证数据两端的一致性。在导出数据时采用 `--input-null-string` 和 `--input-null-non-string` 两个参数。导入数据时采用 `--null-string` 和 `--null-non-string`。

[0ec9e96864af486cb59700cc7c4eb446.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9d0d34417d35494daf3c419ad0f538b7.png
[fc0d7d688cb5447b8d91d9f12f3ad28b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/67394d6d64e640288e60dfb69a76f1a8.png
[2ccc502474fd4d6e8f0d4391fff5ea82.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ce49f3f5c4bb4e1d84fd86d38cae412b.png
[b6f00a67da91450ba8f5400413df6761.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9929a6ade6cd4cc9abda55ed26e2073a.png
[http_www.ezdml.com_download_cn.html]: http://www.ezdml.com/download_cn.html
[599b801d6db1486ca2e620648cee7499.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/191d3cb454ee47dba0036298a29cf18c.png
[e184c907d36a415b9514d10aa078cc8c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/aa33ec586d5a45a4b7f7bef222a23585.png
[6d804e27531144cb8badc52e55771953.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/42c0e79f633944a58faee5e4411ae608.png
[933a42b08a3c48af834cda9335b39abb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1b19d326410e4ae3a37351f58884286c.png
[3685da92cbef4ccc9455581422339a16.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/625bcc3a20164007821f77f1050c6b06.png
[5a8debdc295649d4b02bdae0c651fc18.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9aa6b35006ec4316b46483707a79f926.png
[0454759af3bb462297e60269876a7fa9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/085463beb6f9447a96b02ea66c4cbb70.png
[8e975748a22948eaa67dab915ec07fb6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/dba19db2bee548999ce6d24d4dc32f8c.png
[d95f41914bfd4493bdbc847e4e8bcee0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1bd94740e4b9417ba586241c3387980c.png
[e13bcd073ee047a9b39efae42b78894e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9ba1f9fd81194fc3835f1e8ef5336fd8.png
[e268859446f144aca3f16201d7e00839.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ba2c051391db49b8bd78c008d8e15f38.png
[http_sqoop.apache.org]: http://sqoop.apache.org
[http_mirrors.hust.edu.cn_apache_sqoop_1.4.6]: http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
[f32d27e635624bfeb7ce60b1eb06916b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/e193ae766e304997aff97f080ccfaaad.png
[8c4d52109d914b648535875fea462f64.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2bb4ee0451aa4bd299bba36d366ac8b8.png
[87afc6d7c3e44105945b6a0f70018fec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a8e6ef195bf141da85f36567019c5e77.png
[fdb853d7056b463fa05d7eb271dc28eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ec942b685c184dcab995d6373e22f8b0.png