Mysql审核查询平台Archery部署

r囧r小猫 2024-03-17 09:51 61阅读 0赞

#### 目录 ####

*  1 Archery产品介绍
 *  2 基于docker搭建Archery
 *   *  2.1 系统环境
     *  2.2 安装 Docker
     *   *  2.2.1 安装 Docker Compose
         *  2.2.2 下载Archery
         *  2.2.3 安装并启动
         *  2.2.4 表结构初始化
         *  2.2.5 数据初始化
         *  2.2.6 创建管理用户
         *  2.2.7 退出重启
         *  2.2.8 日志查看和问题排查
         *  2.2.9 启动成功查看
         *  2.2.10 端口占用情况
 *  3 基本操作
 *   *  3.1 停止
     *  3.2 删除
 *  4 角色说明
 *  5 系统设置
 *   *  5.1 goinception配置 对MySQL进行审核和执行
     *  5.2 SQL查询
     *  5.3 SQL优化
     *  5.4 其他配置

--------------------

## 1 Archery产品介绍 ##

![在这里插入图片描述][ca2421a8ded948e290a2f7ef955b2cef.png]  
官网地址：`https://archerydms.com/`

在技术团队内部进行有效的 SQL 管理并不容易，如何进行数据库的统一管理，和线上 SQL 操作的统一审核，变得尤为重要。Archery，这个开源的 SQL 审核查询平台，或许能为 SQL 审核工作带来不小的效率提升。  
一条高质量的 SQL 语句能使整个服务加速好几倍，而一条有问题的 SQL 则可能会引发灾难，造成严重后果，因此，数据库管理人员的工作就十分重要了，他们掌握着千百万数据的命运,`以下是简单部署，详情部署请查看官方文档！`

![在这里插入图片描述][34e5b669258d4ad9acdf793a654dab2a.png]

Archery是archer的分支项目，定位于SQL审核查询平台，旨在提升DBA的工作效率，支持多数据库的SQL上线和查询，同时支持丰富的MySQL运维功能，所有功能都兼容手机端操作，项目位于 `https://github.com/hhyo/Archery`，同时也在 Gitee 上开源，位于 `https://gitee.com/rtttte/Archery`

## 2 基于docker搭建Archery ##

![在这里插入图片描述][7f7c0135be4f4d679029241b9615458f.png]

### 2.1 系统环境 ###

*  Centos7
 *  Docker 17.2
 *  Archery1.8.1

### 2.2 安装 Docker ###

#### 2.2.1 安装 Docker Compose ####

# 如果下载速度比较慢，可以切换源
    sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
    # 注意修改权限，不然会报错
    sudo chmod +x /usr/local/bin/docker-compose
    # 测试，查看版本
    docker-compose --version

#### 2.2.2 下载Archery ####

#下载地址 
    https://github.com/hhyo/archery/releases/
    
    #下载解压后路径pwd
    /usr/local/Archery-1.8.1

#### 2.2.3 安装并启动 ####

# 启动
    cd /usr/local/Archery-1.8.1/src/docker-compose
    # 下载的东西很多，速度比较慢，如果下载失败，就多试几次 
    # 生成了五个docker实例：redis inception archery goinception mysql
    docker-compose -f docker-compose.yml up -d

#### 2.2.4 表结构初始化 ####

docker exec -ti archery /bin/bash
    cd /opt/archery
    source /opt/venv4archery/bin/activate
    python3 manage.py makemigrations sql
    python3 manage.py migrate 
    # 编译翻译文件（有些命令也不知道为啥执行，参考一些教学，这条可选执行）
    python3 manage.py compilemessages

#### 2.2.5 数据初始化 ####

# 不同的版本，不一定都有这两个sql文件，所以这两个命令不一定会执行成功
    python3 manage.py dbshell<sql/fixtures/auth_group.sql
    python3 manage.py dbshell<src/init_sql/mysql_slow_query_review.sql

#### 2.2.6 创建管理用户 ####

python3 manage.py createsuperuser
    
    # python3 manage.py createsuperuser
    用户名: admin
    电子邮件地址: [email protected]
    Password: 
    Password (again): 
    Superuser created successfully.

#### 2.2.7 退出重启 ####

exit
    docker restart archery

#### 2.2.8 日志查看和问题排查 ####

docker logs archery -f --tail=50

#### 2.2.9 启动成功查看 ####

访问 http://ip:9123  
![在这里插入图片描述][307630030b0b4a50a68fb8e43067481f.png]

用刚刚创建的admin账号登录  
![在这里插入图片描述][72528aeceb5d4a8bbe8ac6c3022cb41e.png]

#### 2.2.10 端口占用情况 ####

redis 端口：6379
    mysql端口：3306
    inception端口：6669
    goinception端口：4000
    archery端口：9123

![在这里插入图片描述][04623cf1da804cf8a790e8d926cf0780.png]

## 3 基本操作 ##

### 3.1 停止 ###

# 停止
    docker stop redis
    docker stop inception
    docker stop archery
    docker stop goinception
    docker stop mysql

### 3.2 删除 ###

docker rm -f redis
    docker rm -f inception
    docker rm -f archery
    docker rm -f goinception
    docker rm -f mysql

## 4 角色说明 ##

<table> 
 <thead> 
  <tr> 
   <th>角色</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DBA</td> 
   <td>数据库管理员（Database Administrator，简称DBA）</td> 
  </tr> 
  <tr> 
   <td>RD</td> 
   <td>研发（Research and Development）</td> 
  </tr> 
  <tr> 
   <td>PM</td> 
   <td>项目经理( Project Manager )</td> 
  </tr> 
  <tr> 
   <td>QA</td> 
   <td>测试（QUALITY ASSURANCE，中文意思是“质量保证”）</td> 
  </tr> 
 </tbody> 
</table>

## 5 系统设置 ##

### 5.1 goinception配置 对MySQL进行审核和执行 ###

这个需要提前配置好，不然会导致无法提交sql审核，备份库需要开启binlog，不然会执行失败

![在这里插入图片描述][f517972528cc44fa935ca9a952edcd79.png]

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>GO_INCEPTION_HOST</td> 
   <td>连接地址，docker-compose启动的请配置为容器名或者docker的ip地址</td> 
  </tr> 
  <tr> 
   <td>GO_INCEPTION_PORT</td> 
   <td>goInception的连接端口，默认4000</td> 
  </tr> 
  <tr> 
   <td>BACKUP_HOST</td> 
   <td>备份库链接HOST，用于页面展示回滚语句</td> 
  </tr> 
  <tr> 
   <td>BACKUP _PORT</td> 
   <td>备份库链接端口</td> 
  </tr> 
  <tr> 
   <td>BACKUP_USER</td> 
   <td>备份库链接用户</td> 
  </tr> 
  <tr> 
   <td>BACKUP_PASSWORD</td> 
   <td>备份库链接密码</td> 
  </tr> 
 </tbody> 
</table>

该配置信息，仅仅用于archery从备份库查询回滚语句使用，该配置信息不会被goInception服务使用，goInception连接备份库使用的数据库连接信息应在其自身的config.toml中配置。

### 5.2 SQL查询 ###

![在这里插入图片描述][56e8d8f086c54cbd901d5eaf5e0ed35f.png]

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>INCEPTION_HOST</td> 
   <td>Inception连接HOST，用于SQL查询语法解析，docker-compose启动的请配置为容器名或者docker的ip</td> 
  </tr> 
  <tr> 
   <td>INCEPTION_PORT</td> 
   <td>Inception连接端口，默认6669</td> 
  </tr> 
  <tr> 
   <td>QUERY_CHECK</td> 
   <td>相关issues: https://github.com/hhyo/Archery/issues/145</td> 
  </tr> 
 </tbody> 
</table>

是否开启SQL查询[脱敏][Link 1]的Inception检测，平台的SQL查询功能依靠Inception的语法树打印来解析查询语句中包含的库、表、字段信息，从而进行数据脱敏

*  开启QUERY\_CHECK后，如果遇到Inception无法解析的语句，则会直接抛出错误信息，禁止查询
 *  关闭QUERY\_CHECK后，如果遇到Inception无法解析的语句，系统不再进行数据脱敏，会有数据泄露的风险，请谨慎选择
 *  动态脱敏不支持的语法：嵌套子查询、部分非单字段函数，如concat(phone,’,’)、max(id+num)

**DATA\_MASKING：** 是否开启动态脱敏，会利用inception语法树打印，结合后台设置的脱敏字段和脱敏规则，对查询数据进行脱敏。遇到无法解析的语句是报错还是返回未脱敏的数据同样由QUERY\_CHECK参数控制 \* 正常脱敏：  
![在这里插入图片描述][2742b164b88149b18bdd4b2575c86dfe.png]

**开启QUERY\_CHECK后执行不支持语句**  
![在这里插入图片描述][d5cc9a5f170b42e4b5f259b2027032c1.png]

**关闭QUERY\_CHECK后执行不支持语句**  
![在这里插入图片描述][26b5aec4accb4238a47cd4af56e01508.png]

**MAX\_EXECUTION\_TIME：** 在线查询超时时间阈值，单位秒，默认60，超时的语句会被终止并返回提示信息，目前仅支持MySQL  
**ADMIN\_QUERY\_LIMIT：** 超级管理员的查询限制行数，超级管理员查询数据时不做权限校验，仅由该参数设置最大行数

### 5.3 SQL优化 ###

![在这里插入图片描述][66875d519f8d40fdb1a6bdc3fde36404.png]

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>SQLADVISOR_PATH</td> 
   <td>SQLAdvisor的可执行文件路径，路径需要完整，docker镜像内已经集成 * 1.4.0以前的docker版本配置成/opt/sqladvisor * 1.4.0以以后的docker版本配置成 /opt/archery/src/plugins/sqladvisor</td> 
  </tr> 
  <tr> 
   <td>SOAR_PATH</td> 
   <td>SOAR的可执行文件路径，路径需要完整，docker镜像内已经集成，docker镜像内已经集成 * 1.4.0以前的docker版本配置成/opt/soar * 1.4.0以以后的docker版本配置成 /opt/archery/src/plugins/soar</td> 
  </tr> 
 </tbody> 
</table>

### 5.4 其他配置 ###

![在这里插入图片描述][e54b38840a0e407cb2835669ceceffa2.png]

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>INDEX_PATH_URL</td> 
   <td>系统首页路径，默认是SQL工单页面</td> 
  </tr> 
  <tr> 
   <td>BINLOG2SQL</td> 
   <td>BINLOG2SQL调用路径，用于实现binlog2sql解析的功能，docker镜像内已经集成 * docker部署请配置为 /opt/archery/src/plugins/binlog2sql/binlog2sql.py</td> 
  </tr> 
  <tr> 
   <td>DEFAULT_AUTH_GROUP</td> 
   <td>默认权限组名，新用户首次登录自动关联, 老用户请手动配置</td> 
  </tr> 
  <tr> 
   <td>DEFAULT_RESOURCE_GROUP</td> 
   <td>默认资源组名，新用户首次登录自动关联, 老用户请手动配置</td> 
  </tr> 
  <tr> 
   <td>DEFAULT_RESOURCE_GROUP</td> 
   <td>默认资源组名，新用户首次登录自动关联, 老用户请手动配置</td> 
  </tr> 
  <tr> 
   <td>LOCK_TIME_THRESHOLD</td> 
   <td>账户登录失败锁定时间(秒)</td> 
  </tr> 
  <tr> 
   <td>LOCK_CNT_THRESHOLD</td> 
   <td>账户登录失败几次锁账户</td> 
  </tr> 
  <tr> 
   <td>SIGN_UP_ENABLED</td> 
   <td>是否开启注册功能，关闭后将无法自主注册用户</td> 
  </tr> 
 </tbody> 
</table>

[ca2421a8ded948e290a2f7ef955b2cef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/131151f5ffab4446a0e7c2488ad932af.png
[34e5b669258d4ad9acdf793a654dab2a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/60e43056ec8344de9110b398a03d74a6.png
[7f7c0135be4f4d679029241b9615458f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/106df0f147cf420cb33c606611d77b75.png
[307630030b0b4a50a68fb8e43067481f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/11b74466dc2b4cccbe08f365b53f0ce7.png
[72528aeceb5d4a8bbe8ac6c3022cb41e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7c7bbe8b5b66421b91b59a24861751c8.png
[04623cf1da804cf8a790e8d926cf0780.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c95b2033bdcc42cb89a6340eb763be13.png
[f517972528cc44fa935ca9a952edcd79.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/23f914f528a64cc49aaae306e45f923e.png
[56e8d8f086c54cbd901d5eaf5e0ed35f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/56c4ff0fbee8473e8722efbc40748df6.png
[Link 1]: https://so.csdn.net/so/search?q=%E8%84%B1%E6%95%8F&spm=1001.2101.3001.7020
[2742b164b88149b18bdd4b2575c86dfe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/4d8b2d6086774d409c76f1fe7978b3c5.png
[d5cc9a5f170b42e4b5f259b2027032c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7b8f9f040ff64c24bed256d04ece3d5d.png
[26b5aec4accb4238a47cd4af56e01508.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/3960c4f6497545978b8a615b80223ee0.png
[66875d519f8d40fdb1a6bdc3fde36404.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/edddcdcc37aa49ec928e4399120f58f4.png
[e54b38840a0e407cb2835669ceceffa2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/922388f613fe43b3a6bd6f9265a64652.png