阿里云大数据ACP认证学习笔记之——————AnalyticDB for MySQL

古城微笑少年丶 2023-03-06 05:38 2阅读 0赞

# 基本概念 #

*  OLTP：On-Line Transaction Processing，联机事务处理，例如MySQL和PostgreSQL的数据存储，适合频繁的数据插入和修改。
 *  OLAP：On-Line Transaction Processing，联机分析处理，采用关系模型进行数据存储，例如ADB MySQL，适合海量数据的计算分析。OLAP（联机事务处理）系统分为MOLAP（多维OLAP）、ROLAP（关系OLAP）和HOLAP（混合型OLAP）三种。
 *  DTS：Data Transmission Service，数据传输服务。
 *  CBO：Cost-Based Optimization，分析型数据库高度智能的优化策略。
 *  ECU：弹性计算单元，拥有多种型号，每种型号的ECU，标识着不同的vCPU核数、内存大小、磁盘空间大小；以及初始的ECU数量（必须是偶数个，至少两个），ECU型号DB创建后不可修改，ECU数量可以在使用中随时调整（扩容/缩容）。
 *  聚集列：数据存储支持按一列或多列进行排序，保证该列中值相同或相近的数据保存在磁盘同一位置。
 *  multivalue：多值列，用于表示一个列中（Cell）有多个不确定的值，一个多值列字段可以包含多种ADB支持的数据类型。可使用in,contains条件对该列的单个值进行查询；不允许在没有进行枚举查询时对该列直接select或在group by中使用该列。
 *  支持json索引。
 *  ADS支持事务，默认为强一致性。

# 表组 #

表组类似于传统数据库中的Schema，分为维度表组（系统自带）和普通表组。

*  维度表组

1.  维度表组用于存放维度表（特征上是一种数据量较小但是需要和任何表进行关联的表）；
2.  目前有且仅有一个，并且在分析型数据库数据库建立时会自动创建，用户不可修改和删除；
3.  维度表数据量较小；
4.  维度表可以和任意表组的任意表进行关联，并且创建时不需要配置分区信息。

*  普通表组

1.  表组在创建时需要指定两个参数executeTimeout & minRedundancy，minRedundancy表示该表组的副本数，默认为2，可配置为1、2、4、8；
2.  表组的副本数越多，可以一定程度的增加ADS的最大承受的QPS，但是数据存储费用也会相应增加；
3.  如果将一个表组配置为1副本，那么这个表组中的表在数据导入时会有不可用的时间；
4.  minRedundancy修改后需要下次装载数据时才会生效；
5.  一个事实表组最多可以创建256个事实表；
6.  ADS要求一个表组下所有表的一级分区数目一致，一个表组所有表副本数一致；
7.  在ADS中一个表必须从属于一个表组；
8.  仅允许删除没有任何表的空表组，维度表组不允许删除；

# 分区 #

*  普通表才有分区的概念。
 *  ADB 2.0支持两级分区策略，一级分区采用HASH算法，单表数据量在60亿条以内；二级分区采用LIST算法，单表最大二级分区1095个。
 *  目前ADB 3.0只支持一级分区。一级分区数不能超过256个。
 *  不支持多列作为分区列。
 *  没有限定最大分区数，系统会自动调整到最优值。
 *  维度表没有分区定义，只有普通标有分区。
 *  一张事实表至少有一级Hash分区并且分区数不能小于8个；
 *  一个事实表最多不能超过1024个列。
 *  分析型数据库的表根据updateType分为批量更新表（仅能够离线批量更新数据）和实时更新表（能够通过 insert/delete实时更新数据），默认为批量更新表；updateType=realtime即为实时更新表时，必须指定合法的主键并且不能有二级分区，能够通过insert/delete实时更新数据。
 *  批量更新，则该表需要保证有两级分区且第二级分区必须是list分区，才能保证新增数据不会覆盖原有历史数据。

# SQl语句 #

*  Join
    
     *  两个表进行关联的充要条件

1.  两个表均为事实表且在同一个表组，或两个表中有一个是维度表；
2.  两个表均为事实表且拥有相同的一级分区列，或两个表中有一个是维度表；
3.  两个表的join key是hash分区列；
4.  两张表的join key至少有一列建立了hash map索引；
5.  维度表可以和任意表组的任意表进行关联。

*  Insert

1.  在分析型数据库中，能够实时插入的表一定要定义主键或组合主键；
2.  分析型数据库在进行数据插入时，若发现同主键的数据时，默认执行覆盖行为；
3.  若使用insert ignore语法，则在发现有同主键的数据时，丢弃新插入的数据，保留原有数据。

*  不支持语句（MaxCompute SQL中支持join、left join、right join、full join）

1.  SELECT ... FROM A FULL JOIN B：不支持全连接；
2.  SELECT ... FROM A RIGHT JOIN B：不支持右连接，需要转换为左连接；
3.  SELECT ... FROM A SEMI JON B：不支持半连接；
4.  SELECT ... FROM A, B：单表或多表连接，但没有ON条件；
5.  SELECT ... FROM A, B WHERE A.a = B.b：单表或多表连接在WHERE子句中有隐含ON条件，但是没有on子句的，暂不支持。

# 数据类型 #

*  boolean布尔类型，值只能是0或1。取值0的逻辑意义为假，取值1的逻辑意义为真，存储字节数1比特位；
 *  分析型数据库MySQL版不支持无符号类型（unsigned），由于MySQL/Oracle支持，所以在迁移时可以将源表的字段修改为varchar类型或者bigint类型。
 *  float和double分析型数据库MySQL版都不支持自定义m和d，MySQL支持。
 *  double双精度浮点数，IEEE标准，存储字节数8字节；bigint大整数类型，存储字节数8字节。
 *  ADB中的varchar对应MySQL中的char、varchar、text、mediumtext或者longtext。

# 执行计划 #

*  EXPLAIN查看执行计划

1.  explain正确执行后返回信息中，第一行为逻辑计划，第二行为物理计划；
2.  EXPLAIN命令返回文本格式的查询计划；

*  逻辑计划各个节点说明：

1.  SelectNode表示这select中最终输出表达式的相关信息， 例如select要输出的表达式集合；
2.  GroupNode表示GroupBy语句的相关信息，例如groupby的列，having的表达式等；
3.  OrderByNode表示OrderBy的列信息，例如列名，顺序等；
4.  JoinNode表示逻辑Join树的信息，例如join的on条件；
5.  TableNode表示分区表的信息，例如参与计算的列，表名等。

# 账号和权限管理 #

1.  高权限账号：只能通过控制台创建，一个集群只有一个，可以管理所有的普通账号和数据库。
2.  普通账号：只能在SQL创建和管理，需要被授予指定数据库的权限。
3.  ADS集群支持以下四个粒度的权限控制：

*  GLOBAL：集群级别
 *  DB：数据库级别
 *  TABLE：表级别
 *  COLUMN：列级别

1.  导入一个新的ODPS表时，公有云用户需要在ODPS中授权该表给分析型数据库的导入用账号。
2.  分析型数据库目前不支持针对用户在host上授权；
3.  导出数据同时需要 DUMP DATA 和 SELECT 权限，同时需要数据导出目的地的数据写入相关权限；
4.  聚合： Database -> Table\[Group\] -> Column，即每个权限级别能聚合其下面级别的所有权限；
5.  查询表数据需要 SELECT 权限，最小级别是列；