常用存储高级技术【精简配置、存储分层、缓存分区、快照、文件系统配额管理】【8】

Bertha 。 2022-10-31 04:23 587阅读 0赞

### 文章目录 ###

*  精简配置(smartThin)技术
 *   *  概述
     *  主要功能
     *  容量虚拟化
     *  存储空间写时分配
     *  读写重定向
     *  应用场景及配置流程
 *  存储分层(SmartTier)技术
 *   *  概述
     *  存储分层
     *  工作原理
     *  关键技术
     *  容量初始分配
     *  迁移策略
     *  I/O监控系统分析
     *  数据迁移
     *  降低TCO说明
     *  配置流程
 *  服务质量控制技术
 *   *  概述
     *  工作原理
     *  IO优先级调度技术
     *  IO流量控制技术
     *  应用场景
     *  配置流程
 *  缓存分区技术
 *   *  概述
     *  工作原理
     *  对多业务的调控
     *  应用场景
     *  配置流程
 *  快照技术
 *   *  概述
     *  映射表
     *  COW技术
     *  快照功能原理
     *  应用场景
     *  配置流程
 *  文件系统配额管理技术
 *   *  概述
     *  术语说明
     *  在Quota Tree目录上进行资源管控
     *  应用场景
     *  配置流程

# 精简配置(smartThin)技术 #

## 概述 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70]

*  上图展示了SmartThin提供的Thin LUN与传统LUN在空间分配上的差异。
 *  SmartThin技术做了如下改进：
    
     *  改进一：采用SmartThin技术的LUN空间在创建时不真正分配具体空间，而在需要真正使用空间时，再分配具体空间。
     *  改进二：有了改进一的基础后，采用SmartThin技术的LUN空间可以在创建后动态调整大小。
 *  当出现数据容量超过预期的情况时，可以动态调整该LUN的空间。未使用的空间作为公共的空间可以分配给任何需要空间的LUN。这样，不存在私有的一直不能被使用到的空间，提高了利用率和效能比。同时，动态空间调整提供了在线调整LUN空间大小的能力，可以做到扩容的同时不影响业务。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 1]
 *  数据集合：对存储阵列来说是可映射给主机的LUN。
 *  完全可用：可以正常读写。
 *  动态分配：写时分配资源。

## 主要功能 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 2]

## 容量虚拟化 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 3]

*  SmartThin基于RAID2.0+存储虚拟资源池创建Thin LUN，即Thin LUN和传统的Thick LUN共存于同一个存储资源池中。
 *  精简LUN（Thin LUN）是在存储池中创建的并可以映射为主机直接访问的逻辑单元。
 *  Thin LUN的容量大小并不是实际的物理空间，而是一个虚拟值，只有在对Thin LUN进行真正I/O读写时，才通过写时分配的策略从存储资源池中申请物理空间。
 *  在RAID2.0＋环境中，系统会将存储池空间（即POOL）划分成一个个小粒度的数据块(即CHUNK)，基于数据块来构建RAID组(即CKG)，使得数据均匀的分布到存储池的所有硬盘上，然后以数据块为单位来进行资源管理。SmartThin使用将CKG切分为更小粒度的Extent（卷中可用于分配的最小存储单元）为单位来进行空间组织。
 *  因此，Thin LUN与Thick LUN共存在一个存储池中，同时使用该存储池中的物理存储容量，使得存储规划更加灵活和便利，避免了为Thin LUN和Thick LUN分别提供不同的存储池空间。

## 存储空间写时分配 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 4]

Capacity-on-write：当Thin LUN接收到主机写数据请求，首先会通过direct-on-time技术判断该写数据请求的逻辑存储区域是否已经分配了实际存储区域，如果尚未分配就会触发空间分配，分配的最小粒度称为Grain, Grain大小为64k，然后将数据写入到新分配的实际存储区域中。

## 读写重定向 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 5]

*  由于采用了Capacity-on-write技术，数据的实际存储区域和逻辑存储区域的关系不再是按照确定的公式可以固定不变计算出来的，而是按照写时分配的原则随机映射确定的。
 *  所以在对Thin LUN进行读写时需要重定向实际存储区域和逻辑存储区域的关系，重定向依赖于映射表。
 *  映射表的主要作用是用来记录实际存储区域和逻辑存储区域的映射关系。在写过程中动态更新映射表，在读过程中查询映射表。因此，Direct-on-time重定向操作也就分为读重定向和写重定向。
 *  读重定向：Thin LUN接收到主机读数据请求后，先查询映射表，如果该读数据的逻辑存储区域已分配对应的实际存储区域，则将该读数据的逻辑存储区域重定向到实际存储区域，然后从实际存储区域中读取到数据后，将该数据返回给主机；如果该读数据的逻辑存储区域尚未分配空间，则将该逻辑存储区域的数据置为全0返回给主机。
 *  写重定向：Thin LUN接收到主机写数据请求后，先查询映射表，如果该写数据的逻辑存储区域已分配对应的实际存储区域，则将该写数据的逻辑存储区域重定向到实际存储区域，然后将数据写入到实际存储区域中，并返回写成功给主机；如果该写数据的逻辑存储区域尚未分配空间，则通过Capacity-on-write技术操作。

## 应用场景及配置流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 7]

# 存储分层(SmartTier)技术 #

## 概述 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 8]

*  SmartTier（智能数据分级）是华为公司在RAID2.0+技术之上自主研发的分级存储软件，它自动将不同活跃度的数据和不同特点的存储介质动态匹配，从而提高存储系统性能并降低用户成本。
 *  分级存储技术通过数据迁移完成数据的分级存储。目前，分级存储技术主要分手工迁移和自动迁移两类。
 *  手工迁移是系统维护人员根据当前存储系统运行的状态、各个业务系统的压力情况，手动将数据从一个LUN中迁移到另外一个LUN中。
 *  自动迁移是根据系统当前对某些文件或者块的访问频率，识别出热点与非热点数据，根据热点与非热点数据分配不同的存储介质，将频繁访问的热点数据自动迁移到高性能的存储介质中，而将低周期访问的非热点数据自动迁移到大容量，低成本的存储介质中。

## 存储分层 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 9]

*  SmartTier将不同存储介质按性能高低划分为三个存储层，由高至低分别是SSD盘组成的层（简称高性能层）、SAS盘组成的层（简称性能层）、NL-SAS盘组成的层（简称容量层）。
 *  每个存储层分别使用相同的硬盘类型和RAID策略。

## 工作原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 10]

*  存储池是一个或多个存储层的逻辑组合，最多可支持三个级别的存储层。存储池包含的硬盘类型决定其可以创建的存储层。由单一硬盘类型组成的存储池无法创建不同存储层，因此不能应用SmartTier进行智能化数据存储管理。
 *  LUN创建在存储池中，在应用SmartTier特性之前其数据分布在同一个存储池的不同存储层。
 *  SmartTier将LUN数据按照一定粒度划分，该粒度被称为“数据迁移粒度”或“数据块”。数据迁移粒度在创建存储池时设置，且设置后不可更改。
 *  当存储池中存在两种或以上的硬盘类型时，用户可以应用SmartTier特性充分利用存储池中的每个存储层。数据迁移过程中，存储池以数据块为单位识别数据活跃度并将整个数据块迁移至其他存储层。
 *  存储系统经历I/O监控、数据排布分析、数据迁移三个阶段实现SmartTier。
 *  新数据写入LUN时，存储系统根据初始容量分配策略，将新写入的数据分配在相应存储层。
 *  随着数据生命周期的推移，数据的活跃度会发生变化。SmartTier将不同活跃度的数据迁移至不同性能的存储层，为存储系统提供更高的性能，并且数据迁移过程不会影响其他新数据的写入。

## 关键技术 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 11]

## 容量初始分配 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 12]

初始容量分配策略包括四类：自动分配、优先从高性能层分配、优先从性能层分配、优先从容量层分配。

## 迁移策略 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 13]

*  自动迁移：LUN配置了自动迁移策略，该LUN的数据块按照访问频度做迁移，访问频度最高的迁往高性能层，访问频度适中的迁往性能层，访问频度最低的迁往容量层。无特殊要求，推荐配置自动迁移，总体性能提升最佳。
 *  向高性能层迁移：LUN配置了向高性能层迁移，无论数据块访问频度是高还是低，该LUN的所有数据块都会迁往高性能层级，会占用较多高性能存储资源。只有对该LUN的性能有特殊要求时，才配置向高性能层迁移。
 *  向低性能层迁移：LUN配置了向低性能层迁移，无论数据块访问频度是高还是低，该LUN的所有数据块都会迁往容量层。当某个LUN用于归档业务，或者用于对性能要求低的业务，可配置向低性能层迁移。
 *  不迁移：LUN配置了不迁移，该LUN的所有数据块都不会做迁移，这是LUN创建时的默认策略，只有购买了SmartTier的License，才能修改为其他迁移策略。

## I/O监控系统分析 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 14]

*  热数据和冷数据并没有用一个绝对值做区分。存储池高性能层容量可以存放A个数据块，性能层容量可以存放B个数据块， 在迁移时把该存储池的所有自动迁移策略的LUN的所有数据块按访问频度拉通排序，在迁移时把访问频度最高的A个数据块存放到高性能层，把访问频度较高的B个数据块存放到性能层，访问频度排在后面的其他数据块放到容量层。
 *  原则是尽量让访问频度高的数据块使用性能好的存储介质。

## 数据迁移 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 15]

*  迁移速度可以设置为高速、中速和低速，分别对应的具体迁移速度位单控制器100M/S、20M/S和10M/S，默认的迁移速度为低。
 *  为了减少SmartTier数据迁移对主机业务性能的影响，设置的迁移速度是数据迁移速度允许的上限值。数据迁移让主机业务优先，利用存储设备的空闲资源做迁移，依据主机业务压力实时调整迁移的速度。主机业务压力小时，迁移速度调大；主机业务压力小时，迁移速度调小；无论如何调整，迁移速度都不会大于设置的迁移速度。
    
     *  低速：适合在选择的数据迁移时段有较大的业务压力时使用。
     *  中速：适合在选择的数据迁移时段有较适中的业务压力时使用。
     *  高速：适合在选择的数据迁移时段几乎没有业务，或主机业务对性能要求不敏感  
        的情况下使用。
 *  数据迁移粒度
    
     *  512KB~64MB（根据业务配置，例如视频监控业务，适合大的迁移粒度）
 *  数据迁移计划  
    \-手动方式：可在任意时刻设置时间段进行数据迁移
    
     *  定时方式：只能在预先设置的时间计划内进行数据迁移
 *  数据迁移速率
    
     *  可提供三种不同级别的迁移速率：高、中、低
     *  根据当前业务负载，动态调整速率，确保不会对当前业务造成明显影响

## 降低TCO说明 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 16]

由于空闲数据存储在NL-SAS硬盘，高性能的SSD硬盘存储空间得以释放，该企业的更多繁忙数据将存储在SSD硬盘。SSD硬盘能为繁忙数据提供更短的响应时间、更高的IOPS，从而提高存储系统性能

## 配置流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 17]

# 服务质量控制技术 #

## 概述 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 18]

*  SmartQoS特性是华为OceanStor V3 融合存储系统上提供的一项存储QoS功能。
 *  如图所示，它能够对存储系统中的资源进行智能分配和调节，在整个存储路径上进行端到端的细粒度控制，从而满足多种不同重要性业务在同一台存储设备上的不同QoS要求。

## 工作原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 19]

*  技术特点：
    
     *  全IO路径的优先级调度：
     *  SmartQoS通过控制计算资源的调度和分配，在整个IO路径进行优先级控制。相比友商的优先级控制策略，控制粒度更细。
     *  针对不同应用场景提供不同的QoS策略：
     *  SmartQoS细分用户场景，针对不同的应用场景提供不同的QoS策略。在用户有明确的性能指标需求时可以通过流量限制或者最小性能保障策略来满足用户需求；当用户无法精确指定性能指标时，可以基于应用的重要性采用优先级机制来保证高优先级业务的性能。
 *  IO性能保障技术：
 *  OceanStor V3 融合存储系统SmartQoS特性的IO性能保障技术通过按照权重调度的方式来保证某些关键业务的最低性能要求。
 *  用户可以为高优先级的业务设置最低性能指标，当此业务的最低性能指标无法达成之后，系统会通过对保障业务与非保障业务按照权重调度的方式来保障设置了最低性能目标的高优先级业务的性能。

## IO优先级调度技术 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 20]

*  SmartQoS特性的优先级调度技术基于LUN和文件系统的优先级实现。
 *  因此每个LUN和文件系统对象都有一个优先级属性，这个属性由用户配置并保存在数据库中，当一个IO从主机发送到阵列，这个IO将会根据其归属的LUN或文件系统来获得这个优先级属性，并且在整个IO路径上携带这个优先级信息。
 *  用户在创建LUN或文件系统的时候需要指定所创建的LUN或文件系统的优先级。如果用户不进行指定，则所创建的LUN或文件系统的优先级属性默认为低优先级。
 *  LUN或文件系统创建后，其优先级属性可以根据用户的需要手动修改。

## IO流量控制技术 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 21]

*  SmartQoS特性的IO流量控制技术的性能目标是基于令牌的分发和控制实现的。当用户为某个流控组设置了性能上限，那么这个性能上限会被转化成对应的令牌。在存储系统中，如果用户要限制的流量类型是IOPS，那么一个IO即对应一个令牌；如果设定的性能目标是带宽，那么一个扇区对应一个令牌。
 *  每个流控队列都有一个令牌桶，SmartQoS会定期向每个流控队列的令牌桶中放入一定数量的令牌，令牌的数量取决于用户设定的这个流控组的性能上限。即如果用户设定性能上限为IOPS =10000，则令牌分发算法就会在每秒将此流控组的令牌桶中的令牌数设置为10000。
 *  当流控队列进行出队处理的时候，会查看此队列的令牌桶中是否有足够的令牌，如果有，则取出一个IO进行处理，并消耗这个IO对应的令牌；如果没有令牌，则必须等待令牌桶中有足够的令牌可以用为止。

## 应用场景 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 22]

*  为了满足高级别用户，可通过设置LUN的I/O优先级来满足其业务的运行。
    
     *  设置用户A的I/O优先级为高，从而保证用户A业务的正常运行。
     *  设置用户B的I/O优先级为低，从而保证用户B业务不会影响用户A业务的正常运行。

## 配置流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 23]

# 缓存分区技术 #

## 概述 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 24]

SmartPartition还可以与OceanStor V3 融合存储系统的其他QoS技术（如智能服务质量控制SmartQoS）相配合，从而达到更好的服务质量保证效果。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 25]

*  典型的IT系统架构由计算、网络、存储三大部分组成，在传统的“烟囱式”架构中，不同的应用系统相对独立，单个存储需要面对的应用数量不多（一般在5个以下）。
 *  图中每种颜色代表了一种不同的业务。可以看到，这些业务的I/O模式是不同的，对缓存及访盘并发的需求也是不同的。
 *  多种业务混合争抢并发资源和缓存资源，导致服务质量不可保证。比如，业务N抢占的访盘并发同其主机并发并不匹配，其结果就是缓存中业务N的数据会越来越多，对其他业务性能造成影响；而业务3如果是关键业务，就意味着其业务性能不能得到保证。

## 工作原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 26]

*  Cache分区技术通过隔离不同的业务所需要的资源，保证某些关键业务的服务质量。
 *  在存储系统中，某个业务能够使用的缓存容量是影响其服务质量的一个主要因素。
 *  该业务在该存储系统上可以占有的缓存大小是影响存储系统性能的最主要因素：
    
     *  对写业务来说，更多的缓存意味着更高的写合并率、写命中率（同一块数据在缓存中被再次写中的比率）和更好的访盘顺序度；对读业务来说，更多的缓存通常  
        意味着更高的读命中率。
     *  同时，不同类型的业务对缓存的需求也有很大不同：对顺序类业务来说，缓存不需要很大，只需要满足I/O合并要求即可；而对随机类业务来说，更大的缓存通常意味着更好的访盘顺序度，从而带来性能的提升。
 *  SmartPartition可以针对不同的业务（实际控制对象为LUN和文件系统）分配不同大小的缓存分区资源，从而保证关键业务的服务质量。

## 对多业务的调控 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 27]

*  用户可以以LUN或文件系统为单位设置SmartPartition分区，每个SmartPartition分区的资源只能被独立访问，互不干扰。
 *  用户手动配置某个分区的缓存容量后，SmartPartition特性通过周期性的统计每个分区中的I/O个数，提供最优化的配置，保证关键业务的服务质量。

## 应用场景 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 28]

*  随着存储系统的性能和容量不断增强增大，将多个应用同时部署在一台存储系统上，不仅简化用户的存储系统架构，还能减少用户配置和管理成本。部署在同一台存储系统上的多个应用，会争抢存储资源，将导致各业务的性能受到严重影响。
 *  通过SmartPartition特性可以为不同的业务指定不同的缓存分区，满足关键业务的运行要求。同时，根据业务读写压力，可以分别设置相应读分区和写分区大小。如读业务量较大，可为其分配更多的读分区容量；若全是写业务，则可以配置较小的读分区容量。

## 配置流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 29]

# 快照技术 #

## 概述 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 30]

*  快照不但能够快速生成源卷在某个时间点的一致性副本，还提供了恢复源卷数据的机制。
 *  当源卷的数据遭到人为意外删除、破坏或病毒入侵时，通过快照回滚可以快速将源LUN的数据恢复到快照激活时间点的数据，减少源卷数据的丢失量。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 31]
 *  COW(Copy over Write)：写前拷贝，即在主机写快照源LUN之前，先将源LUN的被保护数据拷贝到其他地方，拷贝完成后，主机IO才继续写源LUN。
 *  COW数据空间：源LUN在做写前拷贝时，用于存放源LUN被保护的数据的空间。该空间无用用户配置，源LUN做写前拷贝时才向存储池申请该空间，不占用源LUN数据空间。激活快照后，若没有向源LUN下发IO，源LUN不会有写前拷贝动作，该Cow数据空间实际使用大小为0。
 *  共享映射表：激活快照后，快照源LUN上发生的变更统一存放在共享映射表上。一个源LUN上的所有快照共同使用该映射表。
 *  独享映射表：激活快照后，快照卷上写入的数据都记录在独享映射表上。每个快照都有自己的一张独享映射表。

## 映射表 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 32]

*  映射表用来表示快照的实际数据所在。
 *  映射表分为两类：独享映射表和共享映射表。其原理是相同的，不同的地方在于独享映射表记录写快照发生的数据变更，共享映射表记录的是写源LUN发生的变更。

## COW技术 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 33]

*  当快照被激活时（此时刻称为快照时间点），主机读写的具体操作如下：

1.  激活快照后，源LUN有数据写入。
2.  首先将查询快照映射表，如果映射表中对应该地址的映射项不存在时，需要进行copy-on-write(写前拷贝)，写前拷贝完成后在映射表中记录备份的源LUN数据信息。如果映射项存在，则直接覆盖写入源LUN的对应位置。
3.  写前拷贝，即读取源LUN对应位置的数据写入COW卷的空间。
4.  COW卷空间与源LUN空间分布在同一个POOL中，写入COW卷即写入POOL的空间区域。
5.  写前拷贝完成后，再将主机数据写入源LUN所在的POOL空间。

## 快照功能原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 34]

*  快照创建并激活后，会生成与源卷一致的数据副本。存储系统在源卷中划分出COW数据空间并自动生成快照卷。
 *  由于对源卷没有写操作，COW Meta区域和COW Data区域中均没有记录。
 *  由于对快照卷没有写操作，Snapshot Meta Volume和Snapshot Data Volume中均没有记录。
 *  快照激活后，当应用服务器对源卷有数据写入请求时，存储系统不会立即写入新数据。存储系统利用写前拷贝机制先将写前拷贝数据拷贝到COW数据空间中，并修改映射表中的映射关系，然后将新数据写入源卷。
 *  说明：在一个快照周期内，同一位置的数据只执行一次写前拷贝，根据映射表中相应值确定。再次写入数据时，将直接覆盖。例如：对于数据“DataX”，查询到 映射表中相应值为“1”，表示已经进行过一次写前拷贝；如再有写数据请求，将直接写入，不再将“DataX”拷贝到COW数据空间中。
 *  快照激活后，应用服务器可以对快照卷进行写操作。应用服务器下发的写请求后，数据将直接写入快照卷，并在映射表（独享部分）中记录数据在快照卷中的存放位置。
 *  快照激活后，应用服务器可以对快读快照卷（快照卷已写入数据）进行读操作。 应用服务器下发读快照请求后，通过映射表（独享部分）确定快照数据的存放位置，并读取数据。
 *  快照激活后，应用服务器可以对快读快照卷（快照卷未写入数据）进行读操作。 应用服务器下发读快照请求后，通过映射表（共享部分）确定快照数据的存放位置，并读取数据。

## 应用场景 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 35]

*  直接使用快照进行数据备份。使用快照备份可以在以下场景中迅速恢复数据：
    
     *  病毒感染。
     *  人为误操作。
     *  恶意篡改。
     *  系统宕机造成的数据损坏。
     *  应用程序BUG造成的数据损坏。
     *  存储系统BUG造成的数据损坏。
     *  存储介质损坏（只有基于split mirror技术的快照能够恢复数据）。

## 配置流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 36]

# 文件系统配额管理技术 #

## 概述 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 37]

*  随着虚拟化的大行其道，云计算技术的发展，IT系统面临着资源利用效率、以及如何有效管理的挑战。在典型的IT存储系统中，只要存储资源（磁盘空间）是可用的，就会被用户使用，直至耗尽。从经济角度来说，需要一种方法控制存储资源的使用及其增长。
 *  在NAS文件服务环境中，通常以共享目录的方式将资源提供给使用的部门、组织或个人。而每个部门或个人，都有其独特的资源需求或限制。因此，系统需要基于共享目录，因地制宜地对各个使用者，进行资源分配和限制。SmartQuota（文件系统配额）正是用于解决这个需求的技术，该技术可以针对目录、用户、用户组这三类资源的使用者分别进行资源控制。
 *  SmartQuota的主要作用是方便系统管理员管控资源使用者（包括目录、用户、用户组）的存储资源，以限制指定使用者可使用的磁盘空间，从而避免出现某些用户过度占用资源的问题。

## 术语说明 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 38]

## 在Quota Tree目录上进行资源管控 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 39]

*  在SmartQuota特性中，Quota Tree是一个重要的概念。简单来说，Quota Tree就是文件的一级目录。但从管理角度看， Quota Tree不仅是一个目录，更是一个配置对象。这就意味着，Quota Tree只能通过管理终端（命令行或GUI管理界面）来创建、删除和修改，而不能通过客户端主机来修改。另外，作为配置配额时的载体，目录配额、用户配额、以及组配额都只能在Quota Tree上配置。我们总结一下Quota Tree与普通目录存在的差别：
 *  Quota Tree只能由管理员通过命令行或GUI管理界面，进行创建、删除、重命名等操作，且管理员只能删除空的Quota Tree。
 *  Quota Tree可以通过协议进行共享，且正在共享时，不允许被改名和删除。
 *  不允许跨Quota Tree进行移动文件（NFS协议）或剪切文件（CIFS协议）操作，即不允许在两个不同Quota Tree目录之间进行文件的MV操作（NFS协议）或剪切操作（CIFS协议）。
 *  不允许跨Quota Tree的硬链接，即不允许在两个不同的Quota Tree之间进行硬链接操作。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 40]
 *  目录的资源用量（目录配额的统计值）。
    
     *  Quota Tree目录中所有文件的存储容量、文件数的总量。
 *  用户/用户组的资源用量（用户/用户组配额的统计值）。
    
     *  Quota Tree目录中所有创建者为特定用户/用户组的文件的存储容量、文件数的总量

## 应用场景 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 41]

*  在单个Quota Tree内部，管理员可配置目录配额限制对应部门总的资源，然后为部门内部的使用者、群组分别配置用户配额、用户组配额，灵活限制一个部门内各使用者的资源。
    
     *  Share为研发部门的共享目录（Quota Tree 0）：
     *  配置Quota Tree 0的目录配额，限制研发部总的可用资源。
     *  配置经理A的私有用户配额，单独限制经理A的可用资源。
     *  配置项目组G/E的私有用户组配额，限制项目组G/E的可用资源

## 配置流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 42]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70]: /images/20221024/c0a4903a0ec84f63adfa7976627aab75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 1]: /images/20221024/5542491784f84338be00e96e905a9647.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 2]: /images/20221024/80915f09c5444a358d08d71a73eede6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 3]: /images/20221024/11cfce3fc414442faa7b12209d860721.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 4]: /images/20221024/fe794bfffb0041b395109c83925489c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 5]: /images/20221024/226372364267419ebd8c85e04828a635.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 6]: /images/20221024/e2315ab38611472aa51eed7e71db84f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 7]: /images/20221024/5ce022a9b4854bdb91610a3b4e48d508.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 8]: /images/20221024/60350f6c67a646a5bde7827c7e1b619c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 9]: /images/20221024/037f88a9896f4acc958f8983aeb42870.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 10]: /images/20221024/2ec2f73d5b7e4b988d45bc4fd8653018.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 11]: /images/20221024/f3d3651a5bb04d72b2a992caa09e8c72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 12]: /images/20221024/e0de37ade9df48b3844cb240161ac2bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 13]: /images/20221024/8a56b64be43c472498ac1432a544788a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 14]: /images/20221024/e3a9d155ad1b4d94bf1929c47537ac2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 15]: /images/20221024/425aaaeb77894a64b27fa2c20ba31857.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 16]: /images/20221024/20ef67fb272e47c2bcb582c334032696.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 17]: /images/20221024/c7efc26e32b44abd81b700dbd63b217b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 18]: /images/20221024/4854da3eec1b412f8f2edabbcce90e42.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 19]: /images/20221024/b132476969aa48bf92f48983d24f7f64.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 20]: /images/20221024/f3e4ea1aa0414339955e300e0c9399c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 21]: /images/20221024/29617ff666504ce59fa4b7c20fdb455a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 22]: /images/20221024/b8d54e6dc9434b47b361b2fc72008d63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 23]: /images/20221024/a4acad944fef43ecb1710f29865d8ccf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 24]: /images/20221024/ead9052a77234950b0cf37e4a7661aef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 25]: /images/20221024/7eb5454d86264187a9b7f49daea969f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 26]: /images/20221024/ad50156181a54bddadc7c5d0e648c6c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 27]: /images/20221024/d5e3018eedbd49c9bbe651759da1ed7b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 28]: /images/20221024/0706e08afc024a45b4fb15e2ae7234c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 29]: /images/20221024/8495923e221a46da89ff4e8013a61e74.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 30]: /images/20221024/1044bdfffb7c4b6b87183560c3e3d52f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 31]: /images/20221024/f2f70be784ee4c8f9888837478870d03.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 32]: /images/20221024/538cff3924d541bd80747646a71de3c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 33]: /images/20221024/46c796db1f6d4cbebb77f3bd69d347cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 34]: /images/20221024/6c490de6187f4a9b90ea0b7eefd2eb46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 35]: /images/20221024/a1a5c2b5ac0e46a894e99a4f164c6b27.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 36]: /images/20221024/4fafe26657c148b1abc569c88a25f6af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 37]: /images/20221024/495a97c76673449a82196e8b87546801.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 38]: /images/20221024/91872f461b2146328581a23f1a971a9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 39]: /images/20221024/9e29b1315cee40d7a079ce5d53a3f50c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 40]: /images/20221024/1fff71152467460b853f3bbc6cb90edd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 41]: /images/20221024/31f1c381e88d49598f5b7e57ffc32bdc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N1aWNob25neGlu_size_16_color_FFFFFF_t_70 42]: /images/20221024/2a16369567cb404b9a200902223b0bc5.png