Hadoop HDFS Snapshots 快照

今天药忘吃喽~ 2022-02-24 09:50 266阅读 0赞

HDFS 快照（HDFS Snapshots）是文件系统在某个时间点的只读副本。可以在文件系统的子树或整个文件系统上创建快照。快照的常见用途主要包括数据备份，防止用户误操作和容灾恢复。

HDFS 快照的实现非常高效：

1.  快照的创建非常迅速：除去 inode 的查找时间，时间复杂度为 O(1)；
2.  仅在对快照进行修改时，才会消耗一些内存：内存使用 O(M)，M 是被修改的文件或目录数；
3.  Datanode 上的 block 是不会被复制的：快照文件记录 block 的列表和文件大小，并不做数据的拷贝；
4.  快照不会对常规的 HDFS 操作产生负面影响：所有的修改都按照时间倒序排序，以便可以直接访问当前数据。快照数据是从当前数据中减去修改的数据来计算的。

### 基本语法 ###

<table> 
 <thead> 
  <tr> 
   <th>功能</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>hdfs dfsadmin -allowSnapshot 路径</td> 
   <td>开启指定目录的快照功能</td> 
  </tr> 
  <tr> 
   <td>hdfs dfsadmin -disallowSnapshot 路径</td> 
   <td>禁用指定目录的快照功能，默 认是禁用</td> 
  </tr> 
  <tr> 
   <td>hdfs dfs -createSnapshot 路径</td> 
   <td>对目录创建快照</td> 
  </tr> 
  <tr> 
   <td>hdfs dfs -createSnapshot 路径 名称</td> 
   <td>指定名称创建快照</td> 
  </tr> 
  <tr> 
   <td>hdfs dfs -renameSnapshot 路径 旧名称 新名称</td> 
   <td>重命名快照</td> 
  </tr> 
  <tr> 
   <td>hdfs lsSnapshottableDir</td> 
   <td>列出当前用户所有可快照目录</td> 
  </tr> 
  <tr> 
   <td>hdfs snapshotDiff 路径 1 路径 2</td> 
   <td>比较两个快照目录的不同之处</td> 
  </tr> 
  <tr> 
   <td>hdfs dfs -deleteSnapshot  </td> 
   <td>删除快照</td> 
  </tr> 
 </tbody> 
</table>

### 开启指定目录的快照功能 ###

[root@hadoop101 hadoop-2.7.2]# hdfs dfsadmin -allowSnapshot /ylj/demo
    Allowing snaphot on /ylj/demo succeeded

![2019-04-03-15542838918133.jpg][]

### 创建快照 ###

[root@hadoop101 hadoop-2.7.2]# hdfs dfs -createSnapshot /ylj/demo
    Created snapshot /ylj/demo/.snapshot/s20190401-030142.009

![2019-04-03-15542839269366.jpg][]

从web ui上看不到文件夹`.snapshot`  
![2019-04-03-15542840311645.jpg][]  
可以直接访问  
![2019-04-03-15542840530873.jpg][]

### 差异比较 ###

[root@hadoop101 hadoop-2.7.2]# hdfs snapshotDiff /ylj/demo . .snapshot/s20190401-030142.009        
    Difference between current directory and snapshot s20190401-030142.009 under directory /ylj/demo:
    
    [root@hadoop101 hadoop-2.7.2]# hdfs dfs -put /root/tmp/1.jpg /ylj/demo/4.jpg
    [root@hadoop101 hadoop-2.7.2]# hdfs snapshotDiff /ylj/demo . .snapshot/s20190401-030142.009
    Difference between current directory and snapshot s20190401-030142.009 under directory /ylj/demo:
    M       .
    -       ./4.jpg

### 恢复快照 ###

hdfs dfs -cp /ylj/demo/.snapshot/s20190401-030142.009/* /ylj/demo/

[2019-04-03-15542838918133.jpg]: /images/20220224/2dce3a5de99645c58812c5d16c21450e.png
[2019-04-03-15542839269366.jpg]: /images/20220224/c5fb653c531a46eb838df94910093b58.png
[2019-04-03-15542840311645.jpg]: /images/20220224/263eb96bb7bc41f6abe3cab5529eec6b.png
[2019-04-03-15542840530873.jpg]: /images/20220224/5a2939b81a4d49018442a75fe45033f6.png