hdfs-安全模式的介绍

矫情吗；* 2022-03-21 15:47 303阅读 0赞

官网介绍:

>         在启动期间，NameNode从fsimage和edits日志文件加载文件系统状态。然后，它等待DataNodes报告其块，以便尽管群集中已存在足够的副本，但它不会过早地开始复制块。在此期间，NameNode保持在Safemode中。NameNode的安全模式本质上是HDFS集群的只读模式，它不允许对文件系统或块进行任何修改。通常，在DataNode报告大多数文件系统块可用之后，NameNode会自动离开Safemode。如果需要，可以使用bin / hdfs dfsadmin -safemode命令显式地将HDFS置于Safemode中。NameNode首页显示Safemode是打开还是关闭。

什么是安全模式:

>      namenode启动时，首先将映像文件（fsimage）载入内存，并中兴编辑日志中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件（该操作不需要借助namenode）和一个空的编辑日志。此时，namenode开始监听RPC和http请求。但是此刻namenode运行在安全模式，即namenode的文件系统对于客户端来说是只读的。（只有访问文件系统元数据的文件系统操作时肯定成功执行的，对于读文件操作，只有集群中当前datanode上的块可用时，才能工作。但文件修改操作，包括写、删或重命名均会失败）  
> 在安全模式下namenode并不向datanode发出任何块复制或删除的指令。如果满足“最小副本条件”，namenode会在30秒钟后就退出安全模式，启动一个刚格式化的HDFS集群时，因系统中还没任何块，所以namenode不会进入安全模式。

安全模式常用命令:

> hdfs dfsadmin -safemode get 显示是否处于安全模式  
> hdfs dfsadmin -safemode wait 一直等到某条命令到来前才退出安全模式  
> 以下可以随时进入或离开安全模式  
> hdfs dfsadmin -safemode enter 进入安全模式  
> hdfs dfsadmin -safemode leave 离开安全模式

安全模式相关的属性:

> dfs.replication.min（默认1）,成功执行写操作所需创建的最小副本数（也称最小副本级别）  
> dfs.safemode.threshold.pct（默认值0.999），在namenode退出安全模式之前，系统中满足最小副本级别（由dfs.replication.min定义）的块的比例。将这项值设为0或更小会令namenode无法启动安全模式，设为高于1则永远不会退出安全模式。  
> dfs.safemode.extension（默认值30000），在满足最小副本条件之后，namenode还需处于安全模式的时间（以毫秒为单位）,对于小型集群可设为0

安全模式所遇问题

> **问题一:ambari重启HDFS有某个节点失败导致，后续创建目录报错**
> 
> 问题原因:name node处于safe mode
> 
>     Caused by: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/vagubchd/4ca66724-71ac-4d64-b263-3aca96514e8e. Name node is in safe mode.
> 
> 解决方法:
> 
>   >检查
> 
>     dfs fsck /
>     #可以看到Minimally replicated blocks:   不为100%，可能缺少block
> 
> > 关闭安全模式
> 
>     hadoop dfsadmin -safemode leave
> 
> .> 修复
> 
>     hdfs fsck / | egrep -v '^\.+$' | grep -v eplica
> 
>  
> 
> **问题二:HDFS block丢失过多进入安全模式（Safe mode）**
> 
> 背景及现象描述(Background and Symptom)
> 
> 因磁盘空间不足，内存不足，系统掉电等其他原因导致dataNode datablock丢失，出现如下类似日志：
> 
> The number of live datanodes 3 has reached the minimum number 0.
> 
> Safe mode will be turned off automatically once the thresholds have been reached.
> 
> Caused by: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled.
> 
>  Name node is in safe mode.
> 
> The reported blocks 632758 needs additional 5114 blocks to reach the threshold 0.9990
> 
> of total blocks 638510.
> 
> The number of live datanodes 3 has reached the minimum number 0.
> 
> Safe mode will be turned off automatically once the thresholds have been reached.
> 
> at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode
> 
> (FSNamesystem.java:1209)
> 
>     ... 12 more
> 
> 原因分析(Cause Analysis)\*
> 
>      由于系统断电，内存不足等原因导致dataNode丢失超过设置的丢失百分比，系统自动进入安全模式
> 
> 解决:
> 
> 在hdfs端执行如下命令：
> 
>         步骤 1  执行命令退出安全模式：hadoop dfsadmin -safemode leave
> 
>         步骤 2  执行健康检查，删除损坏掉的block。  hdfs fsck  /  -delete
> 
> *注意: 这种方式会出现数据丢失，损坏的block会被删掉*

\--------------------------------------------------------------------------------------------------------------------------------------------------------------------

用人品去感动别人，用改变去影响别人，用状态去燃烧别人，用行动去带动别人，用阳光去照耀别人，用坚持去赢得别人，要求自己每天都去做与目标有关的事情，哪怕每天只进步一点点，坚持下来你就是最优秀卓越的！欢迎大家加入大数据交流群：725967421     一起交流，一起进步！！

\---------------------------------------------------------------------------------------------------------------------------------------------------------------------