HDFS高级特性之Federation

以你之姓@ 2022-12-16 04:00 134阅读 0赞

### 目录 ###

*   *  一、Federation架构介绍
     *  二、Federation配置

## 一、Federation架构介绍 ##

1.Federation架构中会有多个namenode

2.与HDFS HA的区别：

*  HDFS HA解决的是namenode单点故障的问题。虽然是多个namenode，但管理的是同一个文件系统， 对应存储的内容也是一样的。
 *  Federation中，每个namenode管理的是属于自己的一部分数据，存储的内容完全不一样。

3.Federation架构图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]

## 二、Federation配置 ##

配置hdfs-site.xml  
（1）configuration:

<property>
        <name>dfs.nameservices</name>
        <value>ns1,ns2,ns3</value>
      </property>
    
    
    	 <property>
    	    <name>dfs.namenode.rpc-address.ns1</name>
    	    <value>bigdata-pro-m01:8020</value>
    	  </property>
    
    	  <property>
    	    <name>dfs.namenode.servicerpc-address.ns1</name>
    	    <value>bigdata-pro-m01:8022</value>
    	  </property>
    
    	  <property>
    	    <name>dfs.namenode.http-address.ns1</name>
    	    <value>bigdata-pro-m01:50070</value>
    	  </property>
    
    	  <property>
    	    <name>dfs.namenode.https-address.ns1</name>
    	    <value>bigdata-pro-m01:50470</value>
    	  </property>
    
    	 <property>
    	    <name>dfs.namenode.rpc-address.ns2</name>
    	    <value>bigdata-pro-m01:8020</value>
    	  </property>
    
    	  <property>
    	    <name>dfs.namenode.servicerpc-address.ns2</name>
    	    <value>bigdata-pro-m01:8022</value>
    	  </property>
    
    	  <property>
    	    <name>dfs.namenode.http-address.ns2</name>
    	    <value>bigdata-pro-m01:50070</value>
    	  </property>
    
    	  <property>
    	    <name>dfs.namenode.https-address.ns2</name>
    	    <value>bigdata-pro-m01:50470</value>
    	  </property>
    
    
    	 <property>
    	    <name>dfs.namenode.rpc-address.ns3</name>
    	    <value>bigdata-pro-m01:8020</value>
    	  </property>
    
    	  <property>
    	    <name>dfs.namenode.servicerpc-address.ns3</name>
    	    <value>bigdata-pro-m01:8022</value>
    	  </property>
    
    	  <property>
    	    <name>dfs.namenode.http-address.ns3</name>
    	    <value>bigdata-pro-m01:50070</value>
    	  </property>
    
    	  <property>
    	    <name>dfs.namenode.https-address.ns3</name>
    	    <value>bigdata-pro-m01:50470</value>
    	  </property>

（2）format：

bin/hdfs namenode -format -clusterId <cluster_id>

多个namenode中cluster\_id的配置项必须一样

（3）启动

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。  
您的鼓励就是博主最大的动力！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/833fbd68405c44219aa5c2e3d1ab4af9.png