大数据Hadoop系列之Hadoop机架感知配置

亦凉 2022-05-23 08:28 232阅读 0赞

## 1）编写topology.data ##

*  ##### IP地址 主机名 交换机/机架 #####
    
        192.168.9.60    master60    /dc1/rack1
        192.168.9.61    slave61     /dc1/rack1
        192.168.9.62    slave62     /dc1/rack2
        192.168.9.63    slave63     /dc1/rack2

## 2） 编写topology.sh ##

#!/bin/bash  
    
    HADOOP_HOME=/apps/svr/hadoop/hadoop-2.7.3
    HADOOP_CONF=${HADOOP_HOME}/etc/hadoop
    
    while [ $# -gt 0 ] ; do
      nodeArg=$1
      exec<${HADOOP_CONF}/topology.data
      result=""
    
      while read line ; do
        ar=( $line )
        if [ "${ar[0]}" = "$nodeArg" ]||[ "${ar[1]}" = "$nodeArg" ]; then
          result="${ar[2]}"
        fi
      done
    
      shift
      if [ -z "$result" ] ; then
        echo -n "/default-rack"  
      else
        echo -n "$result"  
      fi
    done

## 3）配置core-site.xml ##

<property>
        <name>topology.script.file.name</name>
        <value>/apps/svr/hadoop/hadoop-2.7.3/etc/hadoop/topology.sh</value>
    </property>

## 4）执行命令 ##

*  ##### 赋予topology.sh执行权限 #####
    
        $ chmod 755 topology.sh
 *  ##### 重启NameNode #####
    
        $ hadoop-daemon.sh stop namenode
        $ hadoop-daemon.sh start namenode
 *  ##### 查看Hadoop机架信息 #####
    
        $ hadoop dfsadmin -printTopology

发表评论取消回复

表情：

评论列表（有 0 条评论，232人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop系列之HDFS机架感知(13)

HDFS 机架感知客户端向 Namenode 发送写请求时，Namenode 为这些数据分配 Datanode 地址，HDFS 数据块副本的放置对于系统整体的可靠性和性

我不是女神ヾ/ 2023年01月10日 13:12/ 0 赞/ 120 阅读

相关 hadoop机架感知

背景分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内

男娘i/ 2022年08月17日 15:09/ 0 赞/ 145 阅读

相关 hadoop 机架

通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受

墨蓝/ 2022年08月06日 08:19/ 0 赞/ 173 阅读

相关 Hadoop机架感知原理

背景分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间

太过爱你忘了你带给我的痛/ 2022年07月13日 08:52/ 0 赞/ 140 阅读

相关 hadoop机架感知

HDFS集群由分布在多个机架上的大量DataNode组成，不同机架之间节点通过交换机通信，HDFS通过机架感知策略，使NameNode能够确定每个DataNode所属的机架ID

ゞ浴缸里的玫瑰/ 2022年06月04日 04:44/ 0 赞/ 171 阅读

相关大数据Hadoop系列之Hadoop机架感知配置

1）编写topology.data IP地址主机名交换机/机架 192.168.9.60 master60 /dc1/

亦凉/ 2022年05月23日 08:28/ 0 赞/ 233 阅读

相关大数据系列hadoop——开发环境配置

目录简介安装配置插件环境变量代码中的配置 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.x

谁践踏了优雅/ 2022年05月17日 05:49/ 0 赞/ 178 阅读

相关大数据Hadoop系列之Hadoop服务开机自启动配置

1. 编写运行脚本 > $ sudo cd /etc/init.d > $ sudo vi hadoop !/bin/bash chkconfig

绝地灬酷狼/ 2022年05月15日 16:43/ 0 赞/ 815 阅读

相关 Hadoop机架感知

1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一

港控/mmm°/ 2022年05月15日 03:40/ 0 赞/ 188 阅读

相关 Hadoop机架感知（rack-aware)配置

副本的存放策略又是HDFS实现高可靠性和搞性能的关键，优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知（rack-awar

ゝ一纸荒年。/ 2022年02月23日 01:28/ 0 赞/ 251 阅读