Hadoop 集群配置

爱被打了一巴掌 2022-02-25 01:26 391阅读 0赞

文章目录

    • 集群部署规划
    • 配置
      • 核心配置文件
      • hdfs 配置文件
        • hadoop-env.sh
        • hdfs-site.xml
      • yarn 配置文件
        • yarn-env.sh
        • yarn-site.xml
      • mapreduce 配置文件
        • mapred-env.sh
        • mapred-site.xml
    • 分发配置

集群部署规划
























hadoop102 hadoop103 hadoop104
HDFS NameNode
DataNode		 DataNode SecondaryNameNode
DataNode
YARN NodeManager ResourceManager
NodeManager		 NodeManager

配置

核心配置文件

core-site.xml

  1. [root@hadoop102 hadoop]# pwd
  2. /opt/module/hadoop-2.7.2/etc/hadoop
  3. [root@hadoop102 hadoop]# vim core-site.xml
  5. <!-- 指定 HDFS 中 NameNode 的地址 -->
  6. <property>
  7.     <name>fs.defaultFS</name>
  8.     <value>hdfs://hadoop102:9000</value>
  9. </property>
  10. <!-- 指定 hadoop 运行时产生文件的存储目录 -->
  11. <property>
  12.     <name>hadoop.tmp.dir</name>
  13.     <value>/opt/module/hadoop-2.7.2/data/tmp</value>
  14. </property>

hdfs 配置文件

hadoop-env.sh

  1. [root@hadoop102 hadoop]# vim hadoop-env.sh
  3. export JAVA_HOME=/opt/module/jdk1.8.0_144

hdfs-site.xml

  1. [root@hadoop102 hadoop]# vim hdfs-site.xml
  3. <!-- 指定 HDFS 副本的数量 -->
  4. <property>
  5.     <name>dfs.replication</name>
  6.     <value>3</value>
  7. </property>
  8. <!-- 指定 Hadoop 辅助名称节点主机配置 -->
  9. <property> 
  10.     <name>dfs.namenode.secondary.http-address</name>
  11.     <value>hadoop104:50090</value>
  12. </property>

yarn 配置文件

yarn-env.sh

  1. [root@hadoop102 hadoop]# vim yarn-env.sh
  3. export JAVA_HOME=/opt/module/jdk1.8.0_144

yarn-site.xml

  1. [root@hadoop102 hadoop]# vim yarn-site.xml
  3. <!-- reducer 获取数据的方式 -->
  4. <property>
  5.     <name>yarn.nodemanager.aux-services</name>
  6.     <value>mapreduce_shuffle</value>
  7. </property>
  8. <!-- 指定 YARN 的 ResourceManager 的地址 -->
  9. <property>
  10.     <name>yarn.resourcemanager.hostname</name>
  11.     <value>hadoop103</value>
  12. </property>
  13. <!-- 日志聚集功能使能 -->
  14. <property>
  15.     <name>yarn.log-aggregation-enable</name>
  16.     <value>true</value>
  17. </property>
  18. <!-- 日志保留时间设置 7 天 -->
  19. <property>
  20.     <name>yarn.log-aggregation.retain-seconds</name>
  21.     <value>604800</value>
  22. </property>

mapreduce 配置文件

mapred-env.sh

  1. [root@hadoop102 hadoop]# vim mapred-env.sh
  3. export JAVA_HOME=/opt/module/jdk1.8.0_144

mapred-site.xml

  1. [root@hadoop102 hadoop]# vim mapred-site.xml
  3. <!-- 指定 mr 运行在 yarn 上 -->
  4. <property>
  5.     <name>mapreduce.framework.name</name>
  6.     <value>yarn</value>
  7. </property>
  8. <!--历史服务器地址-->
  9. <property>
  10.     <name>mapreduce.jobhistory.address</name>
  11.     <value>hadoop102:10020</value>
  12. </property>
  13. <!--历史服务器web端地址-->
  14. <property>
  15.     <name>mapreduce.jobhistory.webapp.address</name>
  16.     <value>hadoop102:19888</value>
  17. </property>

分发配置

  1. [root@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

发表评论

表情：
评论列表 （有 0 条评论，391人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Hadoop集群配置

    1.在进行Hadoop集群配置中，需要在/etc/hosts文件中添加集群中所有机器的IP与主机名，这样Master与所有的Slave机器之间不仅可以通过IP进行通信，还可以通

    桃扇骨桃扇骨/ 0 赞/ 320 阅读