【Hadoop集群搭建第三期】集群节点配置

女爷i 2023-06-27 08:51 97阅读 0赞

【Hadoop集群搭建第一期】Ubuntu中的Hadoop及Java环境的安装和配置：https://blog.csdn.net/DXH924/article/details/103832306

【Hadoop集群搭建第二期】节点克隆及SSH无密码验证配置：

https://blog.csdn.net/DXH924/article/details/103841437

本期的任务是Hadoop集群搭建的重中之重，所有操作都是建立在前两期的基础上的

下面进入正题

【第一步】配置静态ip

VMware Workstation中点击【编辑】->【虚拟网络编辑器】->【更改设置】

选中VMnet8，去掉“使用本地DHCP服务将ip地址分配给虚拟机”前的勾，【应用】

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70

下面操作三个节点都要进行，执行命令

  1. sudo nano /etc/network/interfaces

在配置中添加，ip地址根据第一期中ifconfig得出的ip地址进行设定

此处的192.168.153.133为master的ip

  1. auto ens33 
  2. iface ens33 inet static
  3. address 192.168.153.133
  4. netmask 255.255.255.0
  5. gateway 192.168.153.2
  6. dns-nameserver 114.114.114.114

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 1

保存配置并重启网卡

  1. sudo /etc/init.d/networking restart
  2. sudo ifdown ens33
  3. sudo ifup ens33

命令ifconfig查看ens33的ip，重启三个主机后互ping，确保ip修改成功
这里需要改成之前hosts配置里面的ip地址

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 2

【第二步】配置Hadoop参数

以下操作在master中进行

执行如下命令，配置core-site.xml

  1. cd /usr/local/hadoop/etc/hadoop
  2. sudo nano core-site.xml
  4. 添加配置
  5. <property>
  6.     <name>fs.defaultFS</name>
  7.     <value>hdfs://master:9000</value>
  8. </property>

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 3

执行如下命令，配置hadoop-env.sh

  1. sudo nano hadoop-env.sh
  3. 在末尾添加
  4. export JAVA_HOME=/usr/lib/jvm/default-java
  5. export HDFS_NAMENODE_USER="hadoop"
  6. export HDFS_DATANODE_USER="hadoop"
  7. export HDFS_SECONDARYNAMENODE_USER="hadoop"
  8. export YARN_RESOURCEMANAGER_USER="hadoop"
  9. export YARN_NODEMANAGER_USER="hadoop"

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 4

执行如下命令，配置hdfs-site.xml

  1. sudo nano hdfs-site.xml
  3. 添加配置
  4. <property>
  5.     <name>dfs.namenode.name.dir</name>
  6.         <value>/usr/local/hadoop/hdfs/name</value>
  7. </property>
  8. <property>
  9.     <name>dfs.namenode.data.dir</name>
  10.         <value>/usr/local/hadoop/hdfs/data</value>
  11. </property>
  12. <property>
  13.     <name>dfs.replication</name>
  14.         <value>3</value>
  15. </property>

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 5

执行如下命令，配置mapred-site.xml

  1. sudo nano mapred-site.xml
  3. 添加配置
  4. <property>
  5.     <name>mapreduce.framework.name</name>
  6.         <value>yarn</value>
  7. </property>

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 6

执行如下命令，配置workers

  1. sudo nano workers
  3. 添加
  4. master
  5. slave1
  6. slave2

20200105212723187.png

执行如下命令，配置yarn-site.xml

  1. sudo nano yarn-site.xml
  2. <property>
  3.     <name>yarn.resourcemanager.hostname</name>
  4.         <value>master</value>
  5. </property>
  6. <property>
  7.     <name>yarn.resoourcemanager.webapp.address</name>
  8.          <value>192.168.153.133:8088</value>
  9. </property> 
  10. <property>
  11.     <name>yarn.nodemanager.aux-services</name>
  12.          <value>mapreduce_shuffle</value>
  13. </property>

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 7

【第三步】将配置发送给slave节点

将 hadoop 目录从 master 拷贝到 slave1 与 slave2，覆盖原来的配置文件
由于之前配置了免密登录，所以不需要输入密码即可完成拷贝

  1. scp -qr /usr/local/hadoop/etc/hadoop  slave1:/usr/local/hadoop/etc
  2. scp -qr /usr/local/hadoop/etc/hadoop  slave2:/usr/local/hadoop/etc

【第四步】创建临时文件目录 （三台机器都需创建）
创建的目录对应于hdfs-site.xml 中配置的目录
即/usr/local/hadoop/hdfs/name和/usr/local/hadoop/hdfs/data
输入命令

  1. mkdir -p /usr/local/hadoop/hdfs/data
  2. mkdir -p /usr/local/hadoop/hdfs/name

【第五步】格式化 hdfs 文件系统
在master结点执行命令

  1. hdfs namenode -format

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 8

出现“Storage directory /usr/local/hadoop/hdfs/name has been successfully formatted”提示
表示格式化成功

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 9

【第六步】启动Hadoop集群

master中执行命令

  1. start-all.sh

执行命令jps查看进程
若有6个进程，即DataNode, NameNode, SecondaryNameNode,
Jps, ResourceManager以及NodeManager，说明Hadoop集群搭建成功

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 10

slave中执行命令jps
会看到3个进程，即DataNode, NodeManager以及Jps20200105213304847.png

【第七步】查看可视化界面

web中进入master:8088查看集群信息

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 11

进入master:9870查看HDFS文件系统，【Utilities】->【browse the file system】，此时根目录下没有任何文件

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 12

【第八步】上传文件到HDFS

上传文件测试 

  1. cd /usr/local/hadoop #选择目录
  2. ls #查看目录文件
  3. hdfs -dfs -put LICENSE.txt / #上传LICENSE.txt到HDFS根目录下
  4. hdfs -dfs -ls / #查看HDFS文件目录

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RYSDkyNA_size_16_color_FFFFFF_t_70 13

可视化页面也可查看HDFS中的文件

到此，Hadoop集群搭建完成！！！

发表评论

表情：
评论列表 （有 0 条评论，97人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Hadoop集群搭建

    Hadoop集群搭建 最近终于忙完了所以把hadoop简单集群的搭建也弄处来给大家参考，这个教程仅仅提供一个最简单的单纯的hadoop集群环境搭建并没有涉及到更多组建搭建

    悠悠悠悠/ 0 赞/ 378 阅读

    相关 Hadoop集群搭建

            前言：搭建hadoop集群的博文很多，不能总是每次搭建时都花时间搜索一篇适合自己机器、文章简练清晰的教程，笔者也是描述自己搭建Hadoop集群的详细过程，以备日

    本是古典 何须时尚本是古典 何须时尚/ 0 赞/ 398 阅读

    相关 HADOOP集群搭建

    集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起（也就是说需要分别部署HDFS集群和YARN集群，但是这两个

    深碍√TFBOYSˉ_深碍√TFBOYSˉ_/ 0 赞/ 516 阅读