VirtualBox + CentOS7 搭建 Hadoop 伪分布式模式

àì夳堔傛蜴生んèń 2023-01-13 01:42 217阅读 0赞

目录

一、准备好 CentOS7 的ISO 文件，JDK1.8 安装文件，hadoop-2.7 安装文件

二、安装CentOS7系统

三、CentOS7环境准备

1、关闭防火墙

2、安装 ifconfig 命令用于查看IP

3、将所jdk,hadoop文件传入linux系统

4、解压缩 jdk-8u281-linux-x64.tar.gz

5、配置jdk环境变量 vi /etc/profile 在最末未增加

6、检查jdk安装是否成功

7、免密码ssh设置

四、配置Hadoop

1、解压缩 hadoop-2.7.5.tar.gz

2、配置 hadoop-env.sh

3、配置 core-site.xml

4、配置 hdfs-site.xml

5、将Hadoop加入环境变量

6、格式化一个新的分布式文件系统

7、启动NameNode和DataNode守护进程

8、浏览Web界面以查找NameNode

9、关闭 Hadoop

五、在单节点上的YARN

1、配置 mapred-site.xml

2、配置 yarn-site.xml

3、启动ResourceManager守护程序和NodeManager守护程序

4、浏览Web界面以找到ResourceManager

5、停止守护进程

一、准备好 CentOS7 的ISO 文件，JDK1.8 安装文件，hadoop-2.7 安装文件

链接：https://pan.baidu.com/s/1lmA0Ai9ivPftJgC6DbpN7g
提取码：iw3g

20210415111448799.png

二、安装CentOS7系统

没有截图的页面默认配置直接下一步

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 1watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 2

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 3watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 4watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 5watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 6

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 7watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 8watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 9watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 10watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 11

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 12watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 13watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 14

三、CentOS7环境准备

root 登录系统

1、关闭防火墙

  1. 查看当前防火墙状态  Active: active (running) 表示开启
  2. [root@centos7-hadoop sbin]# systemctl status firewalld.service
  3. 关闭防火墙
  4. [root@centos7-hadoop sbin]# systemctl stop firewalld.service
  5. 查看当前防火墙状态  Active: inactive (dead) 表示关闭
  6. [root@centos7-hadoop sbin]# systemctl status firewalld.service
  7. 永久关闭防火墙
  8. [root@centos7-hadoop sbin]# systemctl disable firewalld.service

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 15

2、安装 ifconfig 命令用于查看IP

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 16watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 17watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1Y2hlbmxoeQ_size_16_color_FFFFFF_t_70 18

3、将所jdk,hadoop文件传入linux系统

jdk目录：/usr/java

hadoop目录：/opt/hadoop

目录不存在的情况先创建目录

4、解压缩 jdk-8u281-linux-x64.tar.gz

tar -zxvf jdk-8u281-linux-x64.tar.gz 到 /usr/java

5、配置jdk环境变量 vi /etc/profile 在最末未增加

  1. #java
  2. export JAVA_HOME=/usr/java/jdk1.8.0_281
  3. export PATH=$JAVA_HOME/bin:$PATH
  4. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

6、检查jdk安装是否成功

20210415114812506.png

7、免密码ssh设置

现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令： 

  1. $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  2.   $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  3.   $ chmod 0600 ~/.ssh/authorized_keys

四、配置Hadoop

1、解压缩 hadoop-2.7.5.tar.gz

tar -zxvf hadoop-2.7.5.tar.gz 到 /opt/hadoop

进入目录 /opt/hadoop/hadoop-2.7.5/

2、配置 hadoop-env.sh

vi /opt/hadoop/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

将 export JAVA_HOME=${JAVA_HOME}
改成 export JAVA_HOME=/usr/java/jdk1.8.0_281

3、配置 core-site.xml

vi /opt/hadoop/hadoop-2.7.5/etc/hadoop/core-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://localhost:9000</value>
  5.     </property>
  6. </configuration>

4、配置 hdfs-site.xml

vi /opt/hadoop/hadoop-2.7.5/etc/hadoop/hdfs-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>dfs.replication</name>
  4.         <value>1</value>
  5.     </property>
  6. </configuration>

5、将Hadoop加入环境变量

vi ~/.bash_profile 在文件最后加入 

  1. #HADOOP
  2. export HADOOP_HOME=/opt/hadoop/hadoop-2.7.5
  3. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

执行 source ~/.bash_profile 使环境变量生效

6、格式化一个新的分布式文件系统

  1. $ bin/hdfs namenode -format

7、启动NameNode和DataNode守护进程

  1. $ sbin/start-dfs.sh

8、浏览Web界面以查找NameNode

  • NameNode- http://localhost:50070/

9、关闭 Hadoop

  1. $ sbin/stop-dfs.sh

五、在单节点上的YARN

进入目录 /opt/hadoop/hadoop-2.7.5/

1、配置 mapred-site.xml

复制模板文件 

  1. cp /opt/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml

编辑文件 vi /opt/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>mapreduce.framework.name</name>
  4.         <value>yarn</value>
  5.     </property>
  6. </configuration>

2、配置 yarn-site.xml

编辑文件 vi /opt/hadoop/hadoop-2.7.5/etc/hadoop/yarn-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>yarn.nodemanager.aux-services</name>
  4.         <value>mapreduce_shuffle</value>
  5.     </property>
  6. </configuration>

3、启动ResourceManager守护程序和NodeManager守护程序

  1. $ sbin/start-yarn.sh

4、浏览Web界面以找到ResourceManager

  1.     ResourceManager - http://localhost:8088/

5、停止守护进程

  1. $ sbin/stop-yarn.sh

发表评论

表情：
评论列表 （有 0 条评论，217人围观）

还没有评论，来说两句吧...

相关阅读