hadoop安装和配置(很简单)

逃离我推掉我的手 2022-08-23 00:37 199阅读 0赞

我的环境是vmware12 + rhel7 + hadoop2.4 + jdk7

#### linux环境配置 ####

1.配置网络ip地址和主机名，这里我配置的ip地址是192.168.137.102，主机名为rhel7-02  
2.安装jdk并配置jdk环境变量  
3.关闭防火墙，rhel7关闭防火墙的方法如下：

systemctl status firewalld  //查看防火墙状态
    systemctl stop firewalld   //停止防火墙 ，暂时
    systemctl disable firewalld  //禁用防火墙，永久

配置好hadoop的环境之后，我们开始安装hadoop2.4

1.创建hadoop的解压目录，这是为了管理方便

mkdir /home/cloud/hadoop/

2.解压hadoop压缩包到该路径下

tar -zxvf hadoop-2.4.1.tar.gz  -C /home/cloud/hadoop/

3.开始配置hadoop，我们先进去hadoop的配置文件目录

cd /home/cloud/hadoop/hadoop-2.4.1/etc/hadoop/

![这里写图片描述][20160602171826675]

我们需要配置红色框的5个配置文件

a.修改hadoop-env.sh，配置hadoop的环境变量

vi hadoop-env.sh
    #找到JAVA_HOME改成实际的javahome路径
    export JAVA_HOME=/usr/java/jdk1.7.0_65

b.修改core-site.xml，配置hdfs的默认地址以及运行时产生文件的存储目录

vi core-site.xml
    
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs:rhel7-02//:9000</value>
    </property>
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/cloud/hadoop/hadoop-2.4.1/tmp</value>
    </property>

c.修改hdfs-site.xml，配置hdfs副本

vi hdfs-site.xml
    
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

d.修改mapred-site.xml，配置mr运行环境

#hadoop只提供了模版，所以我们需要修改下名称
    mv mapred-site.xml.template mapred-site.xml
    vi mapred-site.xml
    
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

e.修改yarn-site.xml，配置yarn地址

vi yarn-site.xml
    
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>rhel7-02</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>

到此配置文件都配置完成了，接下来还要需要俩部就成功了

f.添加hadoop到系统环境变量

export JAVA_HOME=/usr/java/jdk1.7.0
    export HADOOP_HOME=/home/cloud/hadoop/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

g.让配置生效，可以用命令行hdfs测试下命令是否生效，生效则配置成功

source /etc/profile

h.格式化hdfs文件系统

hdfs namenode -format

i.启动我们的hadoop，见证奇迹的时候了

sbin/start-dfs.sh #启动文件系统hdfs
    sbin/start-yarn.sh #启动yarn

4.开始验证我们的hadoop，首先使用使用jps命令验证一下

[root@rhel7-02 hadoop]# jps
    2320 DataNode  
    2447 SecondaryNameNode 
    3296 Jps
    2745 NodeManager 
    2649 ResourceManager
    2224 NameNode

到这里说明说明相关的进程已经启动完成，具体每个进程的作用，下次详细讲解。

接下来，我们就可以在web浏览器输入相关的地址，查看hadoop的相关状态  
[http://192.168.137.102:50070/][http_192.168.137.102_50070] \#hdfs浏览界面

![这里写图片描述][20160602174909402]

[http://192.168.137.102:8088][http_192.168.137.102_8088] \#yarn集群浏览界面

![这里写图片描述][20160602175032937]

我们再来试着上传和下载一个文件到hadoop文件系统中看看

hadoop fs  -put /home/cloud/package/color.exe hdfs://rhel7-02:9000/

上传完成之后，可以在浏览器看到上传文件

![这里写图片描述][20160602181721487]

点击可下载，若发现浏览器域名无法解析，需要在本地window上配置域名解析和ip的关联，编辑添加C:\\Windows\\System32\\drivers\\etc\\hosts

192.168.137.102 rhel7-02

接下来我们来下载一个文件，通过命令行

hadoop fs -get hdfs://rhel7-02:9000/color.exe /home/cloud/package/color2.exe

在/home/cloud/package/路径下发现color2.exe，说明下载也成功，到此，hadoop安装和配置完成。具体详细概念和用法下次再看看

[20160602171826675]: /images/20220722/af743b3ae4e14ee4a851ea32116fcd57.png
[http_192.168.137.102_50070]: http://192.168.137.102:50070/
[20160602174909402]: /images/20220722/c911bf7ceeaa4f10bd46d9bc4efb18b0.png
[http_192.168.137.102_8088]: http://192.168.137.102:8088
[20160602175032937]: /images/20220722/9f9ec1790b89462f8aa1cae3caf0d3ff.png
[20160602181721487]: /images/20220722/7a69d0d977c340a5883ef11dd8abab4a.png