Fedora安装Hadoop

本是古典何须时尚 2022-07-13 23:59 211阅读 0赞

## 这里聊的是单点安装！ ##

–开始：  
条件  
1).fedora23  
2).hadoop-2.5.2  
3).已经安装jdk和配置好Java的环境变量了

安装步骤  
1).下载和解压hadoop  
（1）下载资源自行在网上找，在root用户下操作，先将hadoop的下载包放在/opt目录下  
（2）解压，在终端输入：

tar xvf apache-hadoop-2.5.1.tar.gz

2).配置环境变量  
在/etc/profile里添加hadoop的环境变量：

vi /etc/profile

添加：

#set for hadoop
    export HADOOP_HOME=/opt/hadoop-2.5.2
    export PATH=$HADOOP_HOME/bin:$PATH
    export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

最后让配置文件生效：

source /etc/profile

3).修改hadoop根目录下etc/hadoop目录下两个配置文件的JAVA\_HOME环境变量  
进入hadoop根目录，在etc目录的hadoop目录下，如图：

![这里写图片描述][20161120213441266]

（1）`vi hadoop-env.sh`  
把export JAVA\_HOME=\{JAVA\_HOME\}改为：

export JAVA_HOME=/opt/jdk1.7.0_67

修改完保存(:wq!)退出  
JAVA\_HOME根据实际的环境变量去设定，我的机器的JAVA\_HOME是/opt/jdk1.7.0\_67

（2）`vi yarn-env.sh`  
添加：

export JAVA_HOME=/opt/jdk1.7.0_67

修改完保存(:wq!)退出

4).修改根目录下etc/hadoop的4个配置文件  
（1）`vi core-site.xml`  
在`<configuration>和</configuration>`之间添加：

<property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/data/tmp </value>
        </property>

修改完保存(:wq!)退出

（2）`vi hdfs-site.xml`  
在`<configuration>和</configuration>`之间添加：

<property>  
            <name>dfs.namenode.name.dir</name>  
            <value>file:/home/hadoop/dfs/name</value>  
        </property>  
        <property>  
            <name>dfs.namenode.data.dir</name>  
            <value>file:/home/hadoop/dfs/data</value>  
        </property>  
        <property>  
            <name>dfs.replication</name>  
            <value>1</value>  
        </property>

修改完保存(:wq!)退出

（3）`vi yarn-site.xml`  
在`<configuration>和</configuration>`之间添加：

<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

修改完保存(:wq!)退出

（4）`vi mapred-site.xml.template`  
在`<configuration>和</configuration>`之间添加：

<property>
            <name>mapreduce.jobtracker.address</name>
            <value>localhost:9001</value>
        </property>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

修改完保存(:wq!)退出

5).把ssh设置成免登录

ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa 
    cat ~/.ssh/id_rsa >> ~/.ssh/authorized_keys   
    chmod 600 ~/.ssh/authorized_keys       
    sudo service sshd restart

6).在第一次启动之前要格式化namenode

hadoop namenode -format

7).正式启动hadoop，有两种方式  
先进入hadoop根目录的sbin目录，这里有很多启动文件，如图：

![这里写图片描述][20161120220425215]

（1）用yarn架构启动：  
<1>`./start-dfs.sh`  
<2>`./start-yarn.sh`  
（2）直接启动

./start-all.sh

8).在浏览器输入：`http://localhost:50070/`  
会看到下图就说明成功了：

![这里写图片描述][20161120220719072]

9).如果在7)的启动的过程出现下面的错误：

/opt/hadoop-2.5.2/sbin/yarn-daemon.sh: 第 60 行:[: fedora23.localdomain.out: 需要整数表达式
    starting resourcemanager, logging to /opt/hadoop-2.5.2/logs/yarn-wayne-resourcemanager-wayne
    错误: 找不到或无法加载主类 fedora23.localdomain.log

可能是/etc/hostname文件里面有多个主机名（一般是两个），比如下图是我的：

![这里写图片描述][20161120221325988]

把第二行去掉就可以了。

10).祝大家马到成功！

–结束。

[20161120213441266]: /images/20220714/b9371d7db53a42b09943864a17749f66.png
[20161120220425215]: /images/20220714/a7ad38833e0742298ab19c0a63558ba8.png
[20161120220719072]: /images/20220714/ab8ddb9de34e49c696411b876f736570.png
[20161120221325988]: /images/20220714/604bff7344274795a34cd3ef8f6b09e0.png