ubuntu下安装hadoop

向右看齐 2022-08-14 04:57 270阅读 0赞

hadoop是最近比较火热的开源大数据平台，是使用Java创建的，因此需要先安装Java环境。

## 1. 安装Java ##

到Oracle官网上下载linux版本的JDK，[http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html][http_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]，点击下载即可  
将Java移动到/opt目录下并解压，

sudo mv jdk-8u65-linux-x64.gz /opt
    sudo tar -xvf jdk-8u65-linux-x64.gz

配置Java的环境变量，在控制台输入sudo vim /etc/profile打开profile文件，然后在文件的末尾输入

export JAVA_HOME=/opt/jdk1.8.0_65
    export PATH=/opt/jdk1.8.0_65/bin:${PATH}

输入source /etc/profile是配置文件生效，然后输入java -version看java环境变量是否配置成功，输出一下信息表示配置成功  
![这里写图片描述][20151122214006713]

## 2. 安装Hadoop ##

首先在apache的网站上下载hadoop，这里下载的是hadoop的1.2.1的版本，地址如下：  
[http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/][http_mirror.bit.edu.cn_apache_hadoop_common_hadoop-1.2.1]  
将下载好的hadoop移动到/opt目录下并解压

sudo mv hadoop-1.2.1.tar.gz /opt
    sudo tar -xvf hadoop-1.2.1.tar.gz

和安装java一样，需要为hadoop设置环境变量，在控制台输入sudo vim /etc/profile打开配置文件并在文件末尾添加：

export HADOOP_HOME=/opt/hadoop-1.2.1
    export PATH=/opt/hadoop-1.2.1bin:${PATH}

使用source使配置文件生效，然后进入hadoop的配置文件设置Java变量，

source /etc/profile
    cd /hadoop-1.2.1/conf
    sudo vim hadoop-env.sh

取消Java环境变量的设置值，并修改为我们刚才设置的Java变量目录  
![这里写图片描述][20151122215247043]

## 3. 设置ssh免密码登录 ##

首先使用ubuntu自带的ssh生成秘钥对，输入ssh-keygen,  
![这里写图片描述][20151122215920264]  
然后拷贝到本机的ssh授权列表中

cp ~/.ssh/id_ras.pub ~/.ssh/authorized_keys

此时输入ssh localhost会出现错误信息

ssh: connect to host localhost port 22: Connection refused

解决方法是安装sshserver并启动ssh

sudo apt-get install openssh-server
    net start sshd

然后输入ssh localhost就可以正常进入ssh登录了  
![这里写图片描述][20151122220346933]  
至此hadoop的环境搭建就算完成了，此时如果输入hadoop-version会出现$HADOOP\_HOME is deprecated的警告信息，进入hadoop\_home/conf下找到hadoop-env.sh然后再里面添加

export HADOOP_HOME_WARN_SUPPRESS=”TRUE”

重新启动就不会再出现以上警告了  
![这里写图片描述][20151122221332894]

[http_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[20151122214006713]: /images/20220731/90f0b90d62e74ca5832de8df0bb3a885.png
[http_mirror.bit.edu.cn_apache_hadoop_common_hadoop-1.2.1]: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/
[20151122215247043]: /images/20220731/48666d6df4ea4b7bb3fae0d5a611a357.png
[20151122215920264]: /images/20220731/257b28b2cbba49478e7de626dca808a5.png
[20151122220346933]: /images/20220731/076d8011df2b4b4cbb6472da324dd450.png
[20151122221332894]: /images/20220731/6ed80475854143c6a74cfedbe49cbdd9.png