Hadoop安装配置详解

迷南。 2022-06-17 03:41 206阅读 0赞

最近听大数据说得比较多，也是有些好奇，于是看了一些大数据的相关视频讲解，用了业余时间配置了Hadoop的环境，也走了不少弯路，现在在这做一个总结，希望能为后来配置环境的一个借鉴。  
首先，要准备安装需要的工具，列出如下：

> 1.VM ware虚拟机  
> 2.Linux系统镜像：centos7.0  
> 3.Linux下的jdk包  
> 4.Hadoop包  
> 5.secureCRT  
> 6.WinSCP

之后的步骤为：

> 1.安装虚拟机，安装centos7.0虚拟系统，这些网上一抓一大把，在此不做过多介绍。  
> 2.安装WinSCP，这个是用来和Linux系统进行文件传输的软件。  
> 3.安装SecureCRT，这个是用来远程操作Linux系统的软件

以上三步基本都是在windows下，基本都是点击next即可。

然后在VMware中修改一下虚拟机的网络适配器为自定义，选择VMnet0即可。  
在Linux系统中点击右键，找到"Open Terminal"，点击进入  
输入`ifconfig`回车，该命令可获得设备网络信息。获得IP地址，在主机中ping 该IP，查看是否连通。  
若连通，则在winSCP中输入Linux的ip和“用户名”、“密码”即可。

然后直接将下载好的jdk和Hadoop安装包拖入winSCP右方Linux的“tmp”文件夹下即可。

(前面这些内容是基础，最容易出错的地方也就是网络连通一块，我在没将网络适配器更改为”vmnet0“的时候也是连不通的，在更改之后就可以了，而且可能会出现多个ip，我选择第一个为准，好像别的也连不通)。之后该正式在Linux中进行操作了，在这我用SecureCRT进行操作，这个跟在Linux终端下操作是一样的。SecureCRT的使用跟WinSCP类似，也是输入ip、“用户名”和“密码"即可。

然后就可以看到命令行操作界面了。  
重头戏来了  
\#\#\#1.安装JDK  
\#\#\#\#(1)卸载自带JDK  
Linux本身是自带JDK的，不过是OpenJDK，和我们平时使用的不太一样，我们可以先卸载它。  
卸载的方法如下：  
输入`rpm -qa|grep java`

之后会罗列出来几个JDK文件夹，然后对各个文件夹逐个删除  
删除的命令行为：

rpm -e --nodep xxx文件夹（刚才已经找到的那些文件夹）

删除之后可以再次通过`rpm -qa|grep java`或者`java -version`验证是否已经删除  
\#\#\#\#(2)安装JDK  
然后就是安装了，先打开JDK所在目录：  
输入`cd /tmp`回车  
输入`ls`回车，会显示出当前目录下文件和目录  
解压JDK包，不同的文件包对应不同命令  
若tar.gz，则执行`tar -zxf xxx.tar.gz`  
若rpm ，则指定 `rpm -ivh xxx.rpm`  
解压之后就代表已经将JDK安装了，可以在/usr/java中看到

\#\#\#\#(3)配置环境变量  
Linux中也要配置环境变量  
首先，要打开环境配置的文件  
输入`vi /etc/profile`回车  
这会进入/etc/profile的编辑页面，多数情况会让选择操作，选择(E)dit 回车即可。  
进入之后是一个vim编辑器界面，vim编辑器默认进入是命令模式  
单击“i”键即可进入“insert模式”，该模式下可编辑内容  
在该文件最后输入以下内容

export JAVA_HOME=/usr/java/jdk1.8.0_121
    export PATH=.:$JAVA_HOME/bin:$PATH

第一个参数即为JAVA\_HOME，第二个为PATH环境变量。

> **注意：**$之前是“.”和“：”,在Linux中是用“：”对各个环境变量进行分割的，这一点和windows是不同的，windows下是用“；”，这一点需要注意。

之后点击键盘上的“Esc”键，进入命令模式  
输入:wq回车,这条命令的含义是保存并退出vim编辑器

然后就重新回到了Terminal中  
输入`source /etc/profile`回车，该命令作用是使环境变量生效

至此，JDK安装完成，可以通过java -version验证是否安装成功

\#\#\#2安装Hadoop  
Hadoop的安装跟JDK安装步骤类似，不过官方建议将Hadoop安装在/usr/local文件夹下，所以可以执行一下移动操作  
输入`cd /tmp`回车打开tmp文件夹  
输入`ls`回车列出文件和文件夹  
输入 `mv xxx.tar.gz /usr/local`回车（注意中间空格）  
输入 `cd /usr/local`回车  
输入 `ls`回车可以看到已经移动到了/usr/local目录下

之后解压，和JDK解压命令相同，不做重复

解压之后更改文件夹名称为hadoop方便使用  
如：现在文件夹名称为hadoop-2.6.5  
输入 `mv hadoop-2.6.5 hadoop`即可（同样注意空格）

\#\#\#\#设置环境变量  
这次设置环境变量和之前设置jdk一样，只需要新建一个HADOOP\_HOME即可

更改变量为：

export JAVA_HOME=/usr/java/jdk1.8.0_121
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

这样，在Terminal中输入hadoop version看到hadoop版本即为hadoop安装成功。