hadoop环境搭建

1 安装前准备

虚拟机软件：VMWare

操作系统：ubuntu-16.04.1

下载地址：http://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/16.04.1/ubuntu-16.04.1-server-amd64.iso

hadoop版本：hadoop-2.7.3

下载地址：http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

jdk版本：jdk-8u111-linux-x64.tar.gz

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

将下载的jdk、hadoop包拷贝到接口usb2.0的U盘中

2 安装流程概览

a.VMWare安装ubuntu操作系统；

b.在ubantu上安装jdk；

c.设置ssh免密码登录；

d.安装、配置hadoop；

e.启动hadoop。

3 具体安装流程

3.1 VMWare安装ubuntu操作系统

典型安装即可，注意记住设置的用户名、密码。

Center

3.2 ubantu上安装jdk

具体见我的另一篇博客：http://blog.csdn.net/blue\_it/article/details/53926123

3.3 设置ssh免密码登录

先确认能否不输入口令就用ssh登录localhost:
ssh localhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

执行过程的确认项，输入yes即可。

正确执行后在~/.ssh目录输入命令：ls 可见 id_rsa id_rsa.pub文件

Center 1

ssh免密码登录，结果如下：

Center 2

3.4 安装、配置hadoop

a. 将U盘中hadoop安装包复制到当前用户目录下，并解压。

复制、解压操作具体见我的另一篇博客： http://blog.csdn.net/blue\_it/article/details/53926123中jdk的复制、解压。

b.进入解压的目录hadoop-2.7.3中，找到etc文件夹，进入，找到hadoop文件夹，进入，可看到core-site.xml、hdfs-site.xml等文件。

Center 3

c.分别配置如下文件

core-site.xml 配置如下：　　　　

　　　　
　　　　　　
　　　　　　　　hadoop.tmp.dir
　　　　　　　　file:/home/kent/hadoop2.7.3/hadoop-2.7.3/tmp
　　　　　　　　Abase for other temporary directories.
　　　　　　
　　　　　　
　　　　　　　　fs.defaultFS
　　　　　　　　hdfs://localhost:9000
　　　　　　
　　　　

　　其中的hadoop.tmp.dir的值可以根据自己的需求进行设置。

　　mapred-site.xml.template配置如下：　　　　

　　　　
　　　　　　
　　　　　　　　mapred.job.tracker
　　　　　　　　localhost:9001
　　　　　　
　　　　

　　hdfs-site.xml配置如下：

　　　　
　　　　　　
　　　　　　　　dfs.replication
　　　　　　　　1
　　　　　　
　　　　　　
　　　　　　　　dfs.namenode.name.dir
　　　　　　　　file:/home/kent/hadoop2.7.3/hadoop-2.7.3/tmp/dfs/name
　　　　　　
　　　　　　
　　　　　　　　dfs.datanode.data.dir
　　　　　　　　file:/home/kent/hadoop2.7.3/hadoop-2.7.3/dfs/data
　　　　　　
　　　　

　　其中dfs.namenode.name.dir和dfs.datanode.data.dir的值可以自由设置，最好在hadoop.tmp.dir的目录下面。

3.5 启动hadoop

1.初始化HDFS系统
在hadoop目录下，输入命令：bin/hdfs namenode -format，过程需要进行ssh验证，键入y即可。
2.开启NameNode和DataNode守护进程
　　　在hadoop目录下，输入命令：sbin/start-dfs.sh 即可，启动成功显示如下：
Center 4
　如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop-env.sh里面，具体如下：
export JAVA_HOME=”/usr/lib/java/jdk1.8.0_111”