Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境
相关环境：
虚拟机：VMWare（64位）
Linux版本：centOS6.5 64位
Windows版本：win10 64位
Hadoop版本：2.6.0
Linux中JDK版本：1.7.0_71（64位）
参考网页：
搭建伪分布式环境的网页
本文是集成上述网页的主要步骤，然后在配置文件的时候略作修改，是为了配合之后在Windows中安装hadoop2.6.0-eclipse-plugin插件时用的。同时也其中穿插了一些自己搭建环境时遇到的问题。
在Windows中安装hadoop2.6.0-eclipse-plugin插件的步骤，见我的下一篇文章——Hadoop II Windows下安装hadoop2.6.0-eclipse-plugin插件
安装虚拟机
安装虚拟机及在虚拟机中安装Linux的步骤在这里不详述，网上对这方面的介绍比较多且没有太大难度。
安装配置Linux中的一些环境
1）安装Linux中的JDK
在Linux中安装JDK，在这里也不详述。
2）修改主机名
通过sudo vi /etc/sysconfig/network将主机名修改为master。如下图所示：
重启Linux后查看结果：
![Image 1][]
3）修改hosts中的主机名
通过sudo vi /etc/hosts修改hosts文件，其中192.168.253.130是我Linux的ip地址。如下图所示：
4）配置SSH
进入.ssh目录并生成authorized_keys文件：
授权.ssh/文件夹权限为700，authorized_keys文件权限为600（or 644）
ssh验证
5）安装hadoop
去官网下载hadoop安装包，这里的版本是2.6.0。http://apache.fayea.com/hadoop/common/hadoop-2.6.0/
下载成功后，解压在合适的目录中。
通过sudo vi ~/.bash_profile配置环境变量，分别配置HADOOP_HOME和PATH：
![Image 1][]
修改后，使用source ~/.bash_profile是修改后的环境变量生效。
在hadoop目录下创建文件夹：
接下来开始配置hadoop的各种文件，首先进入hadoop的配置文件夹：
![Image 1][]
修改配置文件hadoop-env.sh，加入”JAVA_HOME”，如下所示：
指定我们自己的”JAVA_HOME”：
修改yarn-env.sh，加入JAVA_HOME：
指定我们自己的JAVA_HOME：
修改配置文件 mapred-env.sh，加入JAVA_HOME：
加入我们自己的JAVA_HOME
修改slaves文件：
设置从节点为master，因为我们是伪分布式：
修改配置文件core-site.xml：
修改core-site.xml后：
修改hdfs-site.xml，修改前：
修改后：
修改yarn-site.xml，修改前：
修改后：
启动并验证hdfs文件系统是否配置成功：
首先，格式化hdfs文件系统：
然后cd到sbin目录中，分别启动dfs和yarn：
然后就可以通过web控制台查看hdfs了，地址：http://linux的ip:50070/。如果不是用当前Linux访问，而是别的电脑，访问的该地址的时候可能访问不到，此时需要考虑是否是Linux防火墙的问题。
点击”Live Nodes”，查看一下其他信息：
现在试着向hdfs中上传一个文件：
hadoop web控制台页面的端口整理：
50070：hdfs文件管理
8088：ResourceManager
8042：NodeManager
19888：JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)
[Image 1]:
深碍√TFBOYSˉ_
ゞ 浴缸里的玫瑰
忘是亡心i
系统管理员
还没有评论，来说两句吧...