CentOS6.4之图解配置Hadoop1.2单机伪分布式

男娘i 2022-04-14 06:22 152阅读 0赞

\[b\]\[color=green\]\[size=x-large\]基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了  
新版本解决了1.x中的NameNode，JobTracker单点故障问题，使用yarn统一了分布式开发的集群平台，给集群的资源管理及部署大大提供了便利。目前大多数公司使用的还是1.x的hadoop，那么散仙今天伪分布式的部署，使用的是Apache1.2的hadoop稳定版本，关于2.x的hadoop的部署，散仙会在后面的文章中给出例子。下面进入正题。\[/size\]\[/color\]\[/b\]  
  
  
\[b\]\[color=olive\]\[size=x-large\]hadoop的部署总共有3种类型，分别是单机版，单机伪分布式版，以及完全分布式集群三种类型，只要熟悉一些Linux的一些基本操作就能很快上手，当然前提是你还有一定的Java基础，毕竟Hadoop的就是用Java编写的。\[/size\]\[/color\]\[/b\]  
  
  
\[b\]\[color=green\]\[size=x-large\]关于JDK环境变量的设置及SSH无验证登陆的配置（可以参考的我的上一篇文章），散仙就不在这里详细说明了，  
网上搜一下，有很多讲解的。单机版以及伪分布式的部署，只需要一个节点即可，首先我们要在在设置主机名，使用vi /etc/sysconfig/network 进行修改并保存。\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4104/5d9a7fef-2e6c-3e29-92e8-5df11bbb8bc4.jpg\[/img\]  
  
\[b\]\[color=olive\]\[size=x-large\]然后，我们在hosts文件里配置，主机名与IP的映射关系  
使用命令 vi /etc/hosts进行保存修改即可\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4106/22f8ce0d-3164-3f16-b90d-c0de1ce58c0b.jpg\[/img\]  
  
\[b\]\[color=olive\]\[size=x-large\]然后拷贝已经下载的好的hadoop压缩包，至根目录，并解压，首先我们需要配置的是在conf下的hadoop-env.sh这个文件，使用vi hadood-env.sh进行取消注释的JAVA HOME，然后把我们自己的JDK路径设置上，并保存\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4110/15b8e63b-6b6e-36bc-8832-2b8aa119b118.jpg\[/img\]  
  
\[b\]\[color=olive\]\[size=x-large\]接下来需要配置的是conf下的core.site.xml这个文件  
,添加  
<property>  
<name>fs.default.name</name>  
<value>hdfs://Master:9000</value>  
</property>  
\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4112/5ba00ec3-a5c1-3fb0-913d-988f20183a66.jpg\[/img\]  
  
\[b\]\[color=olive\]\[size=x-large\]下一步需要配置的是hdfs的副本个数，因为我们是单机的所以副本数应该为1，默认是3，如果节点数比3少那么hadoop会启动报错。编辑文件  
hdfs.site.xml添加  
<property>  
<name>dfs.replication</name>  
<value>1</value>  
</property>  
  
\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4117/058f3879-360b-3ed1-a922-c0c84f8c8d8d.jpg\[/img\]  
\[b\]\[color=olive\]\[size=x-large\]到这一步，其实已经可以启动HDFS的集群了，但是为了演示完整，我们把JobTracke也配置一下。编辑文件mapred-site.xml添加  
  
<property>  
<name>mapred.job.tracker</name>  
<value>Master:9001</value>  
</property>  
\[/size\]\[/color\]\[/b\]  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4124/e14ea315-8531-3484-ad7a-389a8d411ec2.jpg\[/img\]  
  
\[b\]\[color=olive\]\[size=x-large\]到此步，我们已经配置完毕，再准备启动我们的集群前，还有一项重要的工作要做，就是需要格式化我们的namenode,进行hadoop根目录，然后执行bin/hadoop namenode -format即可\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4137/1e74d17d-b9ec-35fe-a306-92b6fa818df4.jpg\[/img\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4139/6a6e3f39-3c7c-3083-ae6d-f44b40afa9ee.jpg\[/img\]  
\[b\]\[color=olive\]\[size=x-large\]现在就可以启动我们的hadoop了，执行命令，  
bin/start-all.sh\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4141/d9aac2a5-3bd1-387e-af63-7bcf09b020eb.jpg\[/img\]  
\[b\]\[color=olive\]\[size=x-large\]使用JPS命令查看端口情况，检测启动是否成功\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4147/ae36e6dc-ce6a-326f-9ee8-dedc2a35774e.jpg\[/img\]  
  
\[b\]\[color=olive\]\[size=x-large\]最后，为了方便测试，散仙把防火墙关闭了，如果是在生产环境中，可以在IP里设置Hadoop的对外开放端口，千万不能关闭防火墙，很危险的一件事，当然我们这里是测试，才这么做的，执行命令 service iptables stop\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4151/420dacf3-ba32-38e0-9221-7edc0bab52c8.jpg\[/img\]  
\[b\]\[color=olive\]\[size=x-large\]最后，我们在Win上访问Linux的服务，访问地址如下  
：master:50030,以及master:50070，查看Hadoop的Web管理页面。\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4181/48848aaf-8d85-3d26-a7e1-1d847ff37cda.jpg\[/img\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/4183/597ebb6c-8bd2-3f52-b633-c67b9b675774.jpg\[/img\]  
  
\[b\]\[color=olive\]\[size=x-large\]至此，我们的伪分布式模式就部署成功了，如果想要停止集群服务，可以使用bin/stop-all.sh命令，来停止服务。\[/size\]\[/color\]\[/b\]