hadoop集群的搭建（完全分布式）

古城微笑少年丶 2024-02-18 22:03 19阅读 0赞

这里使用7台机器安装分布式  
前奏  
1.创建一台虚拟机  
2.配置静态Ip  
3.安装jdk,配置环境变量  
卸载之前的jdk 查看：rpm -qa | gerp java ；卸载： rpm -e 包名  
环境变量：  
export JAVA\_HOME=/app/jdk1.7.0\_67  
export PATH=*J**A**V**A**H**O**M**E*/*b**i**n*:  J A V A H O M E / b i n : PATH  
export CLASSPATH=.:*J**A**V**A**H**O**M**E*/*l**i**b*/*d**t*.*j**a**r*:  J A V A H O M E / l i b / d t . j a r : JAVA\_HOME/lib/tools.jar  
4. 关闭防火墙  
5.克隆多台机器  
6.修改各个机器的主机名:/etc/sysconfig/network，注：这里因为是克隆出来的机器，所以配置静态ip会出问题，参看解决办法。  
7.在一台机器上修改ip和主机名映射关系:/etc/hosts文件  
8.远程拷贝hosts文件到其他别的机器上:scp -r /etc/hosts root@xxx:/etc/hosts  
9.设置免密码登录  
a.生成lx1的公钥和密钥:在lx1上执行，ssh-keygen -t rsa  
b.把lx1的公钥追加到另外7台机器的authorized\_keys文件中  
ssh-copy-id lx1  
….  
ssh-copy-id lx7  
c.和b步骤一样，设置另外六台机器到其他机器上的免密码登录  
其实，不用全部都拷贝，原则如下：  
①.启动hdfs的时候，是通过lx1上执行start-dfs,sh  
会启动几个机器：  
lx1上的namenode  
lx2上的namenode  
lx5,lx6,lx7上的datanode  
这个启动方式是ssh远程启动，所以需要配置lx1到lx1,lx2,lx5,lx6,lx7上的免登陆。  
②.启动yarn的时候，是在lx3和lx4上分别本地启动，  
在启动lx3的时候会同时远程启动lx5,lx6,lx7上的nodemanager  
所以，需要配置lx3到lx5,lx6,lx7上的免登陆

服务器规划  
lx1 namenode zkfc  
lx2 namenode zkfc  
lx3 resourcemanager  
lx4 resourcemanager  
lx5 datanode nodemanager journalnode zookeeper  
lx6 datanode nodemanager journalnode zookeeper  
lx7 datanode nodemanager journalnode zookeeper

或者我们可以根据进程进行划分：  
namenode： lx1，lx2  
因为zkfc是用来监控namenode的，所以zkfc也放在lx1和lx2  
resourcemanager：lx3，lx4  
datanode：lx5，lx6，lx7  
对于nodemanager，是yarn的小弟，用来处理mr任务的，为了达到就近取资源的效果，一般和datanode部署在一起  
zookeeper：lx5，lx6，lx7  
journalnode和zkfc都是依赖zookeeper的，理论上讲，应该放在另外的服务器上，这里机器限制，和datanode放在一起  
jounlnode：lx5，lx6，lx7. 轻量级进程，没必要单独使用服务器，所以可以随意挑选机器就可以了，这里随便选出三台。

安装Hadoop  
①.解压hadoop  
②.配置hadoop环境变量  
修改/etc/profile  
内容：  
export HADOOP\_HOME=/app/hadoop-2.8.0  
export PATH=*H**A**D**O**O**P**H**O**M**E*/*b**i**n*:  H A D O O P H O M E / b i n : HADOOP\_HOME/sbin:*J**A**V**A**H**O**M**E*/*b**i**n*:  J A V A H O M E / b i n : PATH  
③.修改配置文件  
a. 修改 hadoop\_env.sh  
export JAVA\_HOME=/app/jdk1.7.0\_67  
b.修改 core-site.xml  
  
  
  
fs.defaultFS  
hdfs://ns1  
  
  
  
hadoop.tmp.dir  
/program/hadoop-2.6.0/tmp  
  
  
  
ha.zookeeper.quorum  
hadoop5:2181,hadoop6:2181,hadoop7:2181  
  
  
c. 修改hdfs-site.xml  
  
  
  
dfs.nameservices  
ns1  
  
  
  
dfs.ha.namenodes.ns1  
nn1,nn2  
  
  
  
dfs.namenode.rpc-address.ns1.nn1  
hadoop1:9000  
  
  
  
dfs.namenode.http-address.ns1.nn1  
hadoop1:50070  
  
  
  
dfs.namenode.rpc-address.ns1.nn2  
hadoop2:9000  
  
  
  
dfs.namenode.http-address.ns1.nn2  
hadoop2:50070  
  
  
  
dfs.namenode.shared.edits.dir  
qjournal://hadoop5:8485;hadoop6:8485;hadoop7:8485/ns1  
  
  
  
dfs.journalnode.edits.dir  
/devesoft/hadoop-2.6.0/journaldata  
  
  
  
dfs.ha.automatic-failover.enabled  
true  
  
  
  
dfs.client.failover.proxy.provider.ns1  
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider实现方式  
  
  
  
dfs.ha.fencing.methods  
  
sshfence  
shell(/bin/true)  
  
  
  
  
dfs.ha.fencing.ssh.private-key-files  
/root/.ssh/id\_rsa  
  
  
  
dfs.ha.fencing.ssh.connect-timeout  
30000  
  
  
d. 修改mapred-site.xml，需要使用mapred-site.xml.template改名  
  
  
  
mapreduce.framework.name  
yarn  
  
  
e. 修改yarn-site.xml  
  
  
  
yarn.resourcemanager.ha.enabled  
true  
  
  
  
yarn.resourcemanager.cluster-id  
1602b  
  
  
  
yarn.resourcemanager.ha.rm-ids  
rm1,rm2  
  
  
  
yarn.resourcemanager.hostname.rm1  
hadoop3  
  
  
yarn.resourcemanager.hostname.rm2  
hadoop4  
  
  
  
yarn.resourcemanager.zk-address  
hadoop5:2181,hadoop6:2181,hadoop7:2181  
  
  
yarn.nodemanager.aux-services  
mapreduce\_shuffle  
  
  
f.修改slaves文件  
slaves是指定子节点的位置，因为要在lx1上启动HDFS、在lx3启动yarn，所以lx1上的slaves文件指定的是datanode的位置，lx3上的slaves文件指定的是nodemanager的位置  
内容如下：  
slave05  
slave06  
slave07  
注意：一般情况下,DN和NM都是用了相同的机器，如果不是的话，请在拷贝了hadoop的jar包之后，重新修改lx3上的slaves文件  
④.使用scp拷贝hadoop到其他6台机器，  
这里直接拷贝app目录，把jdk和hadoop都拷贝了  
为了省事，可以拷贝配置文件/etc/profiles

安装ZooKeeper  
①.在lx5上解压zookeeper，  
②.修改配置文件zoo.cfg（使用zoo-example.cfg修改得到）

③.去data里面创建myid，里面写入自己的id 1  
④.配置环境变量，  
⑤.复制zookeeper到lx6，lx7，当然可以把/etc/profile再复制一遍，然后注意修改lx6，lx7上的myid内容

启动  
注意：一定要严格按照顺序启动  
①.启动zookeeper  
分别在lx5，lx6，lx7上分别执行命令：zkServer.sh start  
验证：执行zkServer.sh status，如果能看到下面的界面，证明zookeeper启动了，

使用jps，能够看到QuorumPeerMain进  
②.启动journalnode【2.8版本不需要自己手动启动，启动hdfs的时候会自动启动】  
分别在lx5，lx6，lx7上分别执行命令：hadoop-daemon.sh start journalnode  
验证：使用jps查看到JournalNode进程就可以了  
③.格式化HDFS（注意，格式化HDFS之前，必须启动journalnode）  
在lx1上执行命令：hdfs namenode -format  
然后，scp把tmp拷贝到lx2的hadoop里面，这样才能保证两个NN都有  
④.格式化ZKFC  
在lx1上执行hdfs zkfc -formatZK就可以了  
⑤.启动hdfs  
在lx1上执行start-dfs.sh  
⑥.启动yarn  
在lx3上执行start-yarn.sh在lx4上执行yarn-daemon.sh start resourcemanager（这个需要手动启动）  
注意事项：

如果多次格式化，那么格式化之前，必须把所有的机器上的/tmp文件都删除掉，否则datanode上会保存一个之前的namespaceID，不一致，导致datanode启动不了  
可以执行hadoop-daemon.sh start namenode来单独启动namenode  
可以执行hadoop-daemon.sh start datanode来单独启动datanode  
测试与验证  
①.查看各个机器上的进程，需要是下面这个样子  
lx1

lx2

lx3

lx4

lx5

lx6

lx7

②.查看网页  
分别查看lx1和lx2的namenode的状态  
lx1

lx2

③.验证hdfs  
上传一个文件，结果如下

④.验证mr  
执行一个mr任务看能否成功，比喻计算PI ，在运行的时候去nodemanager上执行jps查看进程(lx5，lx6，lx7)  
如果发现下面的错误：  
This token is expired. current time is 1497735640102 found 1497517037948  
Note: System times on machines may be out of sync. Check system time and time zones.  
解决办法是：向所有的XShell窗口发送下面的命令：  
date -s “2012-11-03 10:25:25”  
⑤.验证hdfs的ha  
a.在lx1上杀死namenode进程，  
再查看lx2的网页  
效果如下：

再次启动lx1上的namenode后，发现是standby了  
b.关闭active namenode所在的机器，查看，发现也自动切换了  
注意：即便正在上传文件的时候，lx1挂掉了，一样可以继续工作，很强大。

⑥.验证RM的HA  
杀死lx3上的RM进程，  
再执行一个Mr任务，发现结果如下

……

发现还是完成了MR任务，  
注意：MR的HA，如果任务执行一般的时候，lx3挂掉，任务会失败。没有hdfs的ha强大。

发表评论取消回复

表情：

评论列表（有 0 条评论，19人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop完全分布式集群搭建（秃头整理）

需要java安装包和hadoop安装包的可以选择这里下载链接：https://pan.baidu.com/s/1sQQ-uiwmJvYFPgpVsftL6Q? 提取码：a

刺骨的言语ヽ痛彻心扉/ 2024年04月03日 09:45/ 0 赞/ 36 阅读

相关 hadoop集群的搭建（完全分布式）

这里使用7台机器安装分布式前奏 1.创建一台虚拟机 2.配置静态Ip 3.安装jdk,配置环境变量卸载之前的jdk 查看：rpm -qa | gerp

古城微笑少年丶/ 2024年02月18日 22:03/ 0 赞/ 20 阅读

相关 Hadoop集群完全分布式搭建教程-CentOS

本篇在前一篇[《Hadoop单机模式和伪分布式搭建教程》][Hadoop]的基础上完成完全分布式的搭建，所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。注意

Bertha 。/ 2022年09月30日 14:56/ 0 赞/ 160 阅读

相关 Hadoop集群完全分布式搭建教程-CentOS

本篇在前一篇[《Hadoop单机模式和伪分布式搭建教程》][Hadoop]的基础上完成完全分布式的搭建，所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。注

左手的ㄟ右手/ 2022年07月31日 09:56/ 0 赞/ 238 阅读

相关 Hadoop集群完全分布式搭建教程-CentOS

本篇在前一篇[《Hadoop单机模式和伪分布式搭建教程》][Hadoop]的基础上完成完全分布式的搭建，所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。注意

分手后的思念是犯贱/ 2022年07月05日 15:27/ 0 赞/ 228 阅读

相关 linux hadoop完全分布式集群搭建图文详解

一.前期准备 1.1 Win7官网下载hadoop包本文使用版本hadoop-2.6.5.tar.gz 1.2 配置jdk jdk1.7:[lin

约定不等于承诺〃/ 2022年06月17日 11:08/ 0 赞/ 262 阅读

相关 hadoop集群环境搭建之完全分布式集群环境搭建（二）

hadoop集群环境搭建之完全分布式集群环境搭建（二）我们在上一篇 [hadoop集群环境搭建之伪分布式集群环境搭建（一）][hadoop]中介绍了hadoop伪分布式

冷不防/ 2022年05月30日 23:51/ 0 赞/ 379 阅读

相关 Hadoop完全分布式集群的搭建

如果前一章的内容你看懂了，那么请先删除之前搭建的三个新服务器重新克隆三个！！！(博主绝对不是故意为之，真的只是忘记了？) Hadoop完全分布式集群的搭建 1.分

待我称王封你为后i/ 2022年04月06日 18:12/ 0 赞/ 307 阅读

相关搭建hadoop2.6.0完全分布式集群

应用场景 > 之前介绍了单节点，部署伪分布式hadoop集群，可以作为自己使用，但是真正投入生产环境，伪分布式是不够的，仅仅作为个人研究测试使用，此时我们需要部署搭建ha

青旅半醒/ 2022年02月12日 12:45/ 0 赞/ 244 阅读

相关 Hadoop-HDFS的伪分布式和完全分布式集群搭建

转自： [https://blog.csdn.net/mhw666/article/details/91610598][https_blog.csdn.net_mhw666_

逃离我推掉我的手/ 2021年12月14日 09:37/ 0 赞/ 342 阅读