2.1 Hadoop-HDFS高可用搭建

素颜马尾好姑娘i 2022-05-25 12:49 200阅读 0赞

1.  core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://yuntian</value>

</property>

<name>ha.zookeeper.quorum</name> // 定义zookeeper服务器

</property>

<name>hadoop.tmp.dir</name>

<value>/hadoop</value>

</property>

</configuration>

1.  hdfs-site.xml

<name>dfs.nameservices</name>

<value> yuntian</value>

</property>

<name>dfs.ha.namenodes. yuntian</name>

</property>

<name>dfs.namenode.rpc-address. yuntian.nn1</name>

</property>

<name>dfs.namenode.rpc-address. yuntian.nn2</name>

</property>

<name>dfs.namenode.http-address. yuntian.nn1</name>

</property>

<name>dfs.namenode.http-address. yuntian.nn2</name>

</property>

<name>dfs.namenode.shared.edits.dir</name> // 定义qjournal服务器

<value>qjournal://node2:8485;node3:8485;node4:8485/ yuntian</value>

</property>

<name>dfs.client.failover.proxy.provider. yuntian</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/hadoop/data</value>

</property>

<name>dfs.ha.automatic-failover.enabled</name>

</property>

</configuration>

1.  准备zookeeper
    
    1.  三台zookeeper：node2，node3，node4
    2.  编辑conf/zoo.cfg配置文件   自己创建

tickTime=2000

initLimit=5

syncLimit=2

dataDir=/opt/zookeeper/data

dataLogDir=/var/logs/zookeeper

clientPort=4180          // 这里端口号注意core-site.xml 配置的端口号一致

server.2=node2:2888:3888

server.3=node3:2888:3888

server.4=node4:2888:3888

mkdir -p /opt/zookeeper/data    先创建dataDir 文件夹

1.  在dataDir目录中创建一个myid的文件，文件内容为2，3，4
2.  在bin下vim zkEnv.sh  修改ZOO\_LOG\_DIR="/var/logs/zookeeper"   日志路径

配置hadoop中的slaves启动三个zookeeper(/conf下)：./zkServer.sh start    注意先启动的zookeeper服务器要和其他几台服务器做免密登陆启动三个JournalNode(hadoop-2.5.2/sbin下)：./hadoop-daemon.sh start journalnode在其中一个namenode上格式化(/hadoop-2.5.2)：bin/hdfs namenode -format把刚刚格式化之后的元数据( core-site.xml配置的 hadoop.tmp.dir路径下)拷贝到另外一个namenode上

1.  启动刚刚格式化的namenode(/sbin下) :./hadoop-daemone.sh start namenode
2.  在没有格式化的namenode上执行：bin/*hdfs namenode -bootstrapStandby*
3.  启动第二个namenode(/sbin下): ./hadoop-daemone.sh start namenode

在其中一个namenode上初始化zkfc：bin/hdfs zkfc -formatZK sbin/hadoop-daemon.sh start zkfc --一般./stop-dfs.sh就已经启动了，一般不自己启动停止上面节点(/sbin)：./stop-dfs.sh

全面启动 (/sbin) ： ./start-dfs.sh

所有启动(/sbin):./start-all.sh