离线数仓（一）:Hadoop集群环境的搭建

àì夳堔傛蜴生んèń 2022-12-28 07:49 188阅读 0赞

文章目录

  • 一、 Hadoop 集群
    • 1.1 Hadoop集群安装
      • 1.1.1 集群部署规划
      • 1.1.2 配置集群
      • 1.1.3 启动集群
      • 1.1.4 集群基本测试
    • 1.2 Hadoop 项目经验
      • 1.2.1 HDFS 存储多目录
      • 1.2.2 LZO 压缩配置
      • 1.2.3 LZO 创建索引
      • 1.2.4 基准测试
      • 1.2.5 Hadoop 参数调优
  • 二、ZooKeeper集群安装

虚机的搭建以及基础环境的部署参考：https://hucheng.blog.csdn.net/article/details/102719750，此次使用的Hadoop版本为3.1.3

一、 Hadoop 集群

1.1 Hadoop集群安装

1.1.1 集群部署规划
























hadoop100 hadoop101 hadoop102
HDFS NameNode DataNode DataNode SecondaryNameNode DataNode
YARN NodeManager ResourceManager NodeManager NodeManager

1.1.2 配置集群

① 核心配置文件

配置core-site.xml

  1. <!-- 指定NameNode的地址 -->
  2.     <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://hadoop100:8020</value>
  5.     </property>
  6.     <property>
  7.         <name>hadoop.tmp.dir</name>
  8.         <value>/opt/module/hadoop-3.1.3/data</value>
  9.     </property>

② HDFS 配置文件

配置hdfs-site.xml

  1. <!-- 指定2NN地址 -->
  2.     <property>
  3.         <name>dfs.namenode.secondary.http-address</name>
  4.         <value>hadoop102:9868</value>
  5.     </property>
  6.     <!-- 指定HDFS副本的数量 -->
  7.     <property>
  8.         <name>dfs.replication</name>
  9.         <value>1</value>
  10.     </property>

③ YARN 配置文件

配置 yarn-site.xml

  1. <property>
  2.         <name>yarn.nodemanager.aux-services</name>
  3.         <value>mapreduce_shuffle</value>
  4.     </property>
  5.     <property>
  6.         <name>yarn.resourcemanager.hostname</name>
  7.         <value>hadoop101</value>
  8.     </property>
  9.     <property>
  10.         <name>yarn.nodemanager.env-whitelist</name>
  11.         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  12.     </property>
  13.     <property>
  14.         <name>yarn.scheduler.minimum-allocation-mb</name>
  15.         <value>512</value>
  16.     </property>
  17.     <property>
  18.         <name>yarn.scheduler.maximum-allocation-mb</name>
  19.         <value>4096</value>
  20.     </property>
  21.     <property>
  22.         <name>yarn.nodemanager.resource.memory-mb</name>
  23.         <value>4096</value>
  24.     </property>
  25.     <property>
  26.         <name>yarn.nodemanager.pmem-check-enabled</name>
  27.         <value>false</value>
  28.     </property>
  29.     <property>
  30.         <name>yarn.nodemanager.vmem-check-enabled</name>
  31.         <value>false</value>
  32.     </property>

④ MapReduce 配置文件

配置mapred-site.xml

  1. <property>
  2.         <name>mapreduce.framework.name</name>
  3.         <value>yarn</value>
  4.     </property>

⑤ 配置 workers（原slaves）

  1. [root@hadoop100 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
  2. hadoop100
  3. hadoop101
  4. hadoop102

⑥ 修改启动文件
在start-dfs.sh、stop-dfs.sh头部添加:

  1. HDFS_DATANODE_USER=root
  2. HADOOP_SECURE_DN_USER=hdfs
  3. HDFS_NAMENODE_USER=root
  4. HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh、stop-yarn.sh头部添加:

  1. YARN_RESOURCEMANAGER_USER=root
  2. HADOOP_SECURE_DN_USER=yarn
  3. YARN_NODEMANAGER_USER=root

1.1.3 启动集群

① 如果集群是第一次启动，需要在 Hadoop100 节点格式化 NameNode

  1. [root@hadoop100 hadoop-3.1.3]$ bin/hdfs namenode -format

② 启动 HDFS

  1. [root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh

③ 启动 YARN

  1. [root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh

④ Web 端查看 HDFS 的 Web 页面：

http://hadoop100:9870/
在这里插入图片描述

1.1.4 集群基本测试

① 上传文件到集群

  1. [root@hadoop102 ~]# hadoop fs -mkdir -p /user/root/input
  3. [root@hadoop102 ~]# hadoop fs -put ./test.txt /user/root/input

②下载

  1. [root@hadoop102 ~]# bin/hadoop fs -get /user/root/input ./

③ 执行 wordcount 程序

  1. [root@hadoop102 hadoop-3.1.3]#hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
  2. wordcount /user/root/input /user/root/output

Hadoop3.0的HDFS Web页面提供更多的操作，例如文件预览等等…
在这里插入图片描述

1.2 Hadoop 项目经验

1.2.1 HDFS 存储多目录

若HDFS存储空间紧张，需要对DataNode进行磁盘扩展。

① 在 DataNode 节点增加磁盘并进行挂载
在这里插入图片描述
② 在 hdfs-site.xml 文件中配置多目录，注意新挂载磁盘的访问权限问题

  1. <property>
  2.     <name>dfs.datanode.data.dir</name>
  3.     <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,
  4.         file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
  5. </property>

③ 增加磁盘后，保证每个目录数据均衡

开启数据均衡命令：bin/start-balancer.sh –threshold 10；

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

停止数据均衡命令：bin/stop-balancer.sh

1.2.2 LZO 压缩配置

Hadoop本身并不支持LZO压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，将编译好后的hadoop-lzo-0.4.20.jar放入hadoop-3.1.3/share/hadoop/common/

① core-site.xml 增加配置支持 LZO 压缩

  1. <property>
  2.     <name>io.compression.codecs</name>
  3.     <value>
  4.         org.apache.hadoop.io.compress.GzipCodec,
  5.         org.apache.hadoop.io.compress.DefaultCodec,
  6.         org.apache.hadoop.io.compress.BZip2Codec,
  7.         org.apache.hadoop.io.compress.SnappyCodec,
  8.         com.hadoop.compression.lzo.LzoCodec,
  9.         com.hadoop.compression.lzo.LzopCodec
  10.     </value>
  11. </property>
  13. <property>
  14.     <name>io.compression.codec.lzo.class</name>
  15.     <value>com.hadoop.compression.lzo.LzoCodec</value>
  16. </property>

② 同步 hadoop-lzo-0.4.20.jar 和 core-site.xml 至其他集群节点

③ 重启集群

1.2.3 LZO 创建索引

LZO压缩文件的可切片特性依赖于其索引，故我们需要手动为LZO压缩文件创建索引。若无索引，则LZO文件的切片只有一个。

① 将 bigtable.lzo（150M）上传到集群的根目录

  1. [root@hadoop100 module]# hadoop fs -mkdir /input
  2. [root@hadoop100 module]# hadoop fs -put bigtable.lzo /input

② 执行 wordcount 程序

  1. [root@hadoop100 hadoop-3.1.3]# share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
  2. wordcount /input /output2

在这里插入图片描述
③ 对上传的 LZO 文件建索引

  1. [root@hadoop100 common]# hadoop jar hadoop-lzo-0.4.20.jar \
  2. com.hadoop.compression.lzo.Dist ributedLzoIndexer /input/bigtable.lzo

④ 再次执行 wordcount 程序

  1. [root@hadoop100 hadoop-3.1.3]# share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
  2. wordcount /input /output2

⑤

1.2.4 基准测试

① 测试 HDFS 写性能

测试内容：向HDFS集群写10个128M的文件

  1. [root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar \
  2. TestDFSIO -write -nrFiles 10 -fileSize 128MB
  4. 2020-04-16 13:41:24,724 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
  5. 2020-04-16 13:41:24,724 INFO fs.TestDFSIO:             Date & time: Thu Apr 16 13:41:24 CST 2020
  6. 2020-04-16 13:41:24,724 INFO fs.TestDFSIO:         Number of files: 10
  7. 2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Total MBytes processed: 1280
  8. 2020-04-16 13:41:24,725 INFO fs.TestDFSIO:       Throughput mb/sec: 8.88
  9. 2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Average IO rate mb/sec: 8.96
  10. 2020-04-16 13:41:24,725 INFO fs.TestDFSIO:   IO rate std deviation: 0.87
  11. 2020-04-16 13:41:24,725 INFO fs.TestDFSIO:      Test exec time sec: 67.61

② 测试 HDFS 读性能

测试内容：读取HDFS集群10个128M的文件

  1. [root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar \
  2. TestDFSIO -read -nrFiles 10 -fileSize 128MB
  4. 2020-04-16 13:43:38,857 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
  5. 2020-04-16 13:43:38,858 INFO fs.TestDFSIO:   Date & time: Thu Apr 16 13:43:38 CST 2020
  6. 2020-04-16 13:43:38,859 INFO fs.TestDFSIO:         Number of files: 10
  7. 2020-04-16 13:43:38,859 INFO fs.TestDFSIO:  Total MBytes processed: 1280
  8. 2020-04-16 13:43:38,859 INFO fs.TestDFSIO:       Throughput mb/sec: 85.54
  9. 2020-04-16 13:43:38,860 INFO fs.TestDFSIO:  Average IO rate mb/sec: 100.21
  10. 2020-04-16 13:43:38,860 INFO fs.TestDFSIO:   IO rate std deviation: 44.37
  11. 2020-04-16 13:43:38,860 INFO fs.TestDFSIO:      Test exec time sec: 53.61

③ 删除测试生成数据

  1. [root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar \
  2. TestDFSIO -clean

④ 使用 Sort 程序评测 MapReduce

1、使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数

  1. [root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
  2. randomwriter random-data

2、执行Sort程序

  1. [root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
  2. sort random-data sorted-data

3、验证数据是否真正排好序了

  1. [root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar \
  2. testmapredsort -sortInput random-data -sortOutput sorted-data

1.2.5 Hadoop 参数调优

① HDFS 参数调优 hdfs-site.xml

dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群规模为8台时，此参数设置为60

The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.
NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20logN，N为集群大小。

② YARN 参数调优 yarn-site.xml

【情景描述】：总共7台机器，每天几亿条数据，数据源->Flume->Kafka->HDFS->Hive

【面临问题】：数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

【解决办法】：内存利用率不够。这个一般是Yarn的2个配置造成的，单个任务可以申请的最大内存大小，和Hadoop单个节点可用内存大小。调节这两个参数能提高系统内存的利用率。

  • yarn.nodemanager.resource.memory-mb：表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
  • yarn.scheduler.maximum-allocation-mb：单个任务可申请的最多物理内存量，默认是8192（MB）。

③ Hadoop 宕机

  • 如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）
  • 如果写入文件过量造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。高峰期的时候用Kafka进行缓存，高峰期过去数据同步会自动跟上。

二、ZooKeeper集群安装

① 集群规划：在hadoop100、hadoop101和hadoop102三个节点上部署Zookeeper。

② 解压安装

  1. [root@hadoop100 software]# tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

③ 配置服务器编号

  1. [root@hadoop100 zookeeper-3.5.7]# mkdir zkData && cd zkData
  3. [root@hadoop100 zkData]# vim myid
  4. 0

④ 配置 zoo.cfg 文件

  1. [root@hadoop100 conf]# mv zoo_sample.cfg zoo.cfg
  3. [root@hadoop100 conf]# vim zoo.cfg
  4. dataDir=/opt/module/zookeeper-3.5.7/zkData
  5. server.0=hadoop100:2888:3888
  6. server.1=hadoop101:2888:3888
  7. server.2=hadoop102:2888:3888

配置参数解析：server.A=B:C:D

  • A是一个数字，表示这个是第几号服务器
  • B是这个服务器的地址
  • C是这个服务器Follower与集群中的Leader服务器交换信息的端口
  • D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口

⑤ 群起脚本

  1. #!/bin/bash
  3. case $1 in
  4. "start"){ 
  5.     for i in hadoop100 hadoop101 hadoop102
  6.     do
  7.         echo "------------- $i -------------"
  8.         ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
  9.     done 
  10. };;
  11. "stop"){ 
  12.     for i in hadoop100 hadoop101 hadoop102
  13.     do
  14.         echo "------------- $i -------------"
  15.         ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
  16.     done
  17. };;
  18. "status"){ 
  19.     for i in hadoop100 hadoop101 hadoop102
  20.     do
  21.         echo "------------- $i -------------"
  22.         ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
  23.     done
  24. };;
  25. esac

发表评论

表情：
评论列表 （有 0 条评论，188人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Hadoop集群环境搭建

    1.准备Linux环境（如果是学生的话建议去买一台腾讯云的主机，学生购机每月1元，省去了好多麻烦事） 1.0点击VMware快捷方式，右键打开文件所在位

    Myth丶恋晨Myth丶恋晨/ 0 赞/ 306 阅读