大数据之CDH数仓(6) | 数仓搭建环境准备

￡神魔★判官ぃ 2022-12-11 13:55 399阅读 0赞

目录

  • Flume安装部署
  • Sqoop安装部署
  • 配置Hadoop支持LZO
  • 修改yarn配置参数

Flume安装部署

1）添加服务
在这里插入图片描述
2）选择Flume
在这里插入图片描述
3）选择依赖
在这里插入图片描述
4）选择部署节点
在这里插入图片描述
5）完成
在这里插入图片描述

Sqoop安装部署

1）添加服务
在这里插入图片描述
2）选择Sqoop
在这里插入图片描述

3）选择部署节点
在这里插入图片描述
4）完成
在这里插入图片描述

配置Hadoop支持LZO

1）点击主机，在下拉菜单中点击Parcel
在这里插入图片描述
2）点击配置
在这里插入图片描述
3）加上gplextras parcel库的url
本地url:http://hadoop102:8900/cloudera-repos/gplextras6/6.2.1/parcels/
远程url: https://archive.cloudera.com/gplextras6/6.2.1/parcels/
在这里插入图片描述
4）静待片刻，Parcel列表中出现了GPLEXTERAS，依次点击下载、分配、激活。
在这里插入图片描述

5）修改HDFS配置
在HDFS配置项中搜索“压缩编码解码器”，加入com.hadoop.compression.lzo.LzopCodec
在这里插入图片描述
6）修改Hive配置
在Hive配置项中搜索“Hive 辅助 JAR 目录”，加入/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib
在这里插入图片描述
7）修改Sqoop配置
在Sqoop的配置项中搜索“sqoop-conf/sqoop-env.sh 的 Sqoop 1 Client 客户端高级配置代码段（安全阀）”，加入以下字段

  1. HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*
  2. JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native

在这里插入图片描述

修改yarn配置参数

1）在yarn配置项中搜索“yarn.nodemanager.resource.memory-mb”，修改成4G。
在这里插入图片描述

2）在yarn配置项中搜索“yarn.scheduler.maximum-allocation-mb”，修改成2G。
在这里插入图片描述
3）重启相关组件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，399人围观）

还没有评论，来说两句吧...

相关阅读