Sqoop导入导出的时候总是出现等待5分钟的问题解决办法

蔚落 2022-10-23 12:41 325阅读 0赞

### 25.25.27 Sqoop导入导出的时候总是出现等待5分钟的问题解决办法： ###

HDP3.1 中的 YARN 的 timeline server 默认使用内置的 HBase，不知道为什么，总是过几天就挂掉，暂时还没找到原因。后来想着让它使用外部的 HBase 看看会不会还有此问题。配置如下：  
前提： Ambari 中已经装好 YARN 和 HBase 了。  
**（1）** 把 YARN 的配置页中 Advanced yarn-hbase-env 部分里的下面三个值改成 HBase 配置页里相应的值。然后重启 YARN 的服务。

hbase.zookeeper.quorum    拷贝hbase中的设置
    hbase.zookeeper.property.clientPort      2181
    zookeeper.znode.parent

**（2）** 登陆到某台机器，执行下面的命令，创建需要的表。

export HBASE_CLASSPATH_PREFIX={ hdp-dir}/hadoop-yarn/timelineservice/*
    
    { hdp-dir}/hbase/bin/hbase org.apache.hadoop.yarn.server.timelineservice.storage.TimelineSchemaCreator -Dhbase.client.retries.number=35 -create -s

上面\{hdp-dir\} 是HDP 安装的目录，我的是 /usr/hdp/3.1.4.0-315

笔者的执行语句如下：

export HBASE_CLASSPATH_PREFIX=/usr/hdp/3.1.4.0-315/hadoop-yarn/timelineservice/*

/usr/hdp/3.1.4.0-315/hbase/bin/hbase org.apache.hadoop.yarn.server.timelineservice.storage.TimelineSchemaCreator -Dhbase.client.retries.number=35 -create -s

**（3）** 登陆 HBase shell，给 yarn 用户赋权限。

grant 'yarn', 'RWXCA'    （笔者没有设置）

转载于:https://www.cnblogs.com/langfanyun/p/10821415.html

发表评论取消回复

表情：

评论列表（有 0 条评论，325人围观）

还没有评论，来说两句吧...

相关阅读

相关记录sqoop导入过程中出现的问题

ava.io.IOException: No columns to generate for ClassWriter 可以通过添加这个–driver com.mysql...

水深无声/ 2024年04月17日 05:29/ 0 赞/ 87 阅读

相关详解：Sqoop的导入和导出数据

一：导入数据导入：RDBMS ==> Hadoop [hadoop@hadoop001 bin]$ pwd /home/hadoop/app/sq

r囧r小猫/ 2024年02月19日 20:20/ 0 赞/ 58 阅读

相关【Sqoop】Sqoop辅助工具——数据的导入与导出

Sqoop 概述安装基本使用 sqoop-import 导入 sqoop-export 导出

r囧r小猫/ 2023年10月05日 12:23/ 0 赞/ 8 阅读

相关 sqoop数据导出导入

一 sqoop简介： Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…) 间进行数据的传递，可以将一

- 日理万妓/ 2023年07月08日 11:24/ 0 赞/ 32 阅读

相关二、Sqoop 的导入导出及任务脚本

目录一、导入数据 1、RDBMS 到 HDFS 2、RDBMS 到 Hive 3、RDBMS 到 Hbase 三、导出数据 1、HIVE/HDFS 到 RDBMS

- 日理万妓/ 2023年06月02日 07:56/ 0 赞/ 18 阅读

相关 Sqoop导入导出的时候总是出现等待5分钟的问题解决办法

25.25.27 Sqoop导入导出的时候总是出现等待5分钟的问题解决办法： HDP3.1 中的 YARN 的 timeline server 默认使用内置的 HBase

蔚落/ 2022年10月23日 12:41/ 0 赞/ 326 阅读

相关 Sqoop导入导出Null存储一致性问题

Hive中的Null在底层是以“\\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用–input-null-string和–i

叁歲伎倆/ 2022年09月03日 14:13/ 0 赞/ 319 阅读

相关 Sqoop导入导出的几个例子

导入例一：从DBMS到HDFS 1.node4下启动mysql service mysqld start mysql -u root -p 输入密码：123

朱雀/ 2022年06月03日 06:53/ 0 赞/ 452 阅读

相关 Hive安装配置启动的时候出现的问题以及解决办法

[ERROR] Terminal initialization failed; falling back to unsupported java.lang.In

快来打我*/ 2022年04月16日 00:40/ 0 赞/ 734 阅读

相关 sqoop的导入导出

1.Sqoop的数据导入在mysql中有一个库userdb中三个表：emp, emp\_add和emp\_contact 表emp: <table style="mar

古城微笑少年丶/ 2022年03月15日 11:14/ 0 赞/ 358 阅读