Sqoop

矫情吗；* 2021-12-03 07:01 294阅读 0赞

sqoop  
flume数据采集 采集日志数据  
sqoop数据迁移 hdfs->mysql  
azkaban任务调度 flume->hdfs->shell->hive->sql->BI  
sqoop数据迁移=mapreduce  
处理离线数据  
整个过程就是数据导入处理导出过程  
直接使用map  
sqoop作用：简化开发  
mysql->hdfs  
mapreduce  
sqoop!  
概述：  
Apache Sqoop（TM）是一种工具，用于在Apache Hadoop和结构化数据存储（如关  
系数据库）之间高效传输批量数据 。数据迁移！  
Sqoop于2012年3月成功从孵化器毕业，现在是一个顶级Apache项目： 更多信息  
sqoop安装部署  
1）下载  
2）上传  
3）解压  
4）重命名  
mv sqoop-env-template.sh sqoop-env.sh  
5）添加配置信息  
export HADOOP\_COMMON\_HOME=/root/hd/hadoop-2.8.4  
export HADOOP\_MAPRED\_HOME=/root/hd/hadoop-2.8.4  
export HIVE\_HOME=/root/hd/hive  
export ZOOCFGDIR=/root/hd/zookeeper-3.4.10/conf  
6）启动查看版本号  
bin/sqoop version  
sqoop的import  
import导入：mysql->hdfs  
export导出：hdfs->mysql  
mysql->hdfs操作：  
1）导入mysql驱动到sqoop/lib下  
2）命令操作  
bin/sqoop import  
\--connect jdbc:mysql://hd-01:3306/sqoop  
\--username root  
\--password root  
\--table user  
\--target-dir /sqoop/datas  
\--num-mappers 1  
\--fields-terminated-by "\\t"  
注意：如果显示mysql的访问权限问题，需要设置mysql的用户权限：所在库 mysql库  
的user表  
update user set host='%' where host='localhost';  
delete from user where Host='127.0.0.1';  
delete from user where Host='hd-01';  
delete from user where Host='::1';  
flush privileges;  
使用query对数据进行过滤：  
bin/sqoop import  
\--connect jdbc:mysql://hd-01:3306/sqoop  
\--username root  
\--password root  
\--target-dir /sqoop/selectimport  
\--num-mappers 1  
\--fields-terminated-by "\\t"  
\--query 'select \* from user where id<=1 and $CONDITIONS'

转载于:https://www.cnblogs.com/jareny/p/10799677.html