Impala-shell 导入导出数据

冷不防 2023-01-08 05:18 278阅读 0赞

参考文章：[Impala-shell 导入导出数据][Impala-shell]

# Impala-shell 导入导出数据 #

> 参数说明：
> 
> • -q query （--query=query） 从命令行执行查询，不进入impala-shell
> 
> • -d default\_db （--database=default\_db） 指定数据库
> 
> • -B（--delimited）去格式化输出
> 
> • --output\_delimiter=character 指定分隔符
> 
> • --print\_header 打印列名
> 
> • -f query\_file（--query\_file=query\_file）执行查询文件，以分号分隔
> 
> • -o filename （--output\_file filename） 结果输出到指定文件

# 导出 #

## 导出结果到csv ##

impala-shell -q "select id,price,name,dtime from config.price_test limit 3" -B --output_delimiter="," --print_header -o /var/testimpalaout.csv

## 导出结果到excel ##

impala-shell -q "select id,price,name,dtime from config.price_test limit 3" -B --output_delimiter="\t" --print_header -o /var/testimpalaout.xlsx

# 导入 #

## hadoop创建文件夹 ##

hadoop fs -mkdir /tmp/price_txternal

## 本地文件上传hadoop ##

hadoop fs -put /var/testimpalaout.csv /tmp/price_txternal

## 创建临时表(无分区，普通文本表) ##

impala-shell ,进入impala-shell数据库，（分隔符，自定义）

CREATE TABLE config.price_test_ls (                                         
      id INT,                                                               
      price DOUBLE,                                                         
      name VARCHAR(200),                                                    
      dtime TIMESTAMP                                                       
    ) 
    row format delimited fields terminated by ','
    location '/tmp/price_txternal';

## 导入分区表 ##

INSERT INTO config.price_test PARTITION(DAY = 20170701, MINUTE = cast('0000' as char(4)) ) 
    SELECT 
      id,
      price,
      NAME,
      dtime 
    FROM
      config.price_test_ls

## 删除临时表 ##

drop table config.price_test_ls;

[Impala-shell]: https://www.cnblogs.com/zhangyl-/p/13121492.html