Hive表保存数据到Excel做数据比对

悠悠 2022-05-24 08:05 417阅读 0赞

由于工作需要，将一些数据库要从hive中迁移到clickhouse中，迁移完成后需要核对数据。

在此记录将hive中和clickhouse中两张表做数据对比时遇到的一些问题。

##### 1.hive 保存数据 #####

hive保存数据用的是linux下的重定向。新建一个hive查询，通过>重定向到文件

hive -e "select dt, count(*), sum(realcost) from tablename where dt>='2018-01-01' and dt <'2019-01-01'group by dt" > hivedata2018

**重定向**

重定向分为输入重定向与输出重定向。

所谓的输入重定向即输入不从键盘读入，而是从文件输入或其它。

所谓的输出重定向即不输出到终端上，而是输出到文件中去或其它。

""<"表示输入重定向运算符,  
">"表示输出重定向运算符。

"<<"这种输入告诉Shell，当前标准输入来自命令行的一对分隔号的中间内容。  
">>",用">"输出时，如果文件不存在会自动建立一个文件，如果第二次输入时，会覆盖前一次的输入内容，而">>"表示把第二次的输出内容追加到文件中去，而不是覆盖。

##### 2.调整数据的编码 #####

重定向后保存的文件默认是utf-8编码的。而Excel中一般采用GBK编码，所以要将输出的文件重编码一次。这里是将utf-8编码的文件rawdata重编码为GBK编码格式的的文件data

iconv -f UTF-8 -c -t GBK rawata >data

**iconv的用法：**  
用法： iconv \[选项...\] \[文件...\]  
Convert encoding of given files from one encoding to another.  
输入/输出格式规范：  
\-f, --from-code=NAME 原始文本编码  
\-t, --to-code=NAME 输出编码  
信息：  
\-l, --list 列举所有已知的字符集  
输出控制：  
\-c 从输出中忽略无效的字符  
\-o, --output=FILE 输出文件  
\-s, --silent suppress warnings  
\--verbose 打印进度信息  
\-?, --help 给出该系统求助列表  
\--usage 给出简要的用法信息

\-V, --version 打印程序版本号

##### 3. 对比数据的技巧 #####

由于数据量巨大，一条一条核对不现实。一次性跑过大的数据集又会取数时间过长。采用的方法是：

1.以天为粒度，用dt 去group by 然后 count（\*）去统计每天的总的数据条数。先核对数据量一致性

2.然后用sum（colname）去统计一些关键指标当天的总和。不需要去核对每条数据，只需要核对整体结果。

3.以年为单位输出一整年的每天的数据，用Excel做文本对比。这样可以在对比第一年的同时，拉去第二年的数据。

##### 4. Excel文件对比技巧 #####

参见 https://jingyan.baidu.com/article/2fb0ba408c291100f2ec5f36.html