Impala中的parquet存储压缩

向右看齐 2023-06-12 04:18 35阅读 0赞

在Impala中，parquet存储格式的默认压缩方式为snappy。通过以下命令可以修改该配置：

set compression\_code=snappy;  (snappy,none,gzip...)

**在hive中通过命令查看该表使用了哪种压缩方式：**

desc extended tablename;

inputFormat:org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat, compressed:false

![2019103113515489.png][]

hive命令的方式目前还有bug，在社区中对应的问题为HIVE-2250

参考：

[https://issues.apache.org/jira/browse/HIVE-2250][https_issues.apache.org_jira_browse_HIVE-2250]

**通过parquet-tools查看parquet文件信息：**

要想确认Parquet文件是否被压缩可以使用CDH提供的工具**parquet-tools**，它可以查看一个Parquet的详细元数据信息，如字段信息，是否被压缩以及压缩格式等。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70][]

*./parquet-tools meta d34b421236b6ffa2-98b4828e000000e3\_448743101\_data.0.parq*

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1][]

可以看到我们的parquet文件是以SNAPPY默认压缩方式进行的压缩。

//查看parquet文件中字段gender\_name的dump信息

*parquet\_tools dump -c gender\_name -d /path/to/parquetfile*

//查看parquet文件的dump信息

*parquet\_tools dump  -d /path/to/parquetfile*

//查看parquet文件的前10行内容

*parquet\_tools head  -n 10 /path/to/parquetfile*

//查看parquet文件的meta信息

*parquet\_tools meta /path/to/parquetfile*

//查看parquet文件的schema信息

*parquet\_tools schema /path/to/parquetfile*

parquet\_tools可执行文件依赖于***parquet-tools-$\{PARQUET\_VERSION\}.jar***，这可以通过查看parquet\_tools的内容知道。通过该jar包可以轻易的在应用中嵌入该功能而免去大量工作去解析代码。

[2019103113515489.png]: /images/20230531/457f9c3b14834f91b6aac5aeedd5aad4.png
[https_issues.apache.org_jira_browse_HIVE-2250]: https://issues.apache.org/jira/browse/HIVE-2250
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70]: /images/20230531/f5a5d5b2e0e44cdbb2e5109b0181311c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1]: /images/20230531/edb89171a9854d18a5e6769c96115851.png