hive 和hadoop数据压缩与存储格式选择

以你之姓@ 2022-03-09 03:56 451阅读 0赞

**hive和hadoop 数据压缩与存储格式选择**

概述  
为什么会出现需要对文件进行压缩？   
在Hadoop中，文件需要存储、传输、读取磁盘、写入磁盘等等操作，而文件的大小，直接决定了这些这些操作的速度。

压缩在大数据中的使用

为什么需要压缩？

1） 存储

2） 网络/磁盘IO

常见压缩方式、压缩比、压缩解压缩时间、是否可切分

> 原文件：1403M
> 
> Snappy 压缩：701M，压缩时间：6.4s，解压时间：19.8s，不可切分
> 
> LZ4 压缩：693M，压缩时间：6.4s，解压时间：2.36s，不可切分
> 
> LZO 压缩：684M，压缩时间：7.6s，解压时间：11.1s，带序号可切分
> 
> GZIP 压缩：447M，压缩时间：85.6s，解压时间：21.8s，不可切分
> 
> BZIP2：压缩：390M，压缩时间：142.3s，解压时间：62.5s，可切分
> 
> 总结：压缩比和压缩时间成反比，压缩比越小，耗费时间越大

两个矛盾：

耗费CPU、时间与存储空间、传输速度、IO的矛盾   
压缩比与压缩、解压缩时间的矛盾   
ps：追求合适场景使用合适方式

1)为什么压缩

2) 如何选择压缩

3）压缩率大概是多少

4）如何在MR中使用压缩

5）如何在hive中使用压缩（hive-site.xml 层面，执行SQL层面，个人推荐SQL层次使用压缩）

图解MapReduce

![20180309180710779][]

**1.第一次传入压缩文件，应选用可以切片的压缩方式，否则整个文件将只有一个Map执行**

**2.第二次压缩应选择压缩解压速度快的压缩方式**

**3.第三次压缩有两种场景分别是：一.当输出文件为下一个job的输入，选择可切分的压缩方式例如：BZip2。二.当输出文件直接存到HDFS，选择压缩比高的压缩方式。**

### hive参数 ###

> hive.exec.compress.output 设置是否压缩
> 
> mapreduce.output.fileoutputformat.compress.codec 设置压缩Reduce类型输出
> 
> hive.intermediate.compression.codec 设置中间Map压缩类型
> 
> 可选类型：
> 
> org.apache.hadoop.io.compress.DefaultCodec
> 
> org.apache.hadoop.io.compress.GzipCodec
> 
> org.apache.hadoop.io.compress.BZip2Codec
> 
> com.hadoop.compression.lzo.LzoCodec
> 
> org.apache.hadoop.io.compress.Lz4Codec
> 
> org.apache.hadoop.io.compress.SnappyCodec

###    定义压缩方式的选择 ###

**1)  写进相关配置文件中**

> core-site.xml   
> 
>   
> <property>  
> <name>io.compression.codecs</name>  
> <value>  
> org.apache.hadoop.io.compress.GzipCodec,  
> org.apache.hadoop.io.compress.DefaultCodec,  
> org.apache.hadoop.io.compress.BZip2Codec,  
> org.apache.hadoop.io.compress.SnappyCodec  
> </value>  
> </property> 
> 
>   
> mapred-site.xml   switch+codec  
> <property>  
> <name>mapreduce.output.fileoutputformat.compress</name>  
> <value>true</value>  
> </property>
> 
>   
> <property>  
> <name>mapreduce.output.fileoutputformat.compress.codec</name>  
> <value>org.apache.hadoop.io.compress.BZip2Codec</value>  
> </property>

**2)  第二种方式 在 hive 客户端代码层实现**

> mapreduce.map.output.fileoutputformat.compress
> 
> SET hive.exec.compress.output=true;  
> SET mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.BZip2Codec;
> 
>   
> create table page\_views\_bzip2  
> ROW FORMAT DELIMITED FIELDS TERMINATED BY "\\t"  
> as select \* from page\_views;
> 
>   
> create table page\_views\_snappy  
> ROW FORMAT DELIMITED FIELDS TERMINATED BY "\\t"  
> as select \* from page\_views;

### **===存储格式在hive 中应用=== ** ###

>   
> file\_format:  
>  :  
>  | SEQUENCEFILE  
>  | TEXTFILE -- (Default, depending on hive.default.fileformat configuration)  
>  | RCFILE    -- (Note: Available in Hive 0.6.0 and later)  
>  | ORC    -- (Note: Available in Hive 0.11.0 and later)  
>  | PARQUET? -- (Note: Available in Hive 0.13.0 and later)  
>  | AVRO    -- (Note: Available in Hive 0.14.0 and later)  
>  | INPUTFORMAT input\_format\_classname OUTPUTFORMAT output\_format\_classname

** 行式存储  
 1)一行记录的所有记录字段都存放在一个block中  
 2)多列加载  
 3)压缩比  
   
 列式存储  
 1)只加载需要的列  
 2) 更高的压缩比  
 缺点：重构**  
   
 **总结：  
 1) 磁盘IO、网络IO  
 2) 节省空间  
 -->> 提高查询性能(向量化)**  
   
**数据存储  
 \* 按行存储数据  
  SEQUENCEFILE /TEXTFILE  
 \* 按列存储数据  
  RC/ORC/PARQUET/AVRO**

**1、创建存储类型为textfile的hive表**

> **create table page\_views(  
> track\_time string,  
> url string,  
> session\_id string,  
> referer string,  
> ip string,  
> end\_user\_id string,  
> city\_id string  
> )  
> ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\t' STORED AS TEXTFILE ;  
> load data local inpath '/opt/datas/page\_views.data' into table page\_views ;**

**2、创建存储类型为orc的hive表**

>  [https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC][https_cwiki.apache.org_confluence_display_Hive_LanguageManual_ORC] 官方相关文档  
> File formats are specified at the table (or partition) level. You can specify the ORC file format with HiveQL statements such as these:
> 
> CREATE TABLE ... STORED AS ORC  
> ALTER TABLE ... \[PARTITION partition\_spec\] SET FILEFORMAT ORC  
> SET hive.default.fileformat=Orc  
> The parameters are all placed in the TBLPROPERTIES (see Create Table). They are:

**文件格式数据不能直接导入到seq或是RC或是orc ,**

**必须要先讲文本格式数据导入到textfile表中,再insert into 到seq/rc/orc 表中**

RC三种创建/使用方式:

> 1, STORED AS ORC;  
> 2, ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' with serdeproperties('serialization.null.format' = '') STORED AS ORC;  
> 3, ROW FORMAT DELIMITED NULL DEFINED AS '' STORED AS ORC;

> create table page\_views\_orc(  
> track\_time string,  
> url string,  
> session\_id string,  
> referer string,  
> ip string,  
> end\_user\_id string,  
> city\_id string  
> )  
> ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\t' STORED AS orc ;
> 
> 导入数据：  
> **insert into table page\_views\_orc select \* from page\_views ;**

**3、创建存储类型为**parquet**的hive表**

> create table page\_views\_parquet(  
> track\_time string,  
> url string,  
> session\_id string,  
> referer string,  
> ip string,  
> end\_user\_id string,  
> city\_id string  
> )  
> ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\t' STORED AS PARQUET ;
> 
> 导入数据  
> **insert into table page\_views\_parquet select \* from page\_views ;**

### **===存储格式在Hadoop 中应用=== ** ###

### ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70][] ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 3][]  
参考：https://blog.csdn.net/wjl7813/article/details/79285542

[20180309180710779]: /images/20220309/269d48db9f5d43d08c9f6812af3ccc30.png
[https_cwiki.apache.org_confluence_display_Hive_LanguageManual_ORC]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70]: /images/20220309/f7118bacd6f54d709a8f5bee489c16a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 1]: /images/20220309/0277aa499f854a738f45376db00220d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 2]: /images/20220309/7c3c5f076cd84a4c91d823083160a219.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 3]: /images/20220309/3fa7f6129cb9495fb5e1c07f22ef6c2d.png