hive中的支持的存储格式和压缩格式

客官°小女子只卖身不卖艺 2022-03-28 15:53 265阅读 0赞

一、 存储格式 hive默认支持三种从存储格式，当然用户根据需要可以自定义存储格式。

<table style="width:50%"> 
 <tbody> 
 <tr> 
 <td>存储格式</td> 
 <td>优点</td> 
 <td>缺点</td> 
 </tr> 
 <tr> 
 <td>SEQUENCEFILE</td> 
 <td>可压缩可分割二进制文件</td> 
 <td> 需要一个合并文件的过程， 且合并后的文件将不方便查看 </td> 
 </tr> 
 <tr> 
 <td>TEXTFILE</td> 
 <td> 简单 方便查看 </td> 
 <td></td> 
 </tr> 
 <tr> 
 <td> RCFILE </td> 
 <td> 按列查找，理论上对于宽表采用这个比较好 </td> 
 <td> 比较新,还没有广泛应用 </td> 
 </tr> 
 </tbody> 
</table>

二、压缩格式

<table> 
 <tbody> 
 <tr> 
 <td>压缩格式</td> 
 <td>工具</td> 
 <td>算法</td> 
 <td>文件扩展名</td> 
 <td>多文件</td> 
 <td>可分割性</td> 
 </tr> 
 <tr> 
 <td>DEFLATE*</td> 
 <td>无</td> 
 <td>DEFLATE</td> 
 <td>.deflate</td> 
 <td>不</td> 
 <td>不</td> 
 </tr> 
 <tr> 
 <td>Gzip</td> 
 <td>gzip</td> 
 <td>DEFLATE</td> 
 <td>.gz</td> 
 <td>不</td> 
 <td>不</td> 
 </tr> 
 <tr> 
 <td>ZIP</td> 
 <td>zip</td> 
 <td>DEFLATE</td> 
 <td>.zip</td> 
 <td>是</td> 
 <td>是，在文件范围内</td> 
 </tr> 
 <tr> 
 <td>bzip2</td> 
 <td>bzip2</td> 
 <td>bzip2</td> 
 <td>.bz2</td> 
 <td>不</td> 
 <td>是</td> 
 </tr> 
 <tr> 
 <td>LZO</td> 
 <td>lzop</td> 
 <td>LZO</td> 
 <td>.lzo</td> 
 <td>不</td> 
 <td>不</td> 
 </tr> 
 </tbody> 
</table>

三、例子

1.  CREATE EXTERNAL TABLE src( key string, value string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '5' LINES TERMINATED BY '\\n'STORED AS RCFileALTER TABLE src SET SERDEPROPERTIES ('serialization.null.format'='');  
    
2.  set mapred.reduce.tasks=200;set io.sort.mb=500;set mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec;INSERT OVERWRITE TABLE src\_bzip2SELECT \* FROM src SORT BY key;