hadoop压缩

电玩女神 2022-11-29 11:38 171阅读 0赞

## 1、MR支持的压缩编码 ##

<table> 
 <tbody> 
  <tr> 
   <td>压缩格式</td> 
   <td>工具</td> 
   <td>算法</td> 
   <td>文件扩展名</td> 
   <td>是否可切分</td> 
  </tr> 
  <tr> 
   <td>DEFLATE</td> 
   <td>无</td> 
   <td>DEFLATE</td> 
   <td>.deflate</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>Gzip</td> 
   <td>gzip</td> 
   <td>DEFLATE</td> 
   <td>.gz</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>bzip2</td> 
   <td>bzip2</td> 
   <td>.bz2</td> 
   <td><strong>是</strong></td> 
  </tr> 
  <tr> 
   <td>LZO</td> 
   <td>lzop</td> 
   <td>LZO</td> 
   <td>.lzo</td> 
   <td><strong>是</strong></td> 
  </tr> 
  <tr> 
   <td>Snappy</td> 
   <td>无</td> 
   <td>Snappy</td> 
   <td>.snappy</td> 
   <td>否</td> 
  </tr> 
 </tbody> 
</table>

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：

<table> 
 <tbody> 
  <tr> 
   <td>压缩格式</td> 
   <td>对应的编码/解码器</td> 
  </tr> 
  <tr> 
   <td>DEFLATE</td> 
   <td>org.apache.hadoop.io.compress.DefaultCodec</td> 
  </tr> 
  <tr> 
   <td>gzip</td> 
   <td>org.apache.hadoop.io.compress.GzipCodec</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>org.apache.hadoop.io.compress.BZip2Codec</td> 
  </tr> 
  <tr> 
   <td>LZO</td> 
   <td>com.hadoop.compression.lzo.LzopCodec</td> 
  </tr> 
  <tr> 
   <td>Snappy</td> 
   <td>org.apache.hadoop.io.compress.SnappyCodec</td> 
  </tr> 
 </tbody> 
</table>

**压缩性能的比较：**

<table> 
 <tbody> 
  <tr> 
   <td>压缩算法</td> 
   <td>原始文件大小</td> 
   <td>压缩文件大小</td> 
   <td>压缩速度</td> 
   <td>解压速度</td> 
  </tr> 
  <tr> 
   <td>gzip</td> 
   <td>8.3GB</td> 
   <td>1.8GB</td> 
   <td>17.5MB/s</td> 
   <td>58MB/s</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>8.3GB</td> 
   <td>1.1GB</td> 
   <td>2.4MB/s</td> 
   <td>9.5MB/s</td> 
  </tr> 
  <tr> 
   <td>LZO</td> 
   <td>8.3GB</td> 
   <td>2.9GB</td> 
   <td>49.3MB/s</td> 
   <td>74.6MB/s</td> 
  </tr> 
 </tbody> 
</table>

[http://google.github.io/snappy/][http_google.github.io_snappy]

On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.

## 2、压缩方式选择 ##

### 2.1 Gzip压缩 ###

![format_png][]

### 2.2 Bzip2压缩 ###

![format_png 1][]

### 2.3 LZO压缩 ###

![format_png 2][]

### 2.4 Snappy压缩 ###

![format_png 3][]

## 3、压缩位置的选择 ##

![format_png 4][]

## 4、压缩参数配置 ##

<table> 
 <tbody> 
  <tr> 
   <td>参数</td> 
   <td>默认值</td> 
   <td>阶段</td> 
   <td>建议</td> 
  </tr> 
  <tr> 
   <td>io.compression.codecs &nbsp;&nbsp;<br>（在core-site.xml中配置）</td> 
   <td>org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec,<br>org.apache.hadoop.io.compress.Lz4Codec</td> 
   <td>输入压缩</td> 
   <td>Hadoop使用文件扩展名判断是否支持某种编解码器</td> 
  </tr> 
  <tr> 
   <td>mapreduce.map.output.compress</td> 
   <td>false</td> 
   <td>mapper输出</td> 
   <td>这个参数设为true启用压缩</td> 
  </tr> 
  <tr> 
   <td>mapreduce.map.output.compress.codec</td> 
   <td>org.apache.hadoop.io.compress.DefaultCodec</td> 
   <td>mapper输出</td> 
   <td>使用LZO、LZ4或snappy编解码器在此阶段压缩数据</td> 
  </tr> 
  <tr> 
   <td>mapreduce.output.fileoutputformat.compress</td> 
   <td>false</td> 
   <td>reducer输出</td> 
   <td>这个参数设为true启用压缩</td> 
  </tr> 
  <tr> 
   <td>mapreduce.output.fileoutputformat.compress.codec</td> 
   <td>org.apache.hadoop.io.compress. DefaultCodec</td> 
   <td>reducer输出</td> 
   <td>使用标准工具或者编解码器，如gzip和bzip2</td> 
  </tr> 
  <tr> 
   <td>mapreduce.output.fileoutputformat.compress.type</td> 
   <td>RECORD</td> 
   <td>reducer输出</td> 
   <td>SequenceFile输出使用的压缩类型：NONE和BLOCK</td> 
  </tr> 
 </tbody> 
</table>

## 5、开启Map输出阶段压缩（MR引擎） ##

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：

（1）开启hive中间传输数据压缩功能

`hive (default)>set hive.exec.compress.intermediate=true;`

（2）开启mapreduce中map输出压缩功能

`hive (default)>set mapreduce.map.output.compress=true;`

（3）设置mapreduce中map输出数据的压缩方式

`hive (default)>set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;`

（4）执行查询语句

`hive (default)> select count(ename) name from emp;`

## 6、开启Reduce输出阶段压缩 ##

当Hive将输出写入到表中时，输出内容同样可以进行压缩。

属性hive.exec.compress.output控制着这个功能

用户可能需要保持默认设置文件中的默认值false，这样默认的输出就是非压缩的纯文本文件了。

用户可以通过在查询语句或执行脚本中设置这个值为true，来开启输出结果压缩功能。

（1）开启hive最终输出数据压缩功能

`hive (default)>set hive.exec.compress.output=true;`

（2）开启mapreduce最终输出数据压缩

`hive (default)>set mapreduce.output.fileoutputformat.compress=true;`

（3）设置mapreduce最终数据输出压缩方式

`hive (default)> set mapreduce.output.fileoutputformat.compress.codec =org.apache.hadoop.io.compress.SnappyCodec;`

（4）设置mapreduce最终数据输出压缩为块压缩

`hive (default)> set mapreduce.output.fileoutputformat.compress.type=BLOCK;`

（5）测试一下输出结果是否是压缩文件

`insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;`

[http_google.github.io_snappy]: http://google.github.io/snappy/
[format_png]: /images/20221124/f5c32b2db6f94dcfa9e24c8668a7e314.png
[format_png 1]: /images/20221124/3a71ac01188f452cbbee5ec2f48cae31.png
[format_png 2]: /images/20221124/1854108fb676461ca9a26796e4fe41a6.png
[format_png 3]: /images/20221124/bdd99c4738ea43a488e520b08cf2cb7b.png
[format_png 4]: /images/20221124/bc71db910e7942b9a358dc70f6796ee2.png