MapReduce的数据压缩

妖狐艹你老母 2023-10-04 17:04 5阅读 0赞

### MapReduce进行数据压缩 ###

压缩方式有snappy、lzo、bzip2等

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器

<table> 
 <thead> 
  <tr> 
   <th>压缩格式</th> 
   <th>对应的编码/解码器</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DEFLATE</td> 
   <td>org.apache.hadoop.io.compress.DefaultCodec</td> 
  </tr> 
  <tr> 
   <td>gzip</td> 
   <td>org.apache.hadoop.io.compress.GzipCodec</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>org.apache.hadoop.io.compress.BZip2Codec</td> 
  </tr> 
  <tr> 
   <td>LZO</td> 
   <td>com.hadoop.compression.lzo.LzopCodec</td> 
  </tr> 
  <tr> 
   <td>Snappy</td> 
   <td>org.apache.hadoop.io.compress.SnappyCodec</td> 
  </tr> 
 </tbody> 
</table>

压缩性能的比较：

<table> 
 <thead> 
  <tr> 
   <th>压缩算法</th> 
   <th>原始文件大小</th> 
   <th>压缩文件大小</th> 
   <th>压缩速度</th> 
   <th>解压速度</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>gzip</td> 
   <td>8.3GB</td> 
   <td>1.8GB</td> 
   <td>17.5MB/s</td> 
   <td>58MB/s</td> 
  </tr> 
  <tr> 
   <td>bzip2</td> 
   <td>8.3GB</td> 
   <td>1.1GB</td> 
   <td>2.4MB/s</td> 
   <td>9.5MB/s</td> 
  </tr> 
  <tr> 
   <td>LZO</td> 
   <td>8.3GB</td> 
   <td>2.9GB</td> 
   <td>49.3MB/s</td> 
   <td>74.6MB/s</td> 
  </tr> 
 </tbody> 
</table>

MapReduce的主要压缩过程主要有三个阶段

map之前：要考虑数据量的大小，数据量小的，就不需要考虑过多的切片，主要追求的是快速，可以选择压缩方式snappy或者lzo。数据量大的话，考虑到切片，可以选择lzo或者bzip2

map之后：map之后的数据要经历reduce聚合，主要考虑速度，所以选择snappy或者lzo

reduce之后：需要看具体的需求，类似于持久保存，那就需要看数据量的大小，数据量小的，就不需要考虑过多的切片，主要追求的是快速，可以选择压缩方式snappy或者lzo。数据量大的话，考虑到切片，可以选择lzo或者bzip2  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/cd6c0e394c104156bc5fcdcbb0eb5dda.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16