storm里snappy数据压缩应用

迷南。 2022-05-14 08:50 194阅读 0赞

### 1、snappy介绍 ###

因为一些特殊需求，需要将数据进行压缩，压缩库有很多比如zlib、LZO、LZF、FastLZ，这里采用的是snappy

*  Snappy 在 Google 内部被广泛的使用，从 BigTable 到 MapReduce 以及内部的 RPC 系统。
 *  snappy 是一个压缩库。它可以利用单颗Intel Corei7处理器内核处理至少每秒250MB~500MB的[数据流][Link 1]。
 *  snappy 的前身是Zippy。虽然只是一个[数据压缩][Link 2]库，它却被Google用于许多内部项目程，其中就包括[BigTable][]，[MapReduce][]和RPC。Google宣称它在这个库本身及其算法做了数据处理速度上的优化，作为代价，并没有考虑输出大小以及和其他类似工具的兼容性问题。Snappy特地为64位x86处理器做了优化，在单个Intel Core i7处理器内核上能够达到至少每秒250MB的压缩速率和每秒500MB的解压速率。
 *   如果允许损失一些[压缩率][Link 3]的话，那么可以达到更高的压缩速度，虽然生成的[压缩文件][Link 4]可能会比其他库的要大上20%-100%，但是，相比其他的压缩库，Snappy却能够在特定的压缩率下拥有惊人的压缩速度，“压缩普通文本文件的速度是其他库的1.5-1.7倍，HTML能达到2-4倍，但是对于[j][]peg、png以及其他的已压缩的数据，压缩速度不会有明显改善”。

### 2、jar依赖 ###

<dependency>
                  <groupId>org.xerial.snappy</groupId>
                  <artifactId>snappy-java</artifactId>
                  <version>1.1.2.6</version>
              
      </dependency>

### 3、snappy公共类 ###

/**  
    * @author weiy 
    * @date 2018年9月5日  
    */
    public class SnappyData { 
    
        //压缩json字符串
    	public static byte[] compressHtml(String str) {
    		try {
    			return Snappy.compress(str.getBytes("UTF-8"));
    		} catch (IOException e) {
    			e.printStackTrace();
    			return null;
    		}
    	}
    
       //解压
    	public static String decompressHtml(byte[] bytes) {
    		try {
    			return new String(Snappy.uncompress(bytes));
    		} catch (IOException e) {
    			e.printStackTrace();
    			return null;
    		}
    	}
    }

### 4、具体使用 ###

发射数据：

ResultScanner scanner=HbaseUtils.getResultByRowKey(HbaseTableConstant.TB_FANUCCCCACHE, String.valueOf(cc));
    for (Result result : scanner) {
    	String vString=Bytes.toString(result.getValue(Bytes.toBytes("info"), Bytes.toBytes("key")));
    	byte[] bytes=SnappyData.compressHtml(vString);   //数据通过snappy进行压缩
    	collector.emit(new Values(mn, cc, bytes));
    }
    scanner.close();

接收数据：

@Override
    	public void execute(Tuple input) {
    		String mn = input.getString(0);
    		int cc = input.getInteger(1);
    		byte[] bytes=input.getBinary(2);
    		String message=SnappyData.decompressHtml(bytes);
    			
    		System.out.println(mn+"--"+cc+"--"+message);
    		collector.ack(input);
    	}

[Link 1]: https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E6%B5%81
[Link 2]: https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E5%8E%8B%E7%BC%A9
[BigTable]: https://baike.baidu.com/item/BigTable/3707131
[MapReduce]: https://baike.baidu.com/item/MapReduce/133425
[Link 3]: https://baike.baidu.com/item/%E5%8E%8B%E7%BC%A9%E7%8E%87/6435712
[Link 4]: https://baike.baidu.com/item/%E5%8E%8B%E7%BC%A9%E6%96%87%E4%BB%B6
[j]: https://baike.baidu.com/item/JPEG/213408