Gzip压缩数据解压

港控/mmm° 2022-08-20 14:09 223阅读 0赞

在进行微博数据解析的过程中，遇到了gzip格式的压缩数据，要从这些数据中得到微博信息就首先需要对gzip数据进行解压。

这里采用的解压工具是zlib（[http://www.zlib.net/][http_www.zlib.net]），关于zlib的技术细节参考[http://www.zlib.net/zlib\_tech.html][http_www.zlib.net_zlib_tech.html]。

重组后的微博TCP会话中的压缩数据：

![SouthEast][]

从上图可以看出，gzip数据的开始是从两个换行“\\r\\n”开始的，即从“65c”这行数据后边开始的，是以“0”这一行结束的。”65c“表示的是其下面那段压缩数据的长度；上图中gzip数据仅分了65c这么长的一段，而某次压缩的数据可能分多个段，那么每段数据均以类似"65c"这么一个表示长度的值开始，后跟本段压缩数据。

下面这个函数是将一段一段的压缩gzip数据进行合并：

//第一个参数是待处理的http数据，第二个参数是数据的长度
    //该函数处理重组后的http数据中的gzip压缩数据：
    //gzip数据是以一个或多个chunked的形式存在的，该函数将提取，合并并解压出所有chunk的数据(解压
    //出的gzip数据是是json格式的，函数返回的解压内容，在后续处理中会提取出json的“html”字段，进一步得到微博id)
    void ProcessGzipData(char *source, int len, char *decompression) {
    	char result_gzip[65530];
    	char pattern[] = "\r\n\r\n";
    	int begin_pos = KmpSearch(source, len, pattern) + strlen(pattern);
    	if (begin_pos == -1)   
    		return;
    	int offset = 0;
    	int gzip_len = 0;
    	while (memcmp(source + begin_pos + offset, "0\r\n", 3) != 0) {
    		char pattern2[] = "\r\n";
    		int len1 = KmpSearch(source + begin_pos + offset, len - begin_pos - offset, pattern2);
    		if (len1 == -1)   //压缩数据出错，返回
    			break;
    		char temp1[10] = {'\0'};
    		memcpy(temp1, source + begin_pos + offset, len1);
    		offset += (len1 + strlen("\r\n"));
    		int len2 = KmpSearch(source + begin_pos + offset, len - begin_pos - offset, pattern2);
    		memmove(result_gzip + gzip_len, source + begin_pos + offset, len2);
    		gzip_len += len2;
    		offset += (len2 + strlen("\r\n"));
    	}
    /*
    	fstream myfile("/home/yang/test/zlib.file", fstream::in | fstream::out | fstream::app);
    	if (!myfile)
    		cout << "open file error" << endl;
    	
    	int i;
    	cout << "gzip len: " << gzip_len << endl;
    	for (i = 0; i < gzip_len; ++i)
    		myfile << result_gzip[i];
    	myfile.close();
    */
    	DecompressGzip(result_gzip, gzip_len + 1000,  decompression);  //调用下面的函数对合并的gzip数据解压
    }

解压gzip数据的代码如下：

//该函数解压gzip数据
    //参数：source是指向待解压数据的指针；len是待解压数据的长度；destination用于存放解压后的数据
    int DecompressGzip(char *source, int len, char *destination) {
    	int result, have;
    	int offset = 0;
    	z_stream d_stream;
    
    	unsigned char compression[SEGMENT_SIZE] = {'\0'}, decompression[SEGMENT_SIZE] = {'\0'};
    	memcpy(compression, (Byte*)source, len);
    	unsigned int compression_len = len, decompression_len = SEGMENT_SIZE * 4;
    	strcpy((char*)decompression, "garbage");
    	d_stream.zalloc = Z_NULL;
    	d_stream.zfree = Z_NULL;
    	d_stream.opaque = Z_NULL;
    	d_stream.next_in = Z_NULL;
    	d_stream.avail_in = 0;
    
    	result = inflateInit2(&d_stream, 47);
    	if (result != Z_OK) {
    		printf("inflateInit2 error: %d\n", result);	
    		return result;
    	}
    
    	d_stream.next_in = compression;
    	d_stream.avail_in = compression_len;
    
    	do {
    		d_stream.next_out = decompression;
    		d_stream.avail_out = SEGMENT_SIZE;
    		result = inflate(&d_stream, Z_NO_FLUSH);
    
    		assert(result != Z_STREAM_ERROR);
    
    		switch (result) {
    		case Z_NEED_DICT:
    			result = Z_DATA_ERROR;
    		case Z_DATA_ERROR:
    		case Z_MEM_ERROR:
    			(void)inflateEnd(&d_stream);
    			return result;	
    		}
    		have = SEGMENT_SIZE - d_stream.avail_out;
    		memcpy(destination + offset, decompression, have);
    
    		offset += have;
    	} while (d_stream.avail_out == 0);
    
    	inflateEnd(&d_stream);
    	memcpy(destination + offset, "\0", 1);
    	return result;
    }

参考：

# [zlib and gzip ][zlib and gzip] #

# [获取http的gzip内容并解压相关问题 ][http_gzip_] #

## [gzip 使用zlib解压http中gzip内容][gzip _zlib_http_gzip] ##

## [zlib库解压http报文中的gzip数据][zlib_http_gzip] ##

[RFC：GZIP file format specification version 4.3][RFC_GZIP file format specification version 4.3]

[http_www.zlib.net]: http://www.zlib.net/
[http_www.zlib.net_zlib_tech.html]: http://www.zlib.net/zlib_tech.html
[SouthEast]: /images/20220731/384b72c2a59e480797c1aa958470ed84.png
[zlib and gzip]: http://blog.csdn.net/qinggebuyao/article/details/7731900
[http_gzip_]: http://blog.csdn.net/squallxye/article/details/5388955
[gzip _zlib_http_gzip]: http://blog.sina.com.cn/s/blog_7201f04301016620.html
[zlib_http_gzip]: http://blog.sina.com.cn/s/blog_65db99840100kwh9.html
[RFC_GZIP file format specification version 4.3]: https://tools.ietf.org/html/rfc1952