亿级流量电商详情页系统实战-43.基于request collapser请求合并技术进一步优化批量查询

ゝ一纸荒年。 2022-11-04 11:13 78阅读 0赞

# 1.前言 #

在之前，我们已经优化过一个批量查询的接口了，request cache来做优化，可能有相同的商品就可以直接取用缓存了。  
但现在还存在一个优化场景：多个商品，需要发送多次网络请求，调用多次接口，才能拿到结果。

# 2.request collapser介绍 #

*  可以使用HystrixCollapser将多个HystrixCommand合并到一起，多个command放在一个command里面去执行，发送一次网络请求，就拉取到多条数据
 *  用请求合并技术，将多个请求合并起来，可以减少高并发访问下需要使用的线程数量以及网络连接数量，这都是hystrix自动进行的
 *  其实对于高并发的访问来说，是可以提升性能的
 *  请求合并技术的开销有多大  
    (1) 使用请求合并技术的开销就是导致延迟大幅度增加，因为需要一定的时间将多个请求合并起来  
    (2) 发送过来10个请求，每个请求本来大概是2ms可以返回，要把10个请求合并在一个command内，统一一起执行，先后等待一下，5ms  
    (3) 所以说，要考量一下，使用请求合并技术是否合适，如果一个请求本来耗费的时间就比较长，那么进行请求合并，增加一些延迟影响并不大  
    (4) 请求合并技术，不是针对那种访问延时特别低的请求的，比如说你的访问延时本身就比较高，20ms，10个请求合并在一起，25ms，这种情况下就还好
 *  好处在哪里，增加你的吞吐量  
    (1) 大幅度削减你的线程池的资源耗费，线程池，10个线程，一秒钟可以执行10个请求，合并在一起，1个线程执行10个请求，10个线程就可以执行100个请求  
    (2) 减少你对后端服务访问时的网络资源的开销，10个请求，10个command，10次网络请求的开销，1次网络请求的开销了

# 2.request collapser参数 #

*  maxRequestsInBatch
    
        // 设置所有实例的默认值
        hystrix.collapser.default.maxRequestsInBatch=...
        // 设置实例HystrixCommandKey的此属性值
        hystrix.collapser.HystrixCollapserKey.maxRequestsInBatch=...
    
    设置同时批量执行的请求的最大数量,默认值：Integer.MAX\_VALUE
 *  timerDelayInMilliseconds
    
        // 设置所有实例的默认值
        hystrix.collapser.default.timerDelayInMilliseconds=...
        // 设置实例HystrixCommandKey的此属性值
        hystrix.collapser.HystrixCollapserKey.timerDelayInMilliseconds=...
    
    批量执行创建多久之后，再触发真正的请求，默认值：10
 *  requestCache.enabled
    
        // 设置所有实例的默认值
        hystrix.collapser.default.requestCache.enabled=...
        // 设置实例HystrixCommandKey的此属性值
    
    此属性指示是否为HystrixCollapser.execute()和HystrixCollapser.queue()调用启用请求高速缓存。默认值：true

# 3.例子 #

## 3.1 例子1 ##

@HystrixProperty(name = "timerDelayInMilliseconds", value = "50")
    @HystrixProperty(name = "maxRequestsInBatch", value = "200")

(1) 这两个属性表示合并请求的时间窗口为50ms,窗口时间内最多合并200个请求。默认值是10ms，合并请求数不限。这个根据自己实际情况来设定。  
(2) timerDelayInMilliseconds建议尽量设置的小一点，如果并发量不大的话，其实也没有必要使用HystrixCollapser来处理  
(3) 但是一旦用了HystrixCollapser之后，请求的最小响应延迟一定是大于这个时间窗口了，因为接受到的请求都要经过这个窗口时间的聚合，然后再进行处理，在分别返回给具体的调用方的。如果单个请求的响应时间比较大的话，并不会有多少影响，如果单次响应时间很小的话比如几毫秒，用了合并请求特性之后，至少都变成50几毫秒了，反而造成了响应时间变长的负作用。

## 3.2 例子2 ##

/**
     * 一次性批量查询多条商品数据的请求
     */
    @RequestMapping("/getProductInfos")
    @ResponseBody
    public String getProductInfos(String productIds) { 
    
    	List<Future<ProductInfo>> futures = new ArrayList<Future<ProductInfo>>();
    	
    	for(String productId : productIds.split(",")) { 
    		GetProductInfosCollapser getProductInfosCollapser = 
    				new GetProductInfosCollapser(Long.valueOf(productId)); 
    		futures.add(getProductInfosCollapser.queue());
    	}
    	
    	try { 
    		for(Future<ProductInfo> future : futures) { 
    			System.out.println("CacheController的结果：" + future.get());  
    		}
    	} catch (Exception e) { 
    		e.printStackTrace();
    	}
    	
    	return "success";
    }
    
    
    public class GetProductInfosCollapser extends HystrixCollapser<List<ProductInfo>, ProductInfo, Long> { 
    
    	private Long productId;
    	
    	public GetProductInfosCollapser(Long productId) { 
    		this.productId = productId;
    	}
    	
    	@Override
    	public Long getRequestArgument() { 
    		return productId;
    	}
    	
    	@Override
    	protected HystrixCommand<List<ProductInfo>> createCommand(
    			Collection<com.netflix.hystrix.HystrixCollapser.CollapsedRequest<ProductInfo, Long>> requests) { 
    		return new BatchCommand(requests);
    	}
    
    	@Override
    	protected void mapResponseToRequests(
    			List<ProductInfo> batchResponse,
    			Collection<com.netflix.hystrix.HystrixCollapser.CollapsedRequest<ProductInfo, Long>> requests) { 
    		int count = 0;
    		for(CollapsedRequest<ProductInfo, Long> request : requests) { 
    			request.setResponse(batchResponse.get(count++));  
    		}
    	}
    	
    	@Override
    	protected String getCacheKey() { 
    		return "product_info_" + productId;
    	}
    	
    	private static final class BatchCommand extends HystrixCommand<List<ProductInfo>> { 
    
    		public final Collection<CollapsedRequest<ProductInfo, Long>> requests;
    		
    		public BatchCommand(Collection<CollapsedRequest<ProductInfo, Long>> requests) { 
    			super(Setter.withGroupKey(HystrixCommandGroupKey.Factory.asKey("ProductInfoService"))
    	                .andCommandKey(HystrixCommandKey.Factory.asKey("GetProductInfosCollapserBatchCommand")));
    			this.requests = requests;
    		}
    		
    		@Override
    		protected List<ProductInfo> run() throws Exception { 
    			// 将一个批次内的商品id给拼接在了一起
    			StringBuilder paramsBuilder = new StringBuilder(""); 
    			for(CollapsedRequest<ProductInfo, Long> request : requests) { 
    				paramsBuilder.append(request.getArgument()).append(","); 
    			}
    			String params = paramsBuilder.toString();
    			params = params.substring(0, params.length() - 1);
    			
    			// 在这里，我们可以做到什么呢，将多个商品id合并在一个batch内，直接发送一次网络请求，获取到所有的结果
    			
    			String url = "http://localhost:8082/getProductInfos?productIds=" + params;
    			String response = HttpClientUtils.sendGetRequest(url);
    			
    			List<ProductInfo> productInfos = JSONArray.parseArray(response, ProductInfo.class);
    			for(ProductInfo productInfo : productInfos) { 
    				System.out.println("BatchCommand内部，productInfo=" + productInfo); 
    			}
    			
    			return productInfos;
    		}
    		
    	}
    
    }