Java HTTP 组件库选型看这篇就够了

缺乏、安全感 2022-01-27 23:57 231阅读 0赞

![1240][]

最近项目需要使用 Java 重度调用 HTTP API 接口，于是想着封装一个团队公用的 HTTP client lib. 这个库需要支持以下特性：

1.  连接池管理，包括连接创建和超时、空闲连接数控制、[每个 host 的连接数配置][host]等。基本上，我们想要一个 go HTTP 标准库自带的连接池管理功能。
2.  域名解析控制。因为调用量会比较大，因此希望在域名解析这一层做一个调用端可控的负载均衡，同时可以对每个服务器 IP 进行失败率统计和健康度检查。
3.  Form/JSON 调用支持良好。
4.  支持同步和异步调用。

在 Java 生态中，虽然有数不清的 HTTP client lib 组件库，但是大体可以分为这三类：

1.  JDK 自带的 HttpURLConnection 标准库；
2.  Apache HttpComponents HttpClient, 以及基于该库的 wrapper, 如 Unirest.
3.  非基于 Apache HttpComponents HttpClient， 大量重写应用层代码的 HTTP client 组件库，典型代表是 OkHttp.

### HttpURLConnection ###

使用 HttpURLConnection [发起 HTTP 请求][HTTP]最大的优点是不需要引入额外的依赖，但是使用起来非常繁琐，也缺乏连接池管理、域名机械控制等特性支持。以发起一个 HTTP POST 请求为例：

import java.io.BufferedReader;
    import java.io.InputStream;
    import java.io.InputStreamReader;
    import java.io.OutputStream;
    import java.net.HttpURLConnection;
    import java.net.URL;
    
    
    public class HttpUrlConnectionDemo {
    
        public static void main(String[] args) throws Exception {
            String urlString = "https://httpbin.org/post";
            String bodyString = "password=e10adc3949ba59abbe56e057f20f883e&username=test3";
    
            URL url = new URL(urlString);
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setRequestMethod("POST");
            conn.setDoOutput(true);
    
            OutputStream os = conn.getOutputStream();
            os.write(bodyString.getBytes("utf-8"));
            os.flush();
            os.close();
    
            if (conn.getResponseCode() == HttpURLConnection.HTTP_OK) {
                InputStream is = conn.getInputStream();
                BufferedReader reader = new BufferedReader(new InputStreamReader(is));
                StringBuilder sb = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    sb.append(line);
                }
                System.out.println("rsp:" + sb.toString());
            } else {
                System.out.println("rsp code:" + conn.getResponseCode());
            }
        }
    
    }

可以看到，使用 HttpURLConnection 发起 HTTP 请求是比较原始（low level）的，基本上你可以理解为它就是对网络栈传输层（HTTP 一般为 TCP，HTTP over QUIC 是 UDP）进行了一次浅层次的封装，操作原语就是在打开的连接上面写[请求 request 与读响应 response][request _ response].

而且 HttpURLConnection 无法支持 HTTP/2. 显然,官方是知道这些问题的，因此在 Java 9 中，官方在标准库中引入了一个 high level、支持 HTTP/2 的 HttpClient. 这个库的接口封装就非常主流到位了，发起一个简单的 POST 请求：

HttpRequest request = HttpRequest.newBuilder()
      .uri(new URI("https://postman-echo.com/post"))
      .headers("Content-Type", "text/plain;charset=UTF-8")
      .POST(HttpRequest.BodyProcessor.fromString("Sample request body"))
      .build();

封装的最大特点是链式调用非常顺滑，支持连接管理等特性。但是这个库只能在 Java 9 及以后的版本使用，Java 9 和 Java 10 并不是 LTS 维护版本，而接下来的 Java 11 LTS 要在2018.09.25发布，应用到线上还需要等待一段时间。因此，虽然挺喜欢这个自带标准库（毕竟可以不引入三方依赖），但当前是无法在生产环境使用的。

### Apache HttpComponents HttpClient ###

Apache HttpComponents HttpClient 的前身是 Apache Commons HttpClient, 但是 Apache Commons HttpClient 已经停止开发，如果你还在使用它，请切换到 Apache HttpComponents HttpClient 上来。

Apache HttpComponents HttpClient 支持的特性非常丰富，完全覆盖我们的需求，使用起来也非常顺手：

import java.io.ByteArrayOutputStream;
    import java.io.InputStream;
    import java.util.ArrayList;
    import java.util.HashMap;
    import java.util.List;
    import java.util.Map;
    
    import org.apache.commons.io.IOUtils;
    import org.apache.http.HttpResponse;
    import org.apache.http.NameValuePair;
    import org.apache.http.client.entity.UrlEncodedFormEntity;
    import org.apache.http.client.fluent.Request;
    import org.apache.http.client.methods.CloseableHttpResponse;
    import org.apache.http.client.methods.HttpPost;
    import org.apache.http.client.methods.RequestBuilder;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.message.BasicNameValuePair;
    import org.apache.http.impl.client.HttpClients;
    
    
    public class HttpComponentsDemo {
        final static CloseableHttpClient client = HttpClients.createDefault();
    
        // 常规调用
        private String sendPostForm(String url, Map<String, String> params) throws Exception {
            HttpPost request = new HttpPost(url);
    
            // set header
            request.setHeader("X-Http-Demo", HttpComponentsDemo.class.getSimpleName());
    
            // set params
            if (params != null) {
                List<NameValuePair> nameValuePairList = new ArrayList<NameValuePair>();
                for (Map.Entry<String, String> entry : params.entrySet()) {
                    nameValuePairList.add(new BasicNameValuePair(entry.getKey(), entry.getValue()));
                }
                UrlEncodedFormEntity bodyEntity = new UrlEncodedFormEntity(nameValuePairList, "UTF-8");
                //System.out.println("body:" + IOUtils.toString(bodyEntity.getContent()));
                request.setEntity(new UrlEncodedFormEntity(nameValuePairList));
            }
    
            // send request
            CloseableHttpResponse response = client.execute(request);
            // read rsp code
            System.out.println("rsp code:" + response.getStatusLine().getStatusCode());
            // return content
            String ret = readResponseContent(response.getEntity().getContent());
            response.close();
            return ret;
        }
    
        // fluent 链式调用
        private String sendGet(String url) throws Exception {
            return Request.Get(url)
                    .connectTimeout(1000)
                    .socketTimeout(1000)
                    .execute().returnContent().asString();
        }
    
        private String readResponseContent(InputStream inputStream) throws Exception {
            if (inputStream == null) {
                return "";
            }
            ByteArrayOutputStream out = new ByteArrayOutputStream();
            byte[] buf = new byte[512];
            int len;
            while (inputStream.available() > 0) {
                len = inputStream.read(buf);
                out.write(buf, 0, len);
            }
    
            return out.toString();
        }
    
        public static void main(String[] args) throws Exception {
            HttpComponentsDemo httpUrlConnectionDemo = new HttpComponentsDemo();
            String url = "https://httpbin.org/post";
            Map<String, String> params = new HashMap<String, String>();
            params.put("foo", "bar中文");
            String rsp = httpUrlConnectionDemo.sendPostForm(url, params);
            System.out.println("http post rsp:" + rsp);
    
            url = "https://httpbin.org/get";
            System.out.println("http get rsp:" + httpUrlConnectionDemo.sendGet(url));
        }
    }

对 Client 细致的配置和自定义支持也是非常到位的：

// Create a connection manager with custom configuration.
            PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager(
                    socketFactoryRegistry, connFactory, dnsResolver);
    
            // Create socket configuration
            SocketConfig socketConfig = SocketConfig.custom()
                .setTcpNoDelay(true)
                .build();
            // Configure the connection manager to use socket configuration either
            // by default or for a specific host.
            connManager.setDefaultSocketConfig(socketConfig);
            connManager.setSocketConfig(new HttpHost("somehost", 80), socketConfig);
            // Validate connections after 1 sec of inactivity
            connManager.setValidateAfterInactivity(1000);
    
            // Create message constraints
            MessageConstraints messageConstraints = MessageConstraints.custom()
                .setMaxHeaderCount(200)
                .setMaxLineLength(2000)
                .build();
            // Create connection configuration
            ConnectionConfig connectionConfig = ConnectionConfig.custom()
                .setMalformedInputAction(CodingErrorAction.IGNORE)
                .setUnmappableInputAction(CodingErrorAction.IGNORE)
                .setCharset(Consts.UTF_8)
                .setMessageConstraints(messageConstraints)
                .build();
            // Configure the connection manager to use connection configuration either
            // by default or for a specific host.
            connManager.setDefaultConnectionConfig(connectionConfig);
            connManager.setConnectionConfig(new HttpHost("somehost", 80), ConnectionConfig.DEFAULT);
    
            // Configure total max or per route limits for persistent connections
            // that can be kept in the pool or leased by the connection manager.
            connManager.setMaxTotal(100);
            connManager.setDefaultMaxPerRoute(10);
            connManager.setMaxPerRoute(new HttpRoute(new HttpHost("somehost", 80)), 20);

完整示例请参考 ClientConfiguration.

> https://hc.apache.org/httpcomponents-client-ga/httpclient/examples/org/apache/http/examples/client/ClientConfiguration.java

基本上，在 Java 原生标准库不给力的情况下，Apache HttpComponents HttpClient [是最佳的 HTTP Client library ][HTTP Client library]选择。但这个库当前还不支持 HTTP/2，支持 HTTP/2 的版本还处于 beta 阶段（2018.09.23），因此并不适合用于 Android APP 中使用。

### OkHttp ###

由于当前 Apache HttpComponents HttpClient 版本并不支持 HTTP/2, 而 HTTP/2 对于移动客户端而言，无论是从握手延迟、响应延迟，还是资源开销看都有相当吸引力。因此这就给了[高层次封装且支持 HTTP/2][HTTP_2] 的 http client lib 足够的生存空间。其中最典型的要数OkHttp.

import okhttp3.*;
    import org.apache.http.util.CharsetUtils;
    import java.util.HashMap;
    import java.util.Map;
    
    
    public class OkHttpDemo {
        OkHttpClient client = new OkHttpClient();
    
        private String sendPostForm(String url, final Map<String, String> params) throws Exception {
            FormBody.Builder builder = new FormBody.Builder(CharsetUtils.get("UTF-8"));
            if (params != null) {
                for (Map.Entry<String, String> entry: params.entrySet()) {
                    builder.add(entry.getKey(), entry.getValue());
                }
            }
            RequestBody requestBody = builder.build();
            Request request = new Request.Builder().url(url).post(requestBody).build();
            return client.newCall(request).execute().body().string();
    
        }
    
        private String sendGet(String url) throws Exception {
            Request request = new Request.Builder().url(url).build();
            return  client.newCall(request).execute().body().string();
        }
    
        public static void main(String[] args) throws Exception {
            OkHttpDemo okHttpDemo = new OkHttpDemo();
            String url = "https://httpbin.org/post";
            Map<String, String> params = new HashMap<String, String>();
            params.put("foo", "bar中文");
            String rsp = okHttpDemo.sendPostForm(url, params);
            System.out.println("http post rsp:" + rsp);
    
            url = "https://httpbin.org/get";
            System.out.println("http get rsp:" + okHttpDemo.sendGet(url));
        }
    }

OkHttp 接口设计友好，支持 HTTP/2，并且在弱网和无网环境下有自动检测和恢复机制，因此，是当前 Android APP 开发中使用最[广泛的 HTTP clilent lib 之一。][HTTP clilent lib]

另一方面，OkHttp 提供的接口与 Java 9 中 HttpClint 接口比较类似 （严格讲，应该是 Java 9 借鉴了 OkHttp 等开源库的接口设计？），因此，对于喜欢减少依赖，钟情于原生标准库的开发者来说，在 Java 11 中，从 OkHttp 切换到标准库是相对容易的。因此，以 OkHttp 为代表的 http 库以后的使用场景可能会被蚕食一部分。

### 小结 ###

HttpURLConnection 封装层次太低，并且支持特性太少，不建议[在项目中使用][Link 1]。除非你的确不想引入第三方 HTTP 依赖（如减少包大小、目标环境不提供三方库支持等）。

Java 9 中引入的 HttpClient，封装层次和支持特性都不错。但是因为 Java 版本的原因，应用场景还十分有限，建议观望一段时间再考虑在线上使用。

如果你不需要 HTTP/2特性，Apache HttpComponents HttpClient 是你的最佳选择，比如在服务器之间的 HTTP 调用。否则，请使用 OkHttp, 如 Android 开发。

***扩展阅读***

[几张趣图助你理解HTTP状态码][HTTP 1]

[干货 | 彻底弄懂 HTTP 缓存机制及原理][_ _ HTTP]

[彻底理解Netty，这一篇文章就够了][Netty]

[彻底理解SpringIOC、DI-这篇文章就够了][SpringIOC_DI-]

[揭开Java 泛型类型擦除神秘面纱][Java]

> 作者：行思錄
> 
> 来源：https://liudanking.com/sitelog/java-http-client-lib-comparison/

![1240 1][]

[1240]: /images/20220128/2c777fc5a6bc4fcab283a242b5aba8c2.png
[host]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247483730&idx=3&sn=a60ef02cead8c2a5b8d37be6106fcbe8&chksm=fe79508ac90ed99c84fe7d73bcaeb2a415d01c015d3232c909c6cafed77bbaa93874dedb75cf&scene=21#wechat_redirect
[HTTP]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247483714&idx=4&sn=54921b0840c7d2efdab8a2cf144b2532&chksm=fe79509ac90ed98c276a4a367a54c15498924802d412c9a678085c6201584a2c2babfeab311a&scene=21#wechat_redirect
[request _ response]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485801&idx=3&sn=583fc4dd81bed07793fd63a368ffd861&chksm=fe7958b1c90ed1a724b2cd4ee7e18b4c163b71e7d181274351003c8bfb0a3f04a3755cae8ef7&scene=21#wechat_redirect
[HTTP Client library]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485934&idx=1&sn=e0c1406e79b2aefede8131a225d19124&chksm=fe795836c90ed120027519259944222fef6f1f9791c3b702c7406c6cd282aeb59f10bb166673&scene=21#wechat_redirect
[HTTP_2]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485621&idx=2&sn=bc92a72f3e7e85a83c82cac7f0198fb9&chksm=fe79596dc90ed07be276b3af270b708b19bc3440a87a99110b275661989a89b304857c528463&scene=21#wechat_redirect
[HTTP clilent lib]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485179&idx=1&sn=9cf35306df5afd9c7de4c2d6a323e5e9&chksm=fe795723c90ede359620251efd3c40c5c097a9bc989a6cc27ea428e3fe08a6dda38c78dc05cf&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485417&idx=1&sn=96a7af35c5feb1f918f4ee8c7640824c&chksm=fe795631c90edf27a791d7f2d92b6a017acd301bbb4afddef6be081dc1f1e8bb1c9d223c6c32&scene=21#wechat_redirect
[HTTP 1]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247484202&idx=2&sn=25a6f7fcced30156ff7fe342ce7b5a8a&chksm=fe7952f2c90edbe4e19681c1665b17a93a6a81e8ecc97f6a997de814bd883c330189a7fd9efe&scene=21#wechat_redirect
[_ _ HTTP]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485105&idx=3&sn=c4be4d038aee4fd492844103ac461ada&chksm=fe795769c90ede7fb47bcdacb5e219aa0fffc3dd7b91fe6ed313cf7d8eb7c6f0b779e2876812&scene=21#wechat_redirect
[Netty]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247486545&idx=1&sn=cbc1b3d498e7b898ff8004b10efe4c50&chksm=fe795d89c90ed49f7fbb034f5b81c97418aa602c54658b5d5bbe60c69db7960363c8c422a110&scene=21#wechat_redirect
[SpringIOC_DI-]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485987&idx=1&sn=45f453372ccdec0b5f2b7a980213a522&chksm=fe795bfbc90ed2edd8f18a859124c60d99286810c6b2844f7ed90348a89ecc67dcfcde141d7b&scene=21#wechat_redirect
[Java]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485762&idx=1&sn=a0ebb76ba58c216b7dd3ee0dc0f24715&chksm=fe79589ac90ed18c81bce9ca743ccc6eac0aacf429cf0ce71068ec43bea9151b91a5d09297eb&scene=21#wechat_redirect
[1240 1]: /images/20220128/d815495dfcd6456bae6d5bf0e13ac029.png