JAVA NIO2模式之Proactor( JDK7 AIO异步网络IO初探)

深藏阁楼爱情的钟 2022-05-23 11:21 160阅读 0赞

按照《Unix网络编程》的划分，IO模型可以分为：阻塞IO、非阻塞IO、IO复用、信号驱动IO和异步IO，按照POSIX标准来划分只分为两类：同步IO和异步IO。如何区分呢？首先一个IO操作其实分成了两个步骤：发起IO请求和实际的IO操作，同步IO和异步IO的区别就在于第二个步骤是否阻塞，如果实际的IO读写阻塞请求进程，那么就是同步IO，因此阻塞IO、非阻塞IO、IO复用、信号驱动IO都是同步IO，如果不阻塞，而是操作系统帮你做完IO操作再将结果返回给你，那么就是异步IO。阻塞IO和非阻塞IO的区别在于第一步，发起IO请求是否会被阻塞，如果阻塞直到完成那么就是传统的阻塞IO，如果不阻塞，那么就是非阻塞IO。  
  
   Java nio 2.0的主要改进就是引入了异步IO（包括文件和网络），这里主要介绍下异步网络IO API的使用以及框架的设计，以TCP服务端为例。首先看下为了支持AIO引入的新的类和接口：  
  
  java.nio.channels.AsynchronousChannel  
       标记一个channel支持异步IO操作。  
  
 java.nio.channels.AsynchronousServerSocketChannel  
       ServerSocket的aio版本，创建TCP服务端，绑定地址，监听端口等。  
  
 java.nio.channels.AsynchronousSocketChannel  
       面向流的异步socket channel，表示一个连接。  
  
 java.nio.channels.AsynchronousChannelGroup  
       异步channel的分组管理，目的是为了资源共享。一个AsynchronousChannelGroup绑定一个线程池，这个线程池执行两个任务：处理IO事件和派发CompletionHandler。AsynchronousServerSocketChannel创建的时候可以传入一个 AsynchronousChannelGroup，那么通过AsynchronousServerSocketChannel创建的 AsynchronousSocketChannel将同属于一个组，共享资源。  
  
 java.nio.channels.CompletionHandler  
       异步IO操作结果的回调接口，用于定义在IO操作完成后所作的回调工作。AIO的API允许两种方式来处理异步操作的结果：返回的Future模式或者注册CompletionHandler，我更推荐用CompletionHandler的方式，这些handler的调用是由 AsynchronousChannelGroup的线程池派发的。显然，线程池的大小是性能的关键因素。AsynchronousChannelGroup允许绑定不同的线程池，通过三个静态方法来创建：

Java代码   ![收藏代码][icon_star.png]

1.  **public** **static** AsynchronousChannelGroup withFixedThreadPool(**int** nThreads,  
2.                                                                ThreadFactory threadFactory)  
3.         **throws** IOException  
4.    
5.  **public** **static** AsynchronousChannelGroup withCachedThreadPool(ExecutorService executor,  
6.                                                                 **int** initialSize)  
7.    
8.  **public** **static** AsynchronousChannelGroup withThreadPool(ExecutorService executor)  
9.         **throws** IOException

需要根据具体应用相应调整，从框架角度出发，需要暴露这样的配置选项给用户。  
  
     在介绍完了aio引入的TCP的主要接口和类之后，我们来设想下一个aio框架应该怎么设计。参考非阻塞nio框架的设计，一般都是采用Reactor模式，Reacot负责事件的注册、select、事件的派发；相应地，异步IO有个Proactor模式，Proactor负责 CompletionHandler的派发，查看一个典型的IO写操作的流程来看两者的区别：  
  
     Reactor:  send(msg) -> 消息队列是否为空，如果为空  -> 向Reactor注册OP\_WRITE，然后返回 -> Reactor select -> 触发Writable，通知用户线程去处理 ->先注销Writable(很多人遇到的cpu 100%的问题就在于没有注销）,处理Writeable，如果没有完全写入，继续注册OP\_WRITE。注意到，写入的工作还是用户线程在处理。  
     Proactor: send(msg) -> 消息队列是否为空，如果为空,发起read异步调用，并注册CompletionHandler，然后返回。 -> 操作系统负责将你的消息写入，并返回结果（写入的字节数）给Proactor -> Proactor派发CompletionHandler。可见，写入的工作是操作系统在处理，无需用户线程参与。事实上在aio的API 中,AsynchronousChannelGroup就扮演了Proactor的角色。  
  
    CompletionHandler有三个方法，分别对应于处理成功、失败、被取消（通过返回的Future)情况下的回调处理：

Java代码   ![收藏代码][icon_star.png]

1.  **public** **interface** CompletionHandler<V,A> \{  
2.    
3.       **void** completed(V result, A attachment);  
4.    
5.      **void** failed(Throwable exc, A attachment);  
6.    
7.       
8.      **void** cancelled(A attachment);  
9.  \}

其中的泛型参数V表示IO调用的结果，而A是发起调用时传入的attchment。  
  
    在初步介绍完aio引入的类和接口后，我们看看一个典型的tcp服务端是怎么启动的，怎么接受连接并处理读和写，这里引用的代码都是yanf4j 的aio分支中的代码，可以从svn checkout，svn地址:[http://yanf4j.googlecode.com/svn/branches/yanf4j-aio][http_yanf4j.googlecode.com_svn_branches_yanf4j-aio]  
  
    第一步，创建一个AsynchronousServerSocketChannel，创建之前先创建一个 AsynchronousChannelGroup，上文提到AsynchronousServerSocketChannel可以绑定一个 AsynchronousChannelGroup，那么通过这个AsynchronousServerSocketChannel建立的连接都将同属于一个AsynchronousChannelGroup并共享资源：

Java代码   ![收藏代码][icon_star.png]

1.  **this**.asynchronousChannelGroup = AsynchronousChannelGroup  
2.                      .withCachedThreadPool(Executors.newCachedThreadPool(),  
3.                              **this**.threadPoolSize);

然后初始化一个AsynchronousServerSocketChannel，通过open方法：

Java代码   ![收藏代码][icon_star.png]

1.  **this**.serverSocketChannel = AsynchronousServerSocketChannel  
2.                  .open(**this**.asynchronousChannelGroup);

通过nio 2.0引入的SocketOption类设置一些TCP选项：

Java代码   ![收藏代码][icon_star.png]

1.  **this**.serverSocketChannel  
2.                      .setOption(  
3.                              StandardSocketOption.SO\_REUSEADDR,**true**);  
4.  **this**.serverSocketChannel  
5.                      .setOption(  
6.                              StandardSocketOption.SO\_RCVBUF,16\*1024);

绑定本地地址：

Java代码   ![收藏代码][icon_star.png]

1.  **this**.serverSocketChannel  
2.                      .bind(**new** InetSocketAddress("localhost",8080), 100);

其中的100用于指定等待连接的队列大小(backlog)。完了吗？还没有，最重要的监听工作还没开始，监听端口是为了等待连接上来以便accept产生一个AsynchronousSocketChannel来表示一个新建立的连接，因此需要发起一个accept调用，调用是异步的，操作系统将在连接建立后，将最后的结果——AsynchronousSocketChannel返回给你：

Java代码   ![收藏代码][icon_star.png]

1.  **public** **void** pendingAccept() \{  
2.          **if** (**this**.started && **this**.serverSocketChannel.isOpen()) \{  
3.              **this**.acceptFuture = **this**.serverSocketChannel.accept(**null**,  
4.                      **new** AcceptCompletionHandler());  
5.    
6.          \} **else** \{  
7.              **throw** **new** IllegalStateException("Controller has been closed");  
8.          \}  
9.      \}

注意，重复的accept调用将会抛出PendingAcceptException，后文提到的read和write也是如此。accept方法的第一个参数是你想传给CompletionHandler的attchment，第二个参数就是注册的用于回调的CompletionHandler，最后返回结果Future<AsynchronousSocketChannel>。你可以对future做处理，这里采用更推荐的方式就是注册一个CompletionHandler。那么accept的CompletionHandler中做些什么工作呢？显然一个赤裸裸的 AsynchronousSocketChannel是不够的，我们需要将它封装成session，一个session表示一个连接（mina里就叫 IoSession了），里面带了一个缓冲的消息队列以及一些其他资源等。在连接建立后，除非你的服务器只准备接受一个连接，不然你需要在后面继续调用pendingAccept来发起另一个accept请求：

Java代码   ![收藏代码][icon_star.png]

1.  **private** **final** **class** AcceptCompletionHandler **implements**  
2.              CompletionHandler<AsynchronousSocketChannel, Object> \{  
3.    
4.          @Override  
5.          **public** **void** cancelled(Object attachment) \{  
6.              logger.warn("Accept operation was canceled");  
7.          \}  
8.    
9.          @Override  
10.         **public** **void** completed(AsynchronousSocketChannel socketChannel,  
11.                 Object attachment) \{  
12.             **try** \{  
13.                 logger.debug("Accept connection from "  
14.                         + socketChannel.getRemoteAddress());  
15.                 configureChannel(socketChannel);  
16.                 AioSessionConfig sessionConfig = buildSessionConfig(socketChannel);  
17.                 Session session = **new** AioTCPSession(sessionConfig,  
18.                         AioTCPController.**this**.configuration  
19.                                 .getSessionReadBufferSize(),  
20.                         AioTCPController.**this**.sessionTimeout);  
21.                 session.start();  
22.                 registerSession(session);  
23.             \} **catch** (Exception e) \{  
24.                 e.printStackTrace();  
25.                 logger.error("Accept error", e);  
26.                 notifyException(e);  
27.             \} **finally** \{  
28.                 <strong>pendingAccept</strong>();  
29.             \}  
30.         \}  
31.   
32.         @Override  
33.         **public** **void** failed(Throwable exc, Object attachment) \{  
34.             logger.error("Accept error", exc);  
35.             **try** \{  
36.                 notifyException(exc);  
37.             \} **finally** \{  
38.                 <strong>pendingAccept</strong>();  
39.             \}  
40.         \}  
41.     \}

注意到了吧，我们在failed和completed方法中在最后都调用了pendingAccept来继续发起accept调用，等待新的连接上来。有的同学可能要说了，这样搞是不是递归调用，会不会堆栈溢出？实际上不会，因为发起accept调用的线程与CompletionHandler回调的线程并非同一个，不是一个上下文中，两者之间没有耦合关系。要注意到，CompletionHandler的回调共用的是 AsynchronousChannelGroup绑定的线程池，因此千万别在CompletionHandler回调方法中调用阻塞或者长时间的操作，例如sleep，回调方法最好能支持超时，防止线程池耗尽。  
  
    连接建立后，怎么读和写呢？回忆下在nonblocking nio框架中，连接建立后的第一件事是干什么？注册OP\_READ事件等待socket可读。异步IO也同样如此，连接建立后马上发起一个异步read调用，等待socket可读，这个是Session.start方法中所做的事情：

Java代码   ![收藏代码][icon_star.png]

1.  **public** **class** AioTCPSession \{  
2.      **protected** **void** start0() \{  
3.          pendingRead();  
4.      \}  
5.    
6.      **protected** **final** **void** pendingRead() \{  
7.          **if** (!isClosed() && **this**.asynchronousSocketChannel.isOpen()) \{  
8.              **if** (!**this**.readBuffer.hasRemaining()) \{  
9.                  **this**.readBuffer = ByteBufferUtils  
10.                         .increaseBufferCapatity(**this**.readBuffer);  
11.             \}  
12.             **this**.readFuture = **this**.asynchronousSocketChannel.read(  
13.                     **this**.readBuffer, **this**, **this**.readCompletionHandler);  
14.         \} **else** \{  
15.             **throw** **new** IllegalStateException(  
16.                     "Session Or Channel has been closed");  
17.         \}  
18.     \}  
19.      
20. \}

AsynchronousSocketChannel的read调用与AsynchronousServerSocketChannel的accept调用类似，同样是非阻塞的，返回结果也是一个Future，但是写的结果是整数，表示写入了多少字节，因此read调用返回的是Future<Integer>，方法的第一个参数是读的缓冲区，操作系统将IO读到数据拷贝到这个缓冲区，第二个参数是传递给 CompletionHandler的attchment，第三个参数就是注册的用于回调的CompletionHandler。这里保存了read的结果Future，这是为了在关闭连接的时候能够主动取消调用，accept也是如此。现在可以看看read的CompletionHandler的实现：

Java代码   ![收藏代码][icon_star.png]

1.  **public** **final** **class** ReadCompletionHandler **implements**  
2.          CompletionHandler<Integer, AbstractAioSession> \{  
3.    
4.      **private** **static** **final** Logger log = LoggerFactory  
5.              .getLogger(ReadCompletionHandler.**class**);  
6.      **protected** **final** AioTCPController controller;  
7.    
8.      **public** ReadCompletionHandler(AioTCPController controller) \{  
9.          **this**.controller = controller;  
10.     \}  
11.   
12.     @Override  
13.     **public** **void** cancelled(AbstractAioSession session) \{  
14.         log.warn("Session(" + session.getRemoteSocketAddress()  
15.                 + ") read operation was canceled");  
16.     \}  
17.   
18.     @Override  
19.     **public** **void** completed(Integer result, AbstractAioSession session) \{  
20.         **if** (log.isDebugEnabled())  
21.             log.debug("Session(" + session.getRemoteSocketAddress()  
22.                     + ") read +" + result + " bytes");  
23.         **if** (result < 0) \{  
24.             session.close();  
25.             **return**;  
26.         \}  
27.         **try** \{  
28.             **if** (result > 0) \{  
29.                 session.updateTimeStamp();  
30.                 session.getReadBuffer().flip();  
31.                 session.decode();  
32.                 session.getReadBuffer().compact();  
33.             \}  
34.         \} **finally** \{  
35.             **try** \{  
36.                 session.pendingRead();  
37.             \} **catch** (IOException e) \{  
38.                 session.onException(e);  
39.                 session.close();  
40.             \}  
41.         \}  
42.         controller.checkSessionTimeout();  
43.     \}  
44.   
45.     @Override  
46.     **public** **void** failed(Throwable exc, AbstractAioSession session) \{  
47.         log.error("Session read error", exc);  
48.         session.onException(exc);  
49.         session.close();  
50.     \}  
51.   
52. \}

如果IO读失败，会返回失败产生的异常，这种情况下我们就主动关闭连接，通过session.close()方法，这个方法干了两件事情：关闭channel和取消read调用：

Java代码   ![收藏代码][icon_star.png]

1.  **if** (**null** != **this**.readFuture) \{  
2.              **this**.readFuture.cancel(**true**);  
3.          \}  
4.  **this**.asynchronousSocketChannel.close();

在读成功的情况下，我们还需要判断结果result是否小于0，如果小于0就表示对端关闭了，这种情况下我们也主动关闭连接并返回。如果读到一定字节，也就是result大于0的情况下，我们就尝试从读缓冲区中decode出消息，并派发给业务处理器的回调方法，最终通过pendingRead继续发起read调用等待socket的下一次可读。可见，我们并不需要自己去调用channel来进行IO读，而是操作系统帮你直接读到了缓冲区，然后给你一个结果表示读入了多少字节，你处理这个结果即可。而nonblocking IO框架中，是reactor通知用户线程socket可读了，然后用户线程自己去调用read进行实际读操作。这里还有个需要注意的地方，就是decode出来的消息的派发给业务处理器工作最好交给一个线程池来处理，避免阻塞group绑定的线程池。  
    
   IO写的操作与此类似，不过通常写的话我们会在session中关联一个缓冲队列来处理，没有完全写入或者等待写入的消息都存放在队列中，队列为空的情况下发起write调用：

Java代码   ![收藏代码][icon_star.png]

1.  **protected** **void** write0(WriteMessage message) \{  
2.        **boolean** needWrite = **false**;  
3.        **synchronized** (**this**.writeQueue) \{  
4.            needWrite = **this**.writeQueue.isEmpty();  
5.            **this**.writeQueue.offer(message);  
6.        \}  
7.        **if** (needWrite) \{  
8.            pendingWrite(message);  
9.        \}  
10.   \}  
11.   
12.   **protected** **final** **void** pendingWrite(WriteMessage message) \{  
13.       message = preprocessWriteMessage(message);  
14.       **if** (!isClosed() && **this**.asynchronousSocketChannel.isOpen()) \{  
15.           **this**.asynchronousSocketChannel.write(message.getWriteBuffer(),  
16.                   **this**, **this**.writeCompletionHandler);  
17.       \} **else** \{  
18.           **throw** **new** IllegalStateException(  
19.                   "Session Or Channel has been closed");  
20.       \}  
21.   \}

write调用返回的结果与read一样是一个Future<Integer>，而write的CompletionHandler处理的核心逻辑大概是这样：

Java代码   ![收藏代码][icon_star.png]

1.  @Override  
2.      **public** **void** completed(Integer result, AbstractAioSession session) \{  
3.          **if** (log.isDebugEnabled())  
4.              log.debug("Session(" + session.getRemoteSocketAddress()  
5.                      + ") writen " + result + " bytes");  
6.                    
7.          WriteMessage writeMessage;  
8.          Queue<WriteMessage> writeQueue = session.getWriteQueue();  
9.          **synchronized** (writeQueue) \{  
10.             writeMessage = writeQueue.peek();  
11.             **if** (writeMessage.getWriteBuffer() == **null**  
12.                     || !writeMessage.getWriteBuffer().hasRemaining()) \{  
13.                 writeQueue.remove();  
14.                 **if** (writeMessage.getWriteFuture() != **null**) \{  
15.                     writeMessage.getWriteFuture().setResult(Boolean.TRUE);  
16.                 \}  
17.                 **try** \{  
18.                     session.getHandler().onMessageSent(session,  
19.                             writeMessage.getMessage());  
20.                 \} **catch** (Exception e) \{  
21.                     session.onException(e);  
22.                 \}  
23.                 writeMessage = writeQueue.peek();  
24.             \}  
25.         \}  
26.         **if** (writeMessage != **null**) \{  
27.             **try** \{  
28.                 session.pendingWrite(writeMessage);  
29.             \} **catch** (IOException e) \{  
30.                 session.onException(e);  
31.                 session.close();  
32.             \}  
33.         \}  
34.     \}

compete方法中的result就是实际写入的字节数，然后我们判断消息的缓冲区是否还有剩余，如果没有就将消息从队列中移除，如果队列中还有消息，那么继续发起write调用。  
  
   重复一下，这里引用的代码都是yanf4j aio分支中的源码，感兴趣的朋友可以直接check out出来看看: [http://yanf4j.googlecode.com/svn/branches/yanf4j-aio][http_yanf4j.googlecode.com_svn_branches_yanf4j-aio]。  
   在引入了aio之后，java对于网络层的支持已经非常完善，该有的都有了，java也已经成为服务器开发的首选语言之一。java的弱项在于对内存的管理上，由于这一切都交给了GC，因此在高性能的网络服务器上还是Cpp的天下。java这种单一堆模型比之erlang的进程内堆模型还是有差距，很难做到高效的垃圾回收和细粒度的内存管理。  
  
   这里仅仅是介绍了aio开发的核心流程，对于一个网络框架来说，还需要考虑超时的处理、缓冲buffer的处理、业务层和网络层的切分、可扩展性、性能的可调性以及一定的通用性要求。

jdk7以前的nio是非阻塞IO,操作系统底层比方说linux,是用IO复用select实现的

epoll也不是异步IO啊。异步IO在linux上目前仅限于文件系统，并且还没有得到广泛应用，很多平台都没有这玩意。  
java aio在windows上是利用iocp实现的，这是真正的异步IO。而在linux上，是通过epoll模拟异步的

参考：

\[1\] NIO.2 入门，第 1 部分: 异步通道 API http://www.ibm.com/developerworks/cn/java/j-nio2-1/

\[2\] NIO.2 入门，第 2 部分: 文件系统 API:http://www.ibm.com/developerworks/cn/java/j-nio2-2/index.html

[icon_star.png]: /images/20220523/36a6eb8347fa4f68bf777d8a48a58ae8.png
[http_yanf4j.googlecode.com_svn_branches_yanf4j-aio]: http://yanf4j.googlecode.com/svn/branches/yanf4j-aio