OpenTSDB原理系列：线程模型

た入场券 2022-01-23 14:41 296阅读 0赞

# OpenTSDB原理系列：线程模型 #

前面两篇文章介绍了 OpenTSDB的元数据模型以及数据表定义，这篇文章介绍OpenTSDB的线程模型，主要是处理HTTP请求的线程池以及负责HBase响应的线程池。

# HTTP请求处理线程池 #

OpenTSDB启动时，会创建一个Netty服务端（默认端口为4242），以接收OpenTSDB服务端发送过来的HTTP请求。Netty的服务端实现包括了一个Boss线程和多个业务处理线程（默认线程数为CPU核数的两倍）。

![HTTP-Request][]

1.  OpenTSDB应用通过Socket连接到OpenTSDB的服务端，OpenTSDB的Boss线程会处理这个连接请求；
2.  OpenTSDB Boss Thread通过监听端口，接受该连接请求，并生成一个新的socket连接。
3.  OpenTSDB Boss Thread把新的socket注册到业务处理线程池中。每个socket绑定I/O线程池中的某个线程。
4.  OpenTSDB I/O Thread通过轮询各个Socket，从Socket中取出HTTP请求的内容。**说明**：上述1~4步骤，都是在Netty的框架中完成。
5.  OpenTSDB I/O Thread处理HTTP请求数据（不同的请求有不同的处理流程，另文进行说明）。
6.  如果OpenTSDB与HBase之间的连接不存在，就创建一个新连接。
7.  OpenTSDB I/O Thread处理HTTP请求数据后，发送HBase请求到HBase服务。

由上面的流程可以知道，OpenTSDB的请求都是由OpenTSDB I/O Thread线程池进行处理的。

# HBase响应处理线程池 #

OpenTSDB发送请求到HBase后，需要处理HBase返回的相应消息，这是通过OpenTSDB中的一个Netty客户端实现的。

Netty的客户端实现包括了一个Boss线程和多个业务处理线程（默认线程数为CPU核数\*2）。

![HTTP-Response][]

1.  每个HBase与OpenTSDB之间的Socket连接，在OpenTSDB向HBase发起请求的时候就已经建立了。 也会把该Socket绑定到AsyncHBase I/O Threads线程池的一个线程中。

2. AsyncHBase I/O Thread读取Socket中的HBase响应消息。

**  说明**：上述1~2步骤是在Netty的框架中完成的。

3. AsyncHBase I/O Thread 处理HBase的响应消息。而后，发送HTTP响应消息到OpenTSDB应用端。

由上面的流程可以知道，OpenTSDB的HTTP响应都是由AsyncHBase I/O Thread线程池处理的。

# 小结 #

在OpenTSDB中，对HTTP请求和HBase响应是**异步处理**的，这部分主要是借助了Netty的框架。异步处理使得线程资源的利用更加高效，一定程度上能够提升读写的并发度，带来吞吐量的提升。目前，HBase也已经支持了异步RPC框架。

[HTTP-Request]: /images/20220123/e20546189459427e9c8c97dfabf61899.png
[HTTP-Response]: /images/20220123/ce773d2e4fcf456b9e710af18ddb6fcd.png

发表评论取消回复

表情：

评论列表（有 0 条评论，296人围观）

还没有评论，来说两句吧...

相关阅读

相关线程调度的原理、线程执行过程、线程栈模型

线程调度的原理线程调度是操作系统或执行环境管理多个线程并分配CPU时间片给它们的过程。线程调度的原理取决于操作系统和执行环境的实现，但基本原理通常包括以下关键概念：

ゝ一世哀愁。/ 2023年10月15日 15:19/ 0 赞/ 12 阅读

相关 05 Redis线程模型、原理

Redis为什么是单线程的，Redis线程模型 Redis内部使用了文件事件处理器file event handle，这个文件事件处理器是单线程的，所以Redis被

朱雀/ 2023年07月25日 09:59/ 0 赞/ 152 阅读

相关 Redis系列（六）：Redis线程模型

最近有朋友说，能不能写一篇关于 Redis 线程模型的文章，面试被问到不会导致比较尴尬；今天就来给安排上。 > Redis 事件是什么？不是讲线程模型吗？和事件有什么关系

Love The Way You Lie/ 2022年11月29日 11:18/ 0 赞/ 197 阅读

相关 Netty系列之Netty线程模型

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 1. 背景 1.1. Java线程模型的演进

亦凉/ 2022年10月02日 03:49/ 0 赞/ 227 阅读

相关 netty学习系列：NIO Reactor模型 & Netty线程模型

觉得写得很好，就转载了转载自：http://www.jianshu.com/p/38b56531565d [![144][]][144 1] 作者 [sun

向右看齐/ 2022年06月18日 09:58/ 0 赞/ 339 阅读

相关 Netty系列三：netty线程模型

netty使用reactor反应堆线程模型。一、Reactor模型单线程模型如下： ![这里写图片描述][SouthEast] 用户发起IO操作到事件分离器

快来打我*/ 2022年05月25日 05:10/ 0 赞/ 251 阅读

相关 OpenTSDB原理系列：线程模型

OpenTSDB原理系列：线程模型前面两篇文章介绍了 OpenTSDB的元数据模型以及数据表定义，这篇文章介绍OpenTSDB的线程模型，主要是处理HTTP请求的线程池

た入场券/ 2022年01月23日 14:41/ 0 赞/ 297 阅读

相关 OpenTSDB原理系列：数据表设计

上一篇文章《[OpenTSDB原理系列：元数据模型][OpenTSDB]》讲到了OpenTSDB的基础概念，以及元数据模型，这篇文章介绍OpenTSDB的HBase数据表设计。

约定不等于承诺〃/ 2022年01月23日 14:06/ 0 赞/ 274 阅读

相关 OpenTSDB原理系列：元数据模型

本文作为介绍OpenTSDB原理系列文章的第一篇，主要介绍了时序数据以及OpenTSDB的一些基础概念，以及OpenTSDB中的元数据模型定义。 > 什么是时序数据？

Myth丶恋晨/ 2022年01月23日 13:57/ 0 赞/ 317 阅读

相关 OpenTSDB原理系列：读取流程

OpenTSDB原理系列：读取流程一个完整的OpenTSDB HTTP Query请求，分别由OpenTSDB I/O Thread和AsyncHBase I/O Th

Love The Way You Lie/ 2022年01月22日 04:47/ 0 赞/ 419 阅读