2.2.4 Kafka请求处理线程

今天药忘吃喽~ 2023-01-12 15:53 16阅读 0赞

#### 2.2.4 Kafka请求处理线程 ####

KafkaServer会创建请求处理线程池(KafkaRequestHandlerPool)，在请求处理钱程池中会创建并启动多个请求处理线程(KafkaRequestHandler)。SocketServer中全局的请求通道会传递给每个请求处理线程。这样每个请求处理线程共同消费同一个请求通道中的所有客户端请求。每个请求处理线程获取到请求后，都交给统一的KafkaApis处理。注意：一个KafkaServer有多个请求处理线程，但是只有一个KafkaApis。相关代码如下：

class KafkaRequestHandlerPool(val brokerId: Int,
                                  val requestChannel: RequestChannel,
                                  val apis: KafkaApis,
                                  time: Time,
                                  numThreads: Int) extends Logging with KafkaMetricsGroup { }
    
    class KafkaRequestHandler(id: Int,
                              brokerId: Int,
                              val aggregateIdleMeter: Meter,
                              val totalHandlerThreads: Int,
                              val requestChannel: RequestChannel,
                              apis: KafkaApis,
                              time: Time) extends Runnable with Logging { }

总结下服务端和网络层相关的组件有r：r一个接收器线程(rAcceptorr)、r多个处理器(rprocessorrr)、一个请求通道(rRequestChannelr)、r一个请求队列(rrequestQueuer)、r多个响应队列(rrresrponseQueuer)、一个请求处理线程连接池r(rKafkaRequestHandlerPoolr)、多个请求处理线程(rKafkaRequestHandlerrr)、一个服务端请求入口(KafkaApis)。

发表评论取消回复

表情：

评论列表（有 0 条评论，16人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka：broker如何处理请求

前言 ![format_png][] 生产者生产消息，调用Kafka Client提供的API通过send方法发送到broker之后，broker会根据消息请求类型有对

桃扇骨/ 2024年03月24日 14:18/ 0 赞/ 94 阅读

相关 2.2.4 Kafka请求处理线程

2.2.4 Kafka请求处理线程 KafkaServer会创建请求处理线程池(KafkaRequestHandlerPool)，在请求处理钱程池中会创建并启动多个请求处

今天药忘吃喽~/ 2023年01月12日 15:53/ 0 赞/ 17 阅读

相关 Kafka 请求处理流程、重平衡流程

Kafka 请求处理流程响应式模型 Kafka 采用的是一种 `响应式(Reactor)模型`，那么什么是响应式模型呢？简单的说，Reactor 模式是事件驱动架

末蓝、/ 2022年11月18日 04:50/ 0 赞/ 246 阅读

相关 224-C++多线程(信号量）

信号量 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLm

缺乏、安全感/ 2022年11月08日 14:15/ 0 赞/ 20 阅读

相关 leetcode224

Basic Calculator 折腾了好一会儿，其实意思很简单。就是实现一个包含+，-法和括号运算的计算器。可能是没找对方法吧，看了网上的代码量，感觉我写的就是一坨屎啊

Love The Way You Lie/ 2022年08月09日 00:51/ 0 赞/ 145 阅读

相关 java使用java.util.concurrent.CountDownLatch 同时处理多个请求，多线程处理http请求

使用java 线程计数器进行多个HTTP请求同时调用处理 import java.util.concurrent.CountDownLatch; p

你的名字/ 2022年07月15日 05:38/ 0 赞/ 251 阅读

相关 kafka多线程消费及处理和手动提交处理方案设计

kafka与其他消息队列不同的是, kafka的消费者状态由外部( 消费者本身或者类似于Zookeeper之类的外部存储 )进行维护, 所以kafka的消费就更加灵活, 但是也

Love The Way You Lie/ 2022年06月07日 08:41/ 0 赞/ 230 阅读

相关 java kafka 多线程消费

我们先来看下简单的kafka生产者和消费者模式代码：生产者KafkaProducer / @author xiaofeng @version V1.0 @t

待我称王封你为后i/ 2022年05月28日 11:22/ 0 赞/ 232 阅读

相关 Kafka Producer请求处理机制(五)

文章目录 Kafka Producer请求处理机制 KafkaApis ReplicaManager

秒速五厘米/ 2022年05月11日 03:58/ 0 赞/ 211 阅读

相关 L224

Astronomers have revealed details of mysterious signals emanating from a distant galaxy,

古城微笑少年丶/ 2021年12月23日 08:27/ 0 赞/ 135 阅读