NSQ简介(一)
NSQ组件
- nsqd是一个守护进程,负责接收,排队,投递消息给客户端。
它可以独立运行,不过通常它是由 nsqlookupd 实例所在集群配置的(它在这能声明 topics 和 channels,以便大家能找到)。
它在 2 个 TCP 端口监听,一个给客户端,另一个是 HTTP API。同时,它也能在第三个端口监听 HTTPS。 - nsqlookupd 是守护进程负责管理拓扑信息。客户端通过查询 nsqlookupd 来发现指定话题(topic)的生产者,并且 nsqd 节点广播话题(topic)和通道(channel)信息。
有两个接口:TCP 接口,nsqd 用它来广播。HTTP 接口,客户端用它来发现和管理。 - nsqadmin 是一套 WEB UI,用来汇集集群的实时统计,并执行不同的管理任务。
NSQ 组件
topic消息的逻辑关键词:
- topic 是 NSQ 消息发布的 逻辑关键词 ,可以理解为人为定义的一种消息类型。当程序初次发布带 topic 的消息时,如果 topic 不存在,则会在 nsqd中创建。
producer消息的生产者/发布者:
- producer 通过 HTTP API 将消息发布到 nsqd 的指定 topic ,一般有 pub/mpub 两种方式, pub 发布一个消息, mpub 一个往返发布多个消息。
- producer 也可以通过 nsqd客户端 的 TCP接口 将消息发布给 nsqd 的指定 topic 。
- 当生产者 producer 初次发布带 topic 的消息给 nsqd 时,如果 topic 不存在,则会在 nsqd 中创建 topic 。
channel消息传递的通道:
- 当生产者每次发布消息的时候,消息会采用多播的方式被拷贝到各个 channel 中, channel 起到队列的作用。
channel 与 consumer(消费者) 相关,是消费者之间的负载均衡,消费者通过这个特殊的channel读取消息。 - 在 consumer 想单独获取某个 topic 的消息时,可以 subscribe(订阅)一个自己单独命名的 nsqd中还不存在的 channel, nsqd会为这个 consumer创建其命名的 channel
- Channel 会将消息进行排列,如果没有 consumer读取消息,消息首先会在内存中排队,当量太大时就会被保存到磁盘中。可以在配置中配置具体参数。
- 一个 channel 一般会有多个 consumer 连接。假设所有已连接的 consumer 处于准备接收消息的状态,每个消息将被传递到一个随机的 consumer。
- Go语言中的channel是表达队列的一种自然方式,因此一个NSQ的topic/channel,其核心就是一个存放消息指针的Go-channel缓冲区。缓冲区的大小由 —mem-queue-size 配置参数确定。
- 当生产者每次发布消息的时候,消息会采用多播的方式被拷贝到各个 channel 中, channel 起到队列的作用。
consumer消息的消费者:
- consumer 通过 TCPsubscribe 自己需要的 channel
topic 和 channel 都没有预先配置。 topic 由第一次发布消息到命名 topic 的 producer 创建 或 第一次通过 subscribe 订阅一个命名 topic 的 consumer 来创建。 channel 被 consumer 第一次 subscribe 订阅到指定的 channel 创建。 - 多个 consumersubscribe一个 channel,假设所有已连接的客户端处于准备接收消息的状态,每个消息将被传递到一个 随机 的 consumer。
- NSQ 支持延时消息, consumer 在配置的延时时间后才能接受相关消息。
- Channel在 consumer 退出后并不会删除,这点需要特别注意。
- consumer 通过 TCPsubscribe 自己需要的 channel
还没有评论,来说两句吧...