springcloud学习-17 Spring Cloud Stream【周阳springcloud2020学习笔记】

快来打我* 2023-02-23 07:58 3阅读 0赞

Spring Cloud Stream 是一个用来为微服务应用构建消息驱动能力的框架。  
Spring Cloud Stream 为一些供应商的消息中间件产品提供了个性化的自动化配置实现，并引入了发布-订阅、消费组、分区这三个核心概念。  
通过使用 Spring Cloud Stream，可以有效简化开发人员对消息中间件的使用复杂度，让系统开发人员可以有更多的精力关注于核心业务逻辑的处理。  
目前仅支持 RabbitMQ 和 Kafka 的自动化配置。

概括：屏蔽底层消息中间件的差异，降低切换版本，统一消息的编程模型

Spring Cloud Stream中文指导手册：[https://m.wang1314.com/doc/webapp/topic/20971999.html][https_m.wang1314.com_doc_webapp_topic_20971999.html]

一、设计思想  
1.标准MQ  
生产者/消费者之间靠消息媒介传递信息内容:Message  
消息必须走特定的通道:MessageChannel  
消息通道里的消息如何被消费呢，谁负责收发处理:消息通道MessageChannel的子接口SubscribableChannel,由MessageHandler消息处理器订阅

2.通过定义绑定器Binder作为中间层，实现了应用程序与消息中间件细节之间的隔离。  
INPUT对应于消费者  
OUTPUT对应于生产者

3.Stream中的消息通信方式遵循了发布-订阅模式：Topic主题进行广播  
在RabbitMQ就是Exchange  
在kafka中就是Topic

二、Spring Cloud Stream标准流程套路  
1.Binder：很方便的连接中间件，屏蔽差异  
2.Channel：通道，是队列Queue的一种抽象，在消息通讯系统中就是实现存储和转发的媒介，通过对Channel对队列进行配置  
3.Source和Sink：简单的可理解为参照对象是Spring Cloud Stream自身，从Stream发布消息就是输出，接收消息就是输入

Middleware：中间件，目前只支持RabbitMQ和Kafka  
Binder：BInder是应用与消息中间件之间的封装，目前实行了Kafka和RabbitMQ的Binder。  
通过Binder可以方便的连接中间件，可以动态改变消息类型（对应于Kafka的topic，RabbitMQ的exchange），这些都可以通过配置文件来实现。  
@Input:注解标识输入通道，通过该输入通道接收到的消息进入应用程序  
@Output：注解标识输出通道，发布的消息将通过该通道离开应用程序  
@StreamListener：监听队列，用于消费者的队列的消息接收  
@EnableBinding：指信道channel和exchange绑定在一起

三、案例

1.rabbitMQ开启

2.生产者模块，进行发消息：stream-rabbitmq-provider8801

1）新建module：stream-rabbitmq-provider8801

2）pom

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <parent>
            <artifactId>demo2020</artifactId>
            <groupId>cn.chen.demo</groupId>
            <version>1.0-SNAPSHOT</version>
        </parent>
        <modelVersion>4.0.0</modelVersion>
    
        <artifactId>stream-rabbitmq-provider8801</artifactId>
    
        <dependencies>
    
            
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>cn.chen.demo</groupId>
                <artifactId>api-common</artifactId>
                <version>${project.version}</version>
            </dependency>
    
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
            </dependency>
    
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-actuator</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-devtools</artifactId>
                <scope>runtime</scope>
                <optional>true</optional>
            </dependency>
    
            
            <dependency>
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
                <optional>true</optional>
            </dependency>
    
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
            </dependency>
    
        </dependencies>
    
    </project>

3）yml

server:
      port: 8801
    
    spring:
      application:
        name: stream-provider
      cloud:
        stream:
          binders: # 在此处配置要绑定的rabbitmq的服务信息；
            defaultRabbit: # 表示定义的名称，用于于binding整合
              type: rabbit # 消息组件类型
              environment: # 设置rabbitmq的相关的环境配置
                spring:
                  rabbitmq:
                    host: localhost
                    port: 5672
                    username: guest
                    password: guest
          bindings: # 服务的整合处理
            output: # 这个名字是一个通道的名称
              destination: studyExchange # 表示要使用的Exchange名称定义
              content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
              binder: defaultRabbit  # 设置要绑定的消息服务的具体设置
    
    eureka:
      client: # 客户端进行Eureka注册的配置
        service-url:
          defaultZone: http://eureka7001.com:7001/eureka
      instance:
        lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
        lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
        instance-id: send-8801.com  # 在信息列表时显示主机名称
        prefer-ip-address: true # 访问的路径变为IP地址

4）主启动

@SpringBootApplication
    public class StreamMQProvider8801 { 
    
    	public static void main(String[] args) { 
    		SpringApplication.run(StreamMQProvider8801.class, args);
    	}
    }

5）业务类

*  发送消息接口

public interface IMessageProvider { 
    
    	/** * @title send * @Description 发送消息 **/
    	public void send();
    }

*  发送消息接口实现类

@Slf4j
    @EnableBinding(Source.class) //定义消息的推送管道
    public class MessageProviderImpl implements IMessageProvider{ 
    
    	@Autowired
    	private MessageChannel output; // 消息发送管道
    
    	@Override
    	public void send() { 
    		String serial = UUID.randomUUID().toString();
    		output.send(MessageBuilder.withPayload(serial).build());
    		log.info("随机数：" + serial);
    	}
    }

*  controller

@RestController
    @RequestMapping("/send")
    public class SendMessageController { 
    	@Resource
    	private IMessageProvider messageProvider;
    
    	@GetMapping(value = "/sendMessage")
    	public String sendMessage()
    	{ 
    		return messageProvider.send();
    	}
    
    }

3.消费者模块，接收消息：stream-rabbitmq-consumer8802

1）新建module：stream-rabbitmq-consumer8802

2）pom

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <parent>
            <artifactId>demo2020</artifactId>
            <groupId>cn.chen.demo</groupId>
            <version>1.0-SNAPSHOT</version>
        </parent>
        <modelVersion>4.0.0</modelVersion>
    
        <artifactId>stream-rabbitmq-consumer8802</artifactId>
    
        <dependencies>
    
            
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>cn.chen.demo</groupId>
                <artifactId>api-common</artifactId>
                <version>${project.version}</version>
            </dependency>
    
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
            </dependency>
    
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-actuator</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-devtools</artifactId>
                <scope>runtime</scope>
                <optional>true</optional>
            </dependency>
    
            
            <dependency>
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
                <optional>true</optional>
            </dependency>
    
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
            </dependency>
    
        </dependencies>
    
    </project>

3）yml

server:
      port: 8802
    
    spring:
      application:
        name: stream-consumer
      cloud:
        stream:
          binders: # 在此处配置要绑定的rabbitmq的服务信息；
            defaultRabbit: # 表示定义的名称，用于于binding整合
              type: rabbit # 消息组件类型
              environment: # 设置rabbitmq的相关的环境配置
                spring:
                  rabbitmq:
                    host: localhost
                    port: 5672
                    username: guest
                    password: guest
          bindings: # 服务的整合处理
            input: # 这个名字是一个通道的名称，输入
              destination: studyExchange # 表示要使用的Exchange名称定义
              content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
              binder: defaultRabbit  # 设置要绑定的消息服务的具体设置
    
    eureka:
      client: # 客户端进行Eureka注册的配置
        service-url:
          defaultZone: http://eureka7001.com:7001/eureka
      instance:
        lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
        lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
        instance-id: receiver-8802.com  # 在信息列表时显示主机名称
        prefer-ip-address: true # 访问的路径变为IP地址

4）主启动

@SpringBootApplication
    public class StreamMQConsumer8802 { 
    	public static void main(String[] args) { 
    		SpringApplication.run(StreamMQConsumer8802.class, args);
    	}
    }

5）业务类

@Component
    @EnableBinding(Sink.class)
    @Slf4j
    public class ReceiverMessageListenerController { 
    
    	@Value("${server.port}")
    	private String serverPort;
    
    	@StreamListener(Sink.INPUT)
    	public void input(Message<String> message) { 
    		log.info("消费者1号，接受："+message.getPayload()+"\t port:"+serverPort);
    	}
    
    }

4.消费者模块，接收消息：stream-rabbitmq-consumer8803  
同上copy一份修改即可

5.分组消费与持久化

1）启动两个消费者之后出现了问题：

*  有重复消费问题
 *  消息持久化问题

2）分组：解决重复消费问题

*  原理：微服务应用放置于同一个group中，就能够保证消息只会被其中一个应用消费一次。不同的组是可以消费的，同一个组内会发生竞争关系，只有其中一个可以消费。
 *  8802、8803不同组情况：yml添加分组配置  
    8802：consumer1  
    8803：consumer2

server:
      port: 8802
    
    spring:
      application:
        name: stream-consumer
      cloud:
        stream:
          binders: # 在此处配置要绑定的rabbitmq的服务信息；
            defaultRabbit: # 表示定义的名称，用于于binding整合
              type: rabbit # 消息组件类型
              environment: # 设置rabbitmq的相关的环境配置
                spring:
                  rabbitmq:
                    host: localhost
                    port: 5672
                    username: guest
                    password: guest
          bindings: # 服务的整合处理
            input: # 这个名字是一个通道的名称，输入
              destination: studyExchange # 表示要使用的Exchange名称定义
              content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
              binder: defaultRabbit  # 设置要绑定的消息服务的具体设置
              group: consumer1 # 消费者分组
    
    eureka:
      client: # 客户端进行Eureka注册的配置
        service-url:
          defaultZone: http://eureka7001.com:7001/eureka
      instance:
        lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
        lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
        instance-id: receiver-8802.com  # 在信息列表时显示主机名称
        prefer-ip-address: true

结论：重复消费

*  8802、8803同组情况：group: consumer  
    8802/8803实现了轮询分组，每次只有一个消费者 8801模块发的消息只能被8802或8803其中一个接收到，这样避免了重复消费  
    结论：同一个组的多个微服务实例，每次只会有一个拿到

3）持久化

[**springcloud学习系列目录**][springcloud]

[https_m.wang1314.com_doc_webapp_topic_20971999.html]: https://m.wang1314.com/doc/webapp/topic/20971999.html
[springcloud]: https://blog.csdn.net/u010734213/article/details/107080320