分库分表框架ShardingSphere配置示例

分手后的思念是犯贱 2024-02-20 11:29 26阅读 0赞

# 数据源
    spring:
      autoconfigure:
        exclude: org.springframework.cloud.gateway.config.GatewayAutoConfiguration,org.springframework.cloud.gateway.config.GatewayClassPathWarningAutoConfiguration,com.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceAutoConfigure
      datasource:
        type: com.alibaba.druid.pool.DruidDataSource
        druid:
          driver-class-name: com.mysql.cj.jdbc.Driver
          username: 
          password: 
          url: 
          stat-view-servlet:
            enabled: true
            allow: ""
            url-pattern: /druid/*
          filter:
            stat:
              enabled: true
              log-slow-sql: true
              slow-sql-millis: 10000
              merge-sql: false
            wall:
              config:
                multi-statement-allow: true
      shardingsphere:
        datasource:
          names: ds0
          ds0:
            driver-class-name: com.mysql.cj.jdbc.Driver
            maxPoolSize: 100
            minPoolSize: 5
            type: com.alibaba.druid.pool.DruidDataSource
            username: 
            password: 
            url: 
        enabled: true
        mode:
          type: memory # 内存模式
        props:
          sql-show: true #打印sql
        rules:
          sharding:
            binding-tables: send_result,send_aim_report
            # 默认主键策略
            default-key-generate-strategy:
              column: id # 主键字段名
              key-generator-name: id-key # 自定义策略名称
            key-generators:
              id-key:
                type: SNOWFLAKE # 自定义策略的类型为：雪花id
            tables:
              # 表名
              send_result:
                # 数据源.表名+日期后缀规则
                actual-data-nodes: ds0.send_result_$->{20230524..20301231}
                table-strategy:
                  standard:
                    # 自定义分片策略名称：不能含有下划线：“_”
                    sharding-algorithm-name: send-result-inline
                    # 分片策略对应的key
                    sharding-column: create_time
              send_aim_report:
                # 数据源.表名+日期后缀规则
                actual-data-nodes: ds0.send_aim_report_$->{20230524..20301231}
                table-strategy:
                  standard:
                    # 自定义分片策略名称：不能含有下划线：“_”
                    sharding-algorithm-name: send-result-inline
                    # 分片策略对应的key
                    sharding-column: create_time
            # 配置分片策略
            sharding-algorithms:
              # 自定义分片策略名称
              send-result-inline:
                type: CLASS_BASED # 自定义分片策略：CLASS_BASED
                props:
                  strategy: standard
                  # 使用自定义类实现分片逻辑处理
                  algorithmClassName: com.shihan.ums.platform.common.config.TableShardingAlgorithm

这段代码是一个Spring Boot应用程序的配置文件，使用了阿里巴巴的Druid数据源和ShardingSphere分库分表框架。

首先，配置了Druid数据源。Druid是一种高性能的JDBC连接池，可以提供监控和统计功能。在这里，配置了数据库的驱动类、用户名、密码和URL等信息，以及一些Druid的监控和过滤器设置。

接下来，配置了ShardingSphere的数据源。ShardingSphere是一个开源的分库分表中间件，可以将数据分散存储在多个数据库中，以提高性能和扩展性。这里只配置了一个数据源（ds0），指定了该数据源的驱动类、最大连接池大小、最小连接池大小等信息。

然后，配置了ShardingSphere的模式为内存模式，即将分片规则和分片策略保存在内存中。还设置了打印SQL语句的开关。

接下来，配置了具体的分片规则。这里定义了两个表（send\_result和send\_aim\_report），并指定了它们的实际数据节点（即真正存储数据的物理表名）。通过$->\{20230524…20301231\}这样的语法，表示按照日期后缀自动生成实际数据节点。同时，还配置了每个表的分片策略，即根据create\_time字段进行分片。

最后，配置了自定义的分片策略。这里使用了一个自定义的类com.shihan.ums.platform.common.config.TableShardingAlgorithm来实现分片逻辑处理。

总的来说，这段代码是在Spring Boot应用程序中使用Druid数据源和ShardingSphere分库分表框架来管理数据库连接和进行数据分片的配置。

import com.google.common.collect.Range;
    import com.shihan.ums.platform.common.util.ShardingAlgorithmTool;
    import com.shihan.ums.platform.common.util.UmsDateUtils;
    import org.apache.shardingsphere.sharding.api.sharding.standard.PreciseShardingValue;
    import org.apache.shardingsphere.sharding.api.sharding.standard.RangeShardingValue;
    import org.apache.shardingsphere.sharding.api.sharding.standard.StandardShardingAlgorithm;
    
    import java.time.LocalDateTime;
    import java.util.Collection;
    import java.util.HashSet;
    import java.util.LinkedHashSet;
    
    
    public class TableShardingAlgorithm implements StandardShardingAlgorithm<LocalDateTime> {
    
    	/**
    	 * 精准匹配
    	 *
    	 * @param collection
    	 * @param preciseShardingValue
    	 * @return
    	 */
    	@Override
    	public String doSharding(Collection<String> collection, PreciseShardingValue<LocalDateTime> preciseShardingValue) {
    		// 根据当前日期 来 分库分表
    		LocalDateTime date = preciseShardingValue.getValue();
    
    		String extraName = UmsDateUtils.getDateString(date);
    
    		String tbName = preciseShardingValue.getLogicTableName() + "_" + extraName;
    
    		HashSet<String> tableNameCache = ShardingAlgorithmTool.cacheTableNames();
    
    		String temp = null;
    		for (String each : tableNameCache) {
    			temp = each;
    			// 找到对应表名
    			if (each.equals(tbName)) {
    				return each;
    			}
    		}
    		return temp;
    	}
    
    	/**
    	 * 范围查询
    	 *
    	 * @param collection
    	 * @param rangeShardingValue
    	 * @return
    	 */
    	@Override
    	public Collection<String> doSharding(Collection<String> collection, RangeShardingValue<LocalDateTime> rangeShardingValue) {
    		Range<LocalDateTime> valueRange = rangeShardingValue.getValueRange();
    		String logicTableName = rangeShardingValue.getLogicTableName();
    
    		LocalDateTime lowerDate = valueRange.lowerEndpoint();
    		LocalDateTime upperDate = valueRange.upperEndpoint();
    
    		String beginTime = UmsDateUtils.getDateString(lowerDate);
    		String endTime = UmsDateUtils.getDateString(upperDate);
    
    		Integer low = Integer.parseInt(beginTime);
    		Integer upper = Integer.parseInt(endTime);
    
    		HashSet<String> tableNameCache = ShardingAlgorithmTool.cacheTableNames();
    		Collection<String> result = new LinkedHashSet<>(tableNameCache.size());
    
    		for (int i = low; i <= upper; i++) {
    			String newTableName = logicTableName + "_" + i;
    			for (String tableName : tableNameCache) {
    				if (tableName.equals(newTableName)) {
    					result.add(tableName);
    				}
    			}
    		}
    		return result;
    	}
    
    	@Override
    	public String getType() {
    		return null;
    	}
    
    	@Override
    	public void init() {
    
    	}
    }