sharding sphere 4.0.0-RC1版本按年分表（自动建表）

老梁

发布于 2020-02-13 00:17:12

1.1K0

发布于 2020-02-13 00:17:12

1. sharding sphere 4.0.0-RC1版本按年分表（自动建表）

1.1. 概述

上篇文章留了个坑，sharding sphere本身没有提供自动建表功能，但我想了想，我们可以绕过它本身的设定，它本身的数据分片是通过分片算法实现，如下继承一些接口PreciseShardingAlgorithm、RangeShardingAlgorithm等，在范围查询的时候，原本我们需要从availableTargetNames参数去判断已存在的表，从而做到不查不存在的表，插入时也是同样的道理

但是事实上我们可以不需要使用availableTargetNames参数，在系统初始化的时候自行去查询已存在的表再缓存起来，当然过程中我也踩了些坑，因为LogShardingAlgorithm的加载过程和我读数据库的顺序不好控制，理论上我可以随时连接数据库读，但我又需要读到spring加载的配置环境再决定连哪个数据库，不断的测试后还是不好安排，最后采取了如下的方式，在第一次调用分片算法的时候读取并缓存表

这样做后实现的效果就是在做插入数据的时候，我判断日期为2020年的表是否在缓存中，在则说明数据库存在该表，否则我先创建该表，再把该表加入缓存；而做范围查询的时候，我们容易请求参数超范围，则从缓存中的表挑选，这些表才是存在的，比如你数据库存在2018,2019,2020年的表，你查询条件是2017~2021，那么也只会查18,19,20三张表

/**
 * @author: laoliangliang
 * @description: 日志分片
 * @create: 2020/1/2 10:19
 **/
@Slf4j
public class LogShardingAlgorithm implements PreciseShardingAlgorithm, RangeShardingAlgorithm<Integer> {

    /**
     * 缓存存在的表
     */
    private List<String> tables;

    private final String systemLogHead = "system_log_";

    private Boolean isLoad = false;

    @Override
    public String doSharding(Collection availableTargetNames, PreciseShardingValue shardingValue) {
        if (!isLoad) {
            tables = DBUtil.getAllSystemLogTable();
            isLoad = true;
        }
        String target = shardingValue.getValue().toString();
        String year = target.substring(target.lastIndexOf("_") + 1, target.lastIndexOf("_") + 5);
        if (!tables.contains(systemLogHead + year)) {
            DBUtil.createLogTable(year);
            tables.add(year);
        }
        return shardingValue.getLogicTableName() + "_" + year;
    }

    @Override
    public Collection<String> doSharding(Collection<String> availableTargetNames, RangeShardingValue<Integer> shardingValue) {
        if (!isLoad) {
            tables = DBUtil.getAllSystemLogTable();
            isLoad = true;
        }
        Collection<String> availables = new ArrayList<>();
        Range valueRange = shardingValue.getValueRange();
        for (String target : tables) {
            Integer shardValue = Integer.parseInt(target.substring(target.lastIndexOf("_") + 1, target.lastIndexOf("_") + 5));
            if (valueRange.hasLowerBound()) {
                String lowerStr = valueRange.lowerEndpoint().toString();
                Integer start = Integer.parseInt(lowerStr.substring(0, 4));
                if (start - shardValue > 0) {
                    continue;
                }
            }
            if (valueRange.hasUpperBound()) {
                String upperStr = valueRange.upperEndpoint().toString();
                Integer end = Integer.parseInt(upperStr.substring(0, 4));
                if (end - shardValue < 0) {
                    continue;
                }
            }
            availables.add(target);
        }
        return availables;
    }
}

1.2. 技巧

这里要读取system_log_2019,system_log_2020表的表名只需查询mysql的information_schema.TABLES，如：

select TABLE_NAME from information_schema.`TABLES`
where TABLE_NAME like 'system_log_%'

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2020-01-15 ，如有侵权请联系 cloudcommunity@tencent.com 删除

缓存

数据库

sql

编程算法

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度