Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >springboot实现读写分离(基于Mybatis,mysql)

springboot实现读写分离(基于Mybatis,mysql)

作者头像
用户2038589
发布于 2019-06-05 08:54:39
发布于 2019-06-05 08:54:39
1.4K00
代码可运行
举报
文章被收录于专栏:青青天空树青青天空树
运行总次数:0
代码可运行

近日工作任务较轻,有空学习学习技术,遂来研究如果实现读写分离。这里用博客记录下过程,一方面可备日后查看,同时也能分享给大家(网上的资料真的大都是抄来抄去,,还不带格式的,看的真心难受)。

完整代码:https://github.com/FleyX/demo-project/tree/master/dxfl

1、背景

  一个项目中数据库最基础同时也是最主流的是单机数据库,读写都在一个库中。当用户逐渐增多,单机数据库无法满足性能要求时,就会进行读写分离改造(适用于读多写少),写操作一个库,读操作多个库,通常会做一个数据库集群,开启主从备份,一主多从,以提高读取性能。当用户更多读写分离也无法满足时,就需要分布式数据库了(可能以后会学习怎么弄)。

  正常情况下读写分离的实现,首先要做一个一主多从的数据库集群,同时还需要进行数据同步。这一篇记录如何用 mysql 搭建一个一主多次的配置,下一篇记录代码层面如何实现读写分离。

2、搭建一主多从数据库集群

  主从备份需要多台虚拟机,我是用 wmware 完整克隆多个实例,注意直接克隆的虚拟机会导致每个数据库的 uuid 相同,需要修改为不同的 uuid。修改方法参考这个:点击跳转。

主库配置 主数据库(master)中新建一个用户用于从数据库(slave)读取主数据库二进制日志,sql 语句如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql> CREATE USER 'repl'@'%' IDENTIFIED BY '123456';#创建用户
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';#分配权限
mysql>flush privileges;   #刷新权限

同时修改 mysql 配置文件开启二进制日志,新增部分如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[mysqld]
server-id=1
log-bin=master-bin
log-bin-index=master-bin.index

然后重启数据库,使用show master status;语句查看主库状态,如下所示:

  • 从库配置 同样先新增几行配置:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制

 [mysqld]
server-id=2
relay-log-index=slave-relay-bin.index
relay-log=slave-relay-bin

然后重启数据库,使用如下语句连接主库:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
CHANGE MASTER TO
         MASTER_HOST='192.168.226.5',
         MASTER_USER='root',
         MASTER_PASSWORD='123456',
         MASTER_LOG_FILE='master-bin.000003',
         MASTER_LOG_POS=154;

接着运行start slave;开启备份,正常情况如下图所示:Slave_IO_Running 和 Slave_SQL_Running 都为 yes。

可以用这个步骤开启多个从库。

  默认情况下备份是主库的全部操作都会备份到从库,实际可能需要忽略某些库,可以在主库中增加如下配置:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 不同步哪些数据库
binlog-ignore-db = mysql
binlog-ignore-db = test
binlog-ignore-db = information_schema

# 只同步哪些数据库,除此之外,其他不同步
binlog-do-db = game

3、代码层面进行读写分离

  代码环境是 springboot+mybatis+druib 连接池。想要读写分离就需要配置多个数据源,在进行写操作是选择写的数据源,读操作时选择读的数据源。其中有两个关键点:

  • 如何切换数据源
  • 如何根据不同的方法选择正确的数据源

1)、如何切换数据源

  通常用 springboot 时都是使用它的默认配置,只需要在配置文件中定义好连接属性就行了,但是现在我们需要自己来配置了,spring 是支持多数据源的,多个 datasource 放在一个 HashMapTargetDataSource中,通过dertermineCurrentLookupKey获取 key 来觉定要使用哪个数据源。因此我们的目标就很明确了,建立多个 datasource 放到 TargetDataSource 中,同时重写 dertermineCurrentLookupKey 方法来决定使用哪个 key。

2)、如何选择数据源

  事务一般是注解在 Service 层的,因此在开始这个 service 方法调用时要确定数据源,有什么通用方法能够在开始执行一个方法前做操作呢?相信你已经想到了那就是切面 。怎么切有两种办法:

  • 注解式,定义一个只读注解,被该数据标注的方法使用读库
  • 方法名,根据方法名写切点,比如 getXXX 用读库,setXXX 用写库

3)、代码编写

a、编写配置文件,配置两个数据源信息

  只有必填信息,其他都有默认设置

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql:
  datasource:
    #读库数目
    num: 1
    type-aliases-package: com.example.dxfl.dao
    mapper-locations: classpath:/mapper/*.xml
    config-location: classpath:/mybatis-config.xml
    write:
      url: jdbc:mysql://192.168.226.5:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true
      username: root
      password: 123456
      driver-class-name: com.mysql.jdbc.Driver
    read:
      url: jdbc:mysql://192.168.226.6:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true
      username: root
      password: 123456
      driver-class-name: com.mysql.jdbc.Driver
b、编写 DbContextHolder 类

  这个类用来设置数据库类别,其中有一个 ThreadLocal 用来保存每个线程的是使用读库,还是写库。代码如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/**
 * Description 这里切换读/写模式
 * 原理是利用ThreadLocal保存当前线程是否处于读模式(通过开始READ_ONLY注解在开始操作前设置模式为读模式,
 * 操作结束后清除该数据,避免内存泄漏,同时也为了后续在该线程进行写操作时任然为读模式
 * @author fxb
 * @date 2018-08-31
 */
public class DbContextHolder {

    private static Logger log = LoggerFactory.getLogger(DbContextHolder.class);
    public static final String WRITE = "write";
    public static final String READ = "read";

    private static ThreadLocal<String> contextHolder= new ThreadLocal<>();

    public static void setDbType(String dbType) {
        if (dbType == null) {
            log.error("dbType为空");
            throw new NullPointerException();
        }
        log.info("设置dbType为:{}",dbType);
        contextHolder.set(dbType);
    }

    public static String getDbType() {
        return contextHolder.get() == null ? WRITE : contextHolder.get();
    }

    public static void clearDbType() {
        contextHolder.remove();
    }
}
c、重写 determineCurrentLookupKey 方法

  spring 在开始进行数据库操作时会通过这个方法来决定使用哪个数据库,因此我们在这里调用上面 DbContextHolder 类的getDbType()方法获取当前操作类别,同时可进行读库的负载均衡,代码如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource {

    @Value("${mysql.datasource.num}")
    private int num;

    private final Logger log = LoggerFactory.getLogger(this.getClass());

    @Override
    protected Object determineCurrentLookupKey() {
        String typeKey = DbContextHolder.getDbType();
        if (typeKey == DbContextHolder.WRITE) {
            log.info("使用了写库");
            return typeKey;
        }
        //使用随机数决定使用哪个读库
        int sum = NumberUtil.getRandom(1, num);
        log.info("使用了读库{}", sum);
        return DbContextHolder.READ + sum;
    }
}
d、编写配置类

  由于要进行读写分离,不能再用 springboot 的默认配置,我们需要手动来进行配置。首先生成数据源,使用@ConfigurProperties 自动生成数据源:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    /**
     * 写数据源
     *
     * @Primary 标志这个 Bean 如果在多个同类 Bean 候选时,该 Bean 优先被考虑。
     * 多数据源配置的时候注意,必须要有一个主数据源,用 @Primary 标志该 Bean
     */
    @Primary
    @Bean
    @ConfigurationProperties(prefix = "mysql.datasource.write")
    public DataSource writeDataSource() {
        return new DruidDataSource();
    }

读数据源类似,注意有多少个读库就要设置多少个读数据源,Bean 名为 read+序号。

  然后设置数据源,使用的是我们之前写的 MyAbstractRoutingDataSource 类

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    /**
     * 设置数据源路由,通过该类中的determineCurrentLookupKey决定使用哪个数据源
     */
    @Bean
    public AbstractRoutingDataSource routingDataSource() {
        MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource();
        Map<Object, Object> targetDataSources = new HashMap<>(2);
        targetDataSources.put(DbContextHolder.WRITE, writeDataSource());
        targetDataSources.put(DbContextHolder.READ+"1", read1());
        proxy.setDefaultTargetDataSource(writeDataSource());
        proxy.setTargetDataSources(targetDataSources);
        return proxy;
    }

  接着需要设置 sqlSessionFactory

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    /**
     * 多数据源需要自己设置sqlSessionFactory
     */
    @Bean
    public SqlSessionFactory sqlSessionFactory() throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(routingDataSource());
        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
        // 实体类对应的位置
        bean.setTypeAliasesPackage(typeAliasesPackage);
        // mybatis的XML的配置
        bean.setMapperLocations(resolver.getResources(mapperLocation));
        bean.setConfigLocation(resolver.getResource(configLocation));
        return bean.getObject();
    }

  最后还得配置下事务,否则事务不生效

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    /**
     * 设置事务,事务需要知道当前使用的是哪个数据源才能进行事务处理
     */
    @Bean
    public DataSourceTransactionManager dataSourceTransactionManager() {
        return new DataSourceTransactionManager(routingDataSource());
    }

4)、选择数据源

  多数据源配置好了,但是代码层面如何选择选择数据源呢?这里介绍两种办法:

a、注解式

  首先定义一个只读注解,被这个注解方法使用读库,其他使用写库,如果项目是中途改造成读写分离可使用这个方法,无需修改业务代码,只要在只读的 service 方法上加一个注解即可。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
@Target({ElementType.METHOD,ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
public @interface ReadOnly {
}

  然后写一个切面来切换数据使用哪种数据源,重写 getOrder 保证本切面优先级高于事务切面优先级,在启动类加上@EnableTransactionManagement(order = 10),为了代码如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
@Aspect
@Component
public class ReadOnlyInterceptor implements Ordered {
    private static final Logger log= LoggerFactory.getLogger(ReadOnlyInterceptor.class);

    @Around("@annotation(readOnly)")
    public Object setRead(ProceedingJoinPoint joinPoint,ReadOnly readOnly) throws Throwable{
        try{
            DbContextHolder.setDbType(DbContextHolder.READ);
            return joinPoint.proceed();
        }finally {
            //清楚DbType一方面为了避免内存泄漏,更重要的是避免对后续在本线程上执行的操作产生影响
            DbContextHolder.clearDbType();
            log.info("清除threadLocal");
        }
    }

    @Override
    public int getOrder() {
        return 0;
    }
}
b、方法名式

  这种方法不许要注解,但是需要service中方法名称按一定规则编写,然后通过切面来设置数据库类别,比如setXXX设置为写、getXXX设置为读,代码我就不写了,应该都知道怎么写。

4、测试

  编写好代码来试试结果如何,下面是运行截图:

读写分离只是数据库扩展的一个临时解决办法,并不能一劳永逸,随着负载进一步增大,只有一个库用于写入肯定是不够的,而且单表的数据库是有上限的,mysql 最多千万级别的数据能保持较好的查询性能。最终还是会变成--分库分表架构的。分库分表可以看看这一篇:https://www.tapme.top/blog/detail/2019-03-20-10-38

本文原创发布于:www.tapme.top/blog/detail/2018-09-10-10-38

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-06-03 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
springboot配置读写分离
  近日工作任务较轻,有空学习学习技术,遂来研究如果实现读写分离。这里用博客记录下过程,一方面可备日后查看,同时也能分享给大家(网上的资料真的大都是抄来抄去,,还不带格式的,看的真心难受)。
用户2038589
2018/10/10
1.5K0
springboot配置读写分离
SpringBoot+MyBatisPlus实现读写分离
随着业务量的不断增长,数据库的读写压力也越来越大。为了解决这个问题,我们可以采用读写分离的方案来分担数据库的读写负载。本文将介绍如何使用 Spring Boot + MyBatis Plus + MySQL 实现读写分离。
夕阳也是醉了
2023/10/16
1.1K0
springboot基于mybaits实现mysql读写分离
这个根据自己项目的配置项进行,有的习惯在mybaits下配置db,我的是在spring.datasource配置:
仙士可
2023/02/13
8420
springboot基于mybaits实现mysql读写分离
SpringBoot + MyBatis + MySQL 读写分离实战
读写分离要做的事情就是对于一条SQL该选择哪个数据库去执行,至于谁来做选择数据库这件事儿,无非两个,要么中间件帮我们做,要么程序自己做。因此,一般来讲,读写分离有两种实现方式。第一种是依靠中间件(比如:MyCat),也就是说应用程序连接到中间件,中间件帮我们做SQL分离;第二种是应用程序自己去做分离。这里我们选择程序自己来做,主要是利用Spring提供的路由数据源,以及AOP。
芋道源码
2019/05/31
6640
SpringBoot+MyBatis+MySQL读写分离
读写分离要做的事情就是对于一条SQL该选择哪个数据库去执行,至于谁来做选择数据库这件事儿,无非两个,要么中间件帮我们做,要么程序自己做。因此,一般来讲,读写分离有两种实现方式。第一种是依靠中间件(比如:MyCat),也就是说应用程序连接到中间件,中间件帮我们做SQL分离;第二种是应用程序自己去做分离。这里我们选择程序自己来做,主要是利用Spring提供的路由数据源,以及AOP
java架构师
2019/02/22
5980
SpringBoot+MyBatis+MySQL读写分离
SpringBoot读写分离
①可以开两个docker ②也可以在一个MySQL服务器中用2个数据库
CBeann
2023/12/25
2880
SpringBoot读写分离
Spring Boot项目优雅实现读写分离
Spring Boot作为一种快速开发框架,广泛应用于Java项目中。在一些大型应用中,数据库的读写分离是提升性能和扩展性的一种重要手段。本文将介绍如何在Spring Boot项目中优雅地实现读写分离,并通过适当的代码插入,详细展开实现步骤,同时进行拓展和分析。
IT_陈寒
2023/12/13
1.4K1
Spring Boot项目优雅实现读写分离
mysql读写分离之springboot集成
由于涉及到事务处理,可能会遇到事务中同时用到读库和写库,可能会有延时造成脏读,所以增加了线程变量设置,来保证一个事务内读写都是同一个库
一笠风雨任生平
2019/08/02
6130
spring boot 配置 多数据源
在日常生活中,我们不可避免要在工程中配置多个数据源,下面我就给大家讲一下怎么在spring boot里面配置多数据源,并且在文章结尾给出一个github的demo,希望对大家有所帮助
特特
2022/08/14
6210
从零开始写简易读写分离,不难嘛!
最近在学习Spring boot,写了个读写分离。并未照搬网文,而是独立思考后的成果,写完以后发现从零开始写读写分离并不难! 我最初的想法是: 读方法走读库,写方法走写库(一般是主库),保证在Spri
温安适
2018/05/17
9160
基于 SpringBoot,来实现MySQL读写分离技术
首先思考一个问题:在高并发的场景中,关于数据库都有哪些优化的手段?常用的有以下的实现方法:读写分离、加缓存、主从架构集群、分库分表等,在互联网应用中,大部分都是读多写少的场景,设置两个库,主库和读库。
良月柒
2021/01/06
2K0
如何用 SpringBoot 实现 MySQL 的读写分离?
前言: 首先思考一个问题:在高并发的场景中,关于数据库都有哪些优化的手段?常用的有以下的实现方法:读写分离、加缓存、主从架构集群、分库分表等,在互联网应用中,大部分都是读多写少的场景,设置两个库,主库和读库,主库的职能是负责写,从库主要是负责读,可以建立读库集群,通过读写职能在数据源上的隔离达到减少读写冲突、释压数据库负载、保护数据库的目的。在实际的使用中,凡是涉及到写的部分直接切换到主库,读的部分直接切换到读库,这就是典型的读写分离技术。本篇博文将聚焦读写分离,探讨如何实现它。
二哥聊运营工具
2021/12/17
1.2K0
如何用 SpringBoot 实现 MySQL 的读写分离?
Spring Boot 实现 MySQL 读写分离技术
有同学私信我,如何实现读写分离,Spring Boot项目,数据库是MySQL,持久层用的是MyBatis。
田维常
2022/11/25
7700
Spring Boot 实现 MySQL 读写分离技术
Spring-Blog:个人博客(一)-Mybatis 读写分离
概述: 2018,在平(tou)静(lan)了一段时间后,开始找点事情来做。这一次准备开发一个个人博客,在开发过程之中完善一下自己的技术。本系列博客只会提出一些比较有价值的技术思路,不会像写流水账一样记录开发过程。   技术栈方面,会采用Spring Boot 2.0 作为底层框架,主要为了后续能够接入Spring Cloud 进行学习拓展。并且Spring Boot 2.0基于Spring5,也可以提前预习一些Spring5的新特性。后续技术会在相应博客中提出。   项目GitHub地址:https:/
九灵
2018/03/09
1.1K0
Spring-Blog:个人博客(一)-Mybatis 读写分离
SpringBoot 整合 MyCat 实现读写分离
MyCat一个彻底开源的,面向企业应用开发的大数据库集群。基于阿里开源的Cobar产品而研发。能满足数据库数据大量存储;提高了查询性能。文章介绍如何实现MyCat连接MySQL实现主从分离,并集成SpringBoot实现读写分离。
业余草
2020/05/09
1.1K1
SpringBoot 整合 MyCat 实现读写分离
SpringBoot整合MyCat实现读写分离
MyCat一个彻底开源的,面向企业应用开发的大数据库集群。基于阿里开源的Cobar产品而研发。能满足数据库数据大量存储;提高了查询性能。文章介绍如何实现MyCat连接MySQL实现主从分离,并集成SpringBoot实现读写分离。
用户4283147
2022/10/27
3730
SpringBoot整合MyCat实现读写分离
使用Spring AOP实现MySQL数据库读写分离案例分析
分布式环境下数据库的读写分离策略是解决数据库读写性能瓶颈的一个关键解决方案,更是最大限度了提高了应用中读取 (Read)数据的速度和并发量。
吴生
2018/06/30
9550
深度揭秘:Java 应用程序中实现数据库读写分离的高效策略与实战
在当今数据驱动的时代,随着业务的快速发展和数据量的持续增长,数据库的性能和稳定性成为了众多开发者关注的焦点。读写分离作为一种提升数据库系统并发处理能力和数据读取性能的有效策略,正被广泛应用于各类应用场景中。特别是在那些读多写少的业务场景下,读写分离的优势更是得以充分彰显。
lyb-geek
2025/02/18
2640
深度揭秘:Java 应用程序中实现数据库读写分离的高效策略与实战
重学SpringBoot3-AbstractRoutingDataSource
在现代的应用开发中,尤其是在 SaaS 多租户架构、读写分离、或者多数据源的场景下,通常需要动态地切换数据源。Spring Boot 3 提供的 AbstractRoutingDataSource 类是实现这一功能的核心工具之一。
CoderJia
2024/10/18
6080
重学SpringBoot3-AbstractRoutingDataSource
读写分离很难吗?SpringBoot结合aop简单就实现了
入职新公司到现在也有一个月了,完成了手头的工作,前几天终于有时间研究下公司旧项目的代码。在研究代码的过程中,发现项目里用到了Spring Aop来实现数据库的读写分离,本着自己爱学习(我自己都不信…)的性格,决定写个实例工程来实现spring aop读写分离的效果。
Java技术江湖
2020/06/16
6240
相关推荐
springboot配置读写分离
更多 >
交个朋友
加入架构与运维工作实战群
高并发系统设计 运维自动化实践
加入架构与运维趋势交流群
技术趋势前瞻 架构演进方向
加入数据技术工作实战群
获取实战干货 交流技术经验
换一批
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验