匠心独运的博客-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

匠心独运的博客

专栏成员

24

文章

48391

阅读量

24

订阅数

消息中间件—RocketMQ消息存储（一）一、MQ消息队列的一般存储方式二、RocketMQ消息存储整体架构三、RocketMQ文件存储模型层次结构四、总结

存储分布式 rpc 云数据库 Redis®缓存

文章摘要：MQ分布式消息队列大致流程在于消息的一发一收一存，本篇将为大家主要介绍下RocketMQ存储部分的架构消息存储是MQ消息队列中最为复杂和最为重要的一部分，所以小编也就放在RocketMQ系列篇幅中最后一部分来进行阐述和介绍。本文先从目前几种比较常用的MQ消息队列存储方式出发，为大家介绍RocketMQ选择磁盘文件存储的原因。然后，本文分别从RocketMQ的消息存储整体架构和RocketMQ文件存储模型层次结构两方面进行深入分析介绍。使得大家读完本文后对RocketMQ消息存储部分有一个大致的了解和认识。这里先回顾往期RocketMQ技术分享的篇幅（如果有童鞋没有读过之前的文章，建议先好好读下之前小编写的篇幅或者其他网上相关的博客，把RocketMQ消息发送和消费部分的流程先大致搞明白）：（1）消息中间件—RocketMQ的RPC通信（一）（2）消息中间件—RocketMQ的RPC通信（二）（3）消息中间件—RocketMQ消息发送（4）消息中间件—RocketMQ消息消费（一）（5）消息中间件—RocketMQ消息消费（二）（push模式实现）（6）消息中间件—RocketMQ消息消费（三）（消息消费重试）

2018-10-10

3.1K0

消息中间件—RocketMQ消息存储（二）一、RocketMQ存储整体设计架构回顾二、RocketMQ存储关键技术—再谈Mmap与PageCache三、RocketMQ存储优化技术四、RocketMQ

存储架构设计 jdk java nat

文章摘要：上篇中主要介绍了RocketMQ存储部分的整体架构设计，本篇将深入分析RocketMQ存储部分的细节内容在本篇文章中，小编将继续深入分析与介绍RocketMQ消息存储部分中的关键技术—Mmap与PageCache、几种RocketMQ存储优化技术（包括预先创建分配MappedFile、文件预热和mlock系统调用）、RocketMQ内部封装类—CommitLog/MappedFile/MappedFileQueue/ConsumeQueue的简析。然后，再简要介绍下RocketMQ消息刷盘两种主要方式。在读完本篇幅后，希望读者能够对RocketMQ消息存储部分有一个更为深刻和全面的认识。

2018-10-10

5K3

在实践中使用ShardingJdbc组件的正确姿势（一）

在互联网时代，随着业务数量的暴增和应用规模的不断扩大，无论是oracle还是mysql这样子的关系型数据库，都会面临服务器CPU、磁盘IO和内存的各种瓶颈问题。基于此情况，各个业务团队迫切需要一种数据分片的方案将业务数据量存储成本分摊到成本可控的各个普通数据库服务器上，数据库切分的方案便应运而生。

2018-09-05

2K0

数据库技术之记一次排查DB死锁的分析与思考

虽然很多童鞋在学数据库课程时都了解数据库隔离级别、死锁和事务等概念，但在测试/线上环境遇到死锁却不一定能够及时分析并解决这类问题。本文主要以作者在测试环境中遇到的一个死锁Case说起，首先还原出现死锁的现场和条件，并结合排查业务应用工程日志、MySQL数据库状态信息等方式，同时给出MySQL锁的基本概念，再通过阅读日志深入定位并分析出现死锁的原因，最后讲下MySQL InnoDB的加锁原理以及如降低死锁发生的机率。

2018-09-05

1.6K0

消息中间件—RabbitMQ(初探篇)

文章摘要：本篇文章为RabbitMQ的入门文章，不像其他一些程序代码和应用实战性的文章会带着大家从一个“Hello World”的简单例子出发，在该篇幅中主要给大家讲下RabbitMQ消息队列的起源、为何要选择该款组件、几个主要的功能特性，让大家对该款消息队列组件有一个大概的认识在说RabbitMQ之前有必要先来介绍下AMQP协议。AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。那么再来介绍下RabbitMQ本身。RabbitMQ是一个上面说的AMQP协议的开源实现，其服务器端用Erlang语言写的，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。该消息队列主要用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

2018-09-05

7720

缓存那些事儿之【本地缓存篇】

一般来说，一个业务平台系统的整体流程可以基本概括为如下图所示，用户请求从UI（浏览器或者客户端）到网络转发，经过应用服务的业务逻辑处理，再到存储（文件系统或数据库），然后经过渲染将UI呈现给用户。

2018-09-05

3.2K0

分布式定时任务Elastic-Job框架在SpringBoot工程中的应用实践（一）

spring 分布式任务调度 spring boot zookeeper

摘要：如何构建具备作业分片和弹性扩缩容的定时任务系统是每个大型业务系统在设计时需要考虑的重要问题？对于构建一般的业务系统来说，使用Quartz或者Spring Task即可基本满足我们的单体服用应用需要。然而随着线上业务量的不断发展，这两种定时任务已经日渐无法满足我们的需求。一般，使用这两种定时任务框架都会遇到如下的两个痛点问题：（1）如果业务工程采用集群化的部署，可能会多次重复执行定时任务而导致系统的业务逻辑错误，并产生系统故障。（2）Quartz的集群方案具备HA功能，可以实现定时任务的分发，但是通过增加机器节点数量的方式并不能提高每次定时任务的执行效率，无法实现任务的弹性分片。一线互联网大厂都有他们自己为其业务定制化研发的分布式定时任务系统，业务研发工程师可以通过在其Web Console的界面上进行简单的任务配置即可使得大型业务系统实现定时任务的调度、分发、分片、监控和扩缩容等功能。那么，业界是否有开源的组件框架同样具备这些功能呢？答案是肯定的！本文将向大家介绍一款开源的分布式定时任务调度框架—Elastic-Job的功能和原理，同时通过一个简单的案例阐述如何在Spring Boot工程完成Elastic-Job的集成。

2018-09-05

2.8K1

消息中间件—RabbitMQ（集群原理与搭建篇)

rabbitmq 负载均衡网络安全负载均衡缓存

摘要：实际生产应用中都会采用消息队列的集群方案，如果选择RabbitMQ那么有必要了解下它的集群方案原理一般来说，如果只是为了学习RabbitMQ或者验证业务工程的正确性那么在本地环境或者测试环境上使用其单实例部署就可以了，但是出于MQ中间件本身的可靠性、并发性、吞吐量和消息堆积能力等问题的考虑，在生产环境上一般都会考虑使用RabbitMQ的集群方案。对于RabbitMQ这么成熟的消息队列产品来说，搭建它并不难并且也有不少童鞋写过如何搭建RabbitMQ消息队列集群的博文，但可能仍然有童鞋并不了解其背后的原理，这会导致其遇到性能问题时无法对集群进行进一步的调优。本篇主要介绍RabbitMQ集群方案的原理，如何搭建具备负载均衡能力的中小规模RabbitMQ集群，并最后给出生产环境构建一个能够具备高可用、高可靠和高吞吐量的中小规模RabbitMQ集群设计方案。

2018-09-05

1.5K0

分布式定时任务Elastic-Job框架在SpringBoot工程中的应用实践（二）

运维开源任务调度

文章摘要：在生产环境中部署Elastic-Job集群后，那么如何来运维监控线上跑着的定时任务呢？如果在生产环境的大规模服务器集群上部署了集成Elastic-Job的业务工程，而没有相应的运维监控工具可以来监控定时任务执行状态和动态修改定时任务执行时间，修改相应的配置还得手动更新数据库或者配置文件，那么则会给运维和研发工程师增添不少麻烦。使用过Quartz集群方案的同学应该都有过同样的感触，修改定时任务执行时间配置和监控任务的状态都比较麻烦，想要一个功能齐全的监控运维平台还得自己专门来开发。所幸的是，Elastic-Job开源社区很早就考虑到该问题，在项目发布初期即提供了一个功能相对齐全的Elastic-Job运维监控console平台。

2018-09-05

1.2K1

聊聊Java进阶之并发基础技术—线程池剖析

在JDK中，J.U.C并发包下的ThreadPoolExecutor核心类是一种基于Executor接口的线程池框架，将任务提交和任务执行解耦设计，其中ExecutorService和其各种实现类提供了非常方便的方式来提交任务并获取任务执行结果，并封装了任务执行的全部过程。本文将深入解读并分析以ThreadPoolExecutor为核心的j.u.c包下Executor线程池框架的部分重要源代码，一步步带读者搞清楚JDK中线程池框架背后的设计理念和运行机制。

2018-09-05

4940

实践Jenkins集成Cobertura自动化构建SpringBoot工程

spring spring boot 单元测试功能测试腾讯云测试服务

文章摘要：追求代码质量一直都是优秀程序员对自己的目标，那么有什么好方法能够实现这个目标？

2018-09-05

3.3K1

消息中间件—RocketMQ消息消费（二）（push模式实现）

负载均衡负载均衡缓存消息队列 CMQ 版 kafka

摘要：在RocketMQ中，消息消费都是基于Pull消息方式，那么Push模式中又是如何实现Consumer端准实时消费的呢？在上一篇—“消息中间件—RocketMQ消息消费（一）”中，已经简要地介绍了下RocketMQ中“Pull和Push两种消费方式的简要流程”以及“Push消费方式的启动流程”（ps：如果不熟悉这几块内容的童鞋，可以自己回顾下上一篇的内容）。本文将详细介绍RocketMQ中Push消费方式下的“Pull消息的长轮询机制”和“Consumer端的负载均衡机制”这两块关键核心内容。由于RocketMQ系列的技术分享存在一定的连续性，因此希望读者能回顾下往期RocketMQ分享的篇幅：（1）消息中间件—RocketMQ的RPC通信（一）（2）消息中间件—RocketMQ的RPC通信（二）（3）消息中间件—RocketMQ消息发送（4）消息中间件—RocketMQ消息消费（一）

2018-09-05

1.9K0

过来人的经验，谈谈一致性处理方案—分布式事务（DTS）

java 分布式微服务

传统事务是使用数据库自身的事务属性（ACID），而数据库自身的事务属性是局限于当前实例，不能实现跨库。而对于大型分布式/微服务集群系统中，不仅存在着跨库的事务，还存在很多不同系统/服务之间的RPC调用，这种调用往往也需要保证业务以及数据的一致性。因此，有必要使用一种分布式事务框架来协调整个端到端业务调用链路的应用和数据库来保证业务最终的数据一致性，而目前在分布式事务中用的比较多的即为基于所有服务参与者投票的二阶段协议（2PC）。

2018-09-05

1.8K0

消息中间件—RocketMQ消息消费（一）

消息队列 CMQ 版 kafka rpc 负载均衡负载均衡缓存

文章摘要：在发送消息给RocketMQ后，消费者需要消费。消息的消费比发送要复杂一些，那么RocketMQ是如何来做的呢？在RocketMQ系列文章的前面几篇幅中已经对其“RPC通信部分”和“普通消息发送”两部分进行了详细的阐述，本文将主要从消息消费为切入点简要地介绍下“RocketMQ中Pull和Push的两种消费方式”、“RocketMQ中消费者（Push模式）的启动流程”和“RocketMQ中Pull和Push两种消费方式的简要流程”。在阅读本篇之前希望读者能够先仔细阅读下关于RocketMQ分布式消息队列的前几篇文章：（1）消息中间件—RocketMQ的RPC通信（一）（2）消息中间件—RocketMQ的RPC通信（二）（3）消息中间件—RocketMQ消息发送

2018-09-05

1.9K0

消息中间件—RocketMQ的RPC通信（一）

java apache 消息队列 CMQ 版 kafka rpc

文章摘要：借用小厮的一句话“消息队列的本质在于消息的发送、存储和接收”。那么，对于一款消息队列来说，如何做到消息的高效发送与接收是重点和关键

2018-09-05

1.5K0

消息中间件—RabbitMQ（集群监控篇1)

摘要：任何没有监控的系统上线，一旦在生产环境发生故障，那么排查和修复问题的及时性将无法得到保证

2018-09-05

1.8K0

大型分布式业务平台数据库优化方法（下）

文章摘要：当单表数据达到千万以上时，通过加索引或者表分区优化提升的效果就比较有限了，应该如何应对呢？？？

2018-09-05

1.1K0

大型分布式业务平台数据库优化方法（上）

文章摘要：一个小小的MySQL数据库B-Tree索引可能会带来意想不到的性能优化提升……

2018-09-05

9880

消息中间件—RocketMQ消息消费（三）（消息消费重试）

摘要：如果Consumer端消费消息失败，那么RocketMQ是如何对失败的异常情况进行处理？前面两篇RocketMQ消息消费（一）/（二）篇，主要从Push/Pull两种消费模式的简要流程、长轮询机制和Consumer端负载均衡这几点内容出发，介绍了RocketMQ消息消费的正常流程和细节内容，本篇内容将主要介绍Consumer端消费失败的异常流程。这里先回顾往期RocketMQ技术分享的篇幅：（1）消息中间件—RocketMQ的RPC通信（一）（2）消息中间件—RocketMQ的RPC通信（二）（3）消息中间件—RocketMQ消息发送（4）消息中间件—RocketMQ消息消费（一）（5）消息中间件—RocketMQ消息消费（二）（push模式实现）

2018-09-05

3.7K0

消息中间件—简谈Kafka中的NIO网络通信模型

编程算法 socket编程 http kafka 消息队列 CMQ 版

文章摘要：很多人喜欢把RocketMQ与Kafka做对比，其实这两款消息队列的网络通信层还是比较相似的，本文就为大家简要地介绍下Kafka的NIO网络通信模型

2018-09-05

1.6K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态