小坤探游架构笔记-腾讯云开发者社区

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

小坤探游架构笔记

分享个人工作学习经历的技术栈，主要以AI基建、分布式架构以及微服务架构设计为准

专栏成员

40

文章

30530

阅读量

14

订阅数

分布式系统不可靠时钟问题

同步网络分布式系统事务数据

今天我同样结合《设计数据密集系统》来聊分布式系统另外一个话题,即分布式系统的不可靠时钟问题.

小坤探游架构笔记

2025-05-05

1000

分布式系统不可靠的网络问题

网络异步分布式系统集群同步

在之前我们讲述了分布式系统会出现partial failures主要原因是部分组件或者服务发生故障faults,其实还存在另一个故障,即网络故障.今天我们来聊下分布式系统不可靠的网络问题.

小坤探游架构笔记

2025-04-30

880

谈谈分布式系统Faults & Partial Failures

模型 amp partial 分布式系统服务

本来是想着把相关的分布式系统问题都整理罗列下,但发现整理的知识还是挺多的,于是想拆分几个版本分别说明, 同样参考《设计密集数据系统》谈到分布式系统的问题做一个总结与思考.今天先主要聊下故障Faults 以及部分失效Partial Failures之间的区别与联系.

小坤探游架构笔记

2025-04-30

400

如何进行性能测试

笔记测试工具性能性能测试

最近在对过往的技术笔记做一个整理和总结,其中有一篇是关于如何针对进行性能建立模型进行测试,以下我直接基于原有ppt做下记录分享.

小坤探游架构笔记

2025-04-30

1700

谈谈存储数据模型与读写时模式

存储模型数据网络指针

最近在研读《数据密集型应用系统设计》一书, 其中也谈到了数据模型,今天谈谈我读后对数据模型的思考.

小坤探游架构笔记

2025-04-30

680

架构建模如何实践

架构模型实践系统推荐系统

在前面我们讲述了软件架构建模的方法论, 其中我们讨论做架构设计的目的是解决软件的复杂度, 而建模则是作为一项架构设计工具来辅助我们识别问题复杂度. 但方法始终是理论, 没有实践也很难体验到其中面临的困难, 学习不仅要知, 还要行, 即知行合一, 今天来聊聊我是如何进行架构建模实现推荐系统架构设计.

小坤探游架构笔记

2025-04-30

1110

软件架构如何建模

架构模型软件架构设计架构设计

相信大家对模型一词都不陌生,但是在我们实际工作中进行软件架构设计的时候,要如何去建模呢?不知道大家是怎么去理解建模一词并能实际落地? 今天我来谈谈自己在软件架构中如何进行建模.

小坤探游架构笔记

2025-04-30

730

构建可靠性、可伸缩性&可维护性系统

架构数据系统性能 amp

在如今现代应用系统中,我们更多是关注数据密集系统而非计算密集系统,即计算机发展到如今,CPU已然不是构建一个应用系统程序的限制, 更多的挑战在于数据规模的增长, 数据的复杂度变化以及数据变化的速度.

小坤探游架构笔记

2025-04-30

940

raft rpc 日志数据编程算法

本文主要以分析Raft算法核心原理流程为主,简述Raft算法运作流程,分别从Raft基础,核心原理以及细节问题出发作一个归纳性总结,如想深入Raft算法可以查看Raft算法论文,关注公众号回复“raft”即可获取Raft算法论文.

小坤探游架构笔记

2022-09-22

9960

在讲述分布式的一致性之前,先对基本的分布式协议算法有一个初步的认知,其次再分析分布式环境常见问题,最后再回到一致性问题来进行阐述.本文主要讲述分布式共识算法之Paxos算法,分别从朴素的算法说明,流程原理以及最终实现的原理逐一展开阐述说明.最后说明一点,在这里不会去花时间证明Paxos算法,有兴趣可以查看Lamport的Paxos论文证明实现.

小坤探游架构笔记

2020-07-17

8510

分布式理论基础

分布式数据库 sql

在这一篇中主要讲述分布式基础理论知识,其中包含CAP定理,ACID以,BASE理论以及一致性协议分析.有了CAP定理的基础,能够帮助我们在根据业务特点进行分区容错一致性模型设计中提供解决问题的方向以及架构设计方案的设计与落地实现.同时需要区分数据库ACID的AC与我们的分布式AC存在的联系与差异,其次,在分布式网络中,为避免节点故障抑或是网络延迟等问题导致系统服务出现大量的不可用问题,那么对于BASE理论实现的技术方案有哪些.最后讲述分布式系统中数据的一致性问题.

小坤探游架构笔记

2020-06-16

1.8K0

分布式共识问题

编程算法分布式

点击上方疾风先生可以订阅哦在讲述分布式的共识问题之前,我们先了解下什么是拜占庭将军问题, 其次从拜占庭将军问题来认识什么是分布式共识问题,与分布式一致性的区分在哪里?然后推演分布式共识问题产生的原因

小坤探游架构笔记

2020-06-02

5200

分布式网络基础

http https 网络安全 tcp/ip

在分布式服务化架构设计中,服务与服务之间通信均是基于网络底层协议来实现的,于是我们需要对网络相关基础知识有一个基本的认知,这样在我们服务与服务之间进行通信(跨进程通信)过程能够在我们的脑图形成一个基本的数据传输流程以及其中的细节问题,这样对于我们在进行网络问题的排查能够带来一定的帮助.现在开始展开网络基础相关知识的阐述.

小坤探游架构笔记

2020-05-27

5410

分布式架构设计概要

缓存微服务分布式架构设计

在互联网企业中，经常离不开的术语就是分布式架构和微服务相关的词汇，如果让你来设计一个分布式系统，你会以什么样的维度去构思我们的分布式系统呢？首先，我们需要明白为什么需要分布式系统，它的实现目标是什么；其次当我们对分布式目标清晰之后，那么我们实现可以从目标的维度思考可采取的技术手段有哪些；接着我们对技术栈知识有了一个基本认知之后，这个时候又要要求我们思考架构设计的不仅是全局宏观的技术栈视野，还要具备全局的业务服务视野来思考并落地我们的分布式架构的设计。因此对于分布式架构的学习是一个漫长的过程，先要清楚目标，然后弄明白实现目标的技术方案，最后结合我们的技术栈与业务体系从宏观以及微观上去思考并落地我们的分布式架构设计。

小坤探游架构笔记

2020-05-20

2.7K0

深入分析Netty的高性能

编程算法 java 自动驾驶网站压力测试

在讲述Netty的高性能特性之前,基于之前的epoll技术分析中谈到C10K问题,其实是属于一个性能优化问题,目的是为了能够在单台机器上支撑更多的并发连接调度所做的性能优化,为了达到上述目标,需要要求我们设计的web服务采用合理的IO模型,并在对应的IO模型基础上引入多线程与并发库技术的使用来支撑更多的连接调度,同时考虑到计算机资源的限制,我们需要在设计web服务的时候合理对资源进行分配优化,比如内存,网络带宽以及CPU核数的充分利用,也就是说我们还需要考虑到可伸缩性的问题,通过增加资源来使得我们的web服务能够得到线性提升效果.接下来我们就来结合部分源码分析Netty技术是如何体现高性能这一个特性.

小坤探游架构笔记

2020-05-11

1.5K0

深入Netty事件流程分析(上)

bootstrap java socket编程 android

前面我们已经深入分析Netty中的核心组件,接下来我们开始来深入理解Netty各个组件处理事件的运作流程,通过事件流程的分析,我们可以思考Netty框架是如何设计组件之间的协作来配合完成基于Reactor模式且具备可伸缩性的Web服务,由于Netty事件流程比较多且杂,上篇主要分析事件轮询器初始化,启动类初始化组件以及服务端的端口绑定事件.

小坤探游架构笔记

2020-05-07

1.2K0

深入Netty事件流程分析(下)

继上一篇Netty事件流程分析,本文主要讲述Netty的责任链创建,添加以及销毁流程,同时我们关注IO事件流程的分析,即监听连接事件,接收请求事件以及写出数据事件的流程,最后也会将结合channel/pipeline/handler的生命周期作一个小结.

小坤探游架构笔记

2020-05-07

8110

Netty组件源码分析

java 编程算法自动驾驶 android 存储

深入理解Netty原理之前,先来了解下Netty的核心组件工作原理,通过一个简单的Netty服务程序示例我们可以了解到Netty的核心组件主要有启动类与事件轮询类,Channel组件,通过多线程编程异步返回事件结果的ChannelFuture,同时可以看到被回调执行的Handler执行链是如何工作的,最后分析Netty自定义实现的一个高性能数据缓冲对象原理使用.

小坤探游架构笔记

2020-04-21

7700

IO事件驱动设计实现

react c++android api 网站

在web体系中,相比线程连接架构设计而言,事件驱动设计更满足我们实现一个高性能IO的web服务,这点在高性能IO编程一文已经有讲述.对此,我们接下来将要展开如何去设计一个基于IO事件驱动架构的web服务,目前有Reactor同步多路复用模式以及Proactor异步多路复用模式两种方案,通过后面文章的分析,我们可以了解到这两种方案的设计思路,具体实现原理以及这两种模式各自的优势以及不足.

小坤探游架构笔记

2020-04-21

1.1K0

高性能IO编程设计

网站 react 性能测试自动驾驶

? 首先,在讲述高性能IO编程设计的时候,我们先思考一下何为“高性能”呢,如果自己来设计一个web体系服务,选择BIO还是NIO的编程方式呢?其次,我们可以了解下构建一个web体系服务中,为了能够支撑

小坤探游架构笔记

2020-04-07

1.2K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态