https://cloud.tencent.com/developer/article/1406912
弹性伸缩目标追踪伸缩规则是弹性伸缩服务与云监控深度结合的产物,定义了更加稳定,精准,快速的弹性伸缩策略,解决了当前伸缩组动态调整过程存在的一些难点和问题。
作者:jeryyzhang,腾讯 WXG 后台开发工程师 背景介绍 业务场景 作为以手机为主要平台的移动社交应用,微信内大部分业务生成的数据是有共性可言的:数据键值带有时间戳信息,并且单用户数据随着时间在不断的生成,我们将这类数据称为基于时间序的数据。例如朋友圈的发表,支付账单流水,公众号文章阅读记录等。这类基于时间序的数据通常不会删除,而是会随着时间流逝不断积累,相应需要的存储空间也与日俱增:key 量在万亿级别,数据量达到 PB 级别,每天新增 key 十亿级别。同时在十亿用户的加持下,每天的访问
LVM(Logical Volume Manager)逻辑卷管理是在Linux2.4内核以上实现的磁盘管理技术。它是 Linux环境下对磁盘分区进行管理的一种机制 。现在不仅仅是Linux系统上可以使用LVM这种磁盘管理机制,对于其它的类UNIX操作系统,以及windows操作系统都有类似与LVM这种磁盘管理软件。
http://qing.blog.sina.com.cn/1765738567/693f0847330008ii.html
消息组接到某项目组反馈,topic 在扩容后出现部分队列无法被消费者,导致消息积压,影响线上业务?
弹性是云原生、Serverless 的基础。AutoMQ 从软件设计之初即考虑将弹性作为产品的核心特质。对于 Apache Kafka 而言,由于其存储架构诞生于 IDC 时代,针对物理硬件设计,存储层强依赖本地存储,已不能很好地适应现在云的时代了。当然,这并不意味着我们要放弃 Kafka。Kafka 凭借极其优异的生态已经塑造了其在流处理领域不可撼动的地位,Kafka API 俨然已经成为流处理协议的事实标准。正是因为看到了这一点,AutoMQ 积极拥抱 Kafka 生态,在完全兼容其计算层的基础上,对底层存储做了云原生的改造,充分兑现云的规模化成本、技术红利。
疫情停倮以来,腾讯课堂助力全国数百万老师和数千万学生在线教学、听课。已有3000多个线下教育机构申请入驻腾讯课堂。这背后,离不开腾讯课堂可支持百万人同时在线上课、网络延时低至百毫秒级、1080P直播高清视频、秒级扩容服务海量用户等优势。
团队,总会有人离开,总会有人加入。。。总会有一个leader,当服务器的数量增加的时候,业务增加的时候,总会进行相关的扩容或者缩容,那么这个团队的扩展性如何?
本文作者腾讯WXG后台开发工程师jeryyzhang,收录时有改动,感谢原作者的分享。
晏子怡,腾讯云产品经理,目前负责TKE集群、网络及调度模块。 从 K8s 的声明式设计理念谈起 Pod 模板 K8s 最优雅精妙的一个设计理念在于声明式 API 的运用,而 Deployment 又是其中的集大成者。 如果没有 Deployment ,我们需要管理上万的单独 Pod, 为每一个 Pod 设置合适的资源需求,容器镜像版本,Label,Taints 等属性。同时,我们还需要保证每一个业务对应的 Pod 数量在合适的值,来适应流量波动并达到负载均衡。而通过 Deployment 提供的 Po
本文主要讲述了飞车团队在面临大规模扩容、运维工作复杂度提升、团队技能要求提升的情况下,如何通过一系列技术改造和生态建设,实现飞车的稳定运行,并提升团队效率。通过标准化、分层解耦、自动化、工程化、开放化、社区化等六大原则,飞车的运维能力得到了持续提升。同时,通过扩容流程的标准化、自动化,以及基于蓝鲸的运维平台的建设,让飞车的扩容更简单,并实现了多模块、多线程的扩容方式,为未来更多的应用场景和需求预留了足够的扩展空间。
导语 本文整理自笔者在“腾讯大讲堂”的演讲。 作者介绍:杨平安,来自广州的微信事业群,在腾讯已经工作五年。 主要分享内容: 为何公司卓越研发金奖花落PaxosStore; 隐匿在业务后的大数据统计特征; 架构迭代的现实与实现 [1497342605007_5944_1497342605398.jpg] [1497342625506_980_1497342625782.jpg] 在作这份PPT的时候,我对自己这五年的时光进行了一下简单的回顾,发现可以分成两个主题。 这两个主题就在我的职业生涯中不断交织,爱恨情
导语 | 市面上有非常多的消息中间件,rabbitMQ、kafka、rocketMQ、pulsar、 redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以redis、kafka和 pulsar为例,逐步深入,讲讲它们架构和原理,帮助你更好地理解和学习消息队列。文章作者:刘德恩,腾讯IEG研发工程师。 一、最基础的队列 最基础的消息队列其实就是一个双端队列,我们可以用双向链表来实现,如下图所示: push_front:添加元素到队首; pop_tail:
红框圈中的即是本次要挂载的磁盘,与 /dev/sda 和 /dev/sdb 相比,其没有下方的 /dev/sda1 等信息,代表 /dev/sdc 磁盘并没有进行过分区操作,是一个新加的硬盘。
导语 | 市面上有非常多的消息中间件,rabbitMQ、kafka、rocketMQ、pulsar、 redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以redis、kafka和 pulsar为例,逐步深入,讲讲它们架构和原理,帮助你更好地理解和学习消息队列。文章作者:刘德恩,腾讯IEG研发工程师。
数据分布 分布式存储系统需要将数据分布到多个节点,并在多个节点之间实现负载均衡。常见的数据分布的方式有两种:一种是哈希分布,如一致性哈希,典型的系统是Amazon Dynamo系统;另一种是顺序分布,即将表格上的数据按主键排序,并切分成多块数据,每个数据存到不同的节点中,典型的系统是Google Bigtable, Taobao Oceanbase。 将数据分散存储到多台机后,要尽量保证每台的存储量、访问压力等是均衡的,一般需要一个总控节点定时收集所有工作节点的负载信息,然后将负载高的节点的数据迁移到负载低
为帮助开发者更好地了解和学习分布式数据库技术,2020年3月,腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密,都在这!》,邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。本文将带来直播回顾第三篇《亿级流量场景下的平滑扩容:TDSQL的水平扩容方案实践》。
众所周知,我们大多数服务都是跑在 Linux上的,因为Linux命令行形式的特性,也导致了很多开发者只喜欢把Linux当做跑服务的机器,并不作为日常的使用。这样导致了我们只能记得常用的部署命令,但遇到一些复杂的Linux运维就不知如何下手了。这不,我这两天就遇到了服务器磁盘不足的问题,一开始只想Google一下快速搞定,结果还是得补补Linux中LVM的这块知识点才可以。为了方便后人快速扩容,特此记录。
一、linux_lvm磁盘化分 1、新添加的硬盘,fdisk -l 可以看到 sdb 新的未分配的分区。
AI 已经成为各行各业软件研发的基础,带来了前所未有的效率和创新。今天,我们将分享苏锐在AWS量化投研行业活动的演讲实录,为大家介绍JuiceFS 在 AI 量化投研领域的应用经验,也希望为其他正在云上构建机器学习平台,面临热点数据吞吐不足的企业提供一些启发。
Serverless并不仅仅是一个概念,很多地方都已经有了它的影子和思想,本文将给大家介绍最近比较火的Serverless。
磁盘分区其实就像柜子打格子一样,打成不同的格子放不同的衣服,裤子,帽子,领带等, 磁盘可以分成多个物理分区,放不同的数据。
一 kafka集群扩容比较简单,机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以。比较需要注意的是如果公司内网dns更改的不是很及时的话,需要给原有的旧机器加上新服务器的host,不然可能会产生controller服务器从zk上拿到域名但是解析不到新机器地址的情况。
7月中旬,腾讯云7*24h售后支持群收到来自X-Girl(化名)客户的消息,客户直呼咱家数据库帮大忙了,想要亲自感谢腾讯云MySQL团队。
作者 | 孙晓飞 整理 | 马可薇 策划 | 孙瑞瑞、丁晓昀 本文由 InfoQ 整理自小红书基础技术部后端开发 孙晓飞 在 QCon 全球软件开发大会(北京站)2022 上的演讲《小红书的降本增效之路》。 大家好,我是孙晓飞,目前就职于小红书容器架构组,负责团队内调度系统整体工作,拥有 6 年云原生相关开发设计经验,是 Kubernetes 和 Volcano member。本文将分享过去一年中,容器架构团队为小红书和整体容器服务在降本增效方面所采用的方案措施。 小红书与云原生 小红书早
| 导语 疫情爆发,腾讯发起“停课不停学”专项,腾讯课堂一下子被推到风口浪尖上,2天上线极速版,2周内支持同时在线人数超百倍增长,对整个后台挑战非常大。整整2个月下来,同合作团队一起,白天7点开始盯监控和开发版本,凌晨12点例行压测和发布扩容,踩过很多坑也取得很多收获,这里拎几个关键点记录下
值此佳节之际,美美为大家呈送一份技术干货作为中秋礼物。本文根据美团基础架构部/弹性策略团队负责人涂扬在2019 QCon(全球软件开发大会)上的演讲内容整理而成。本文涉及Kubernetes集群管理技术的部分,相关的技术实践可参考此前发布的《美团点评Kubernetes集群管理实践》。
PS:(梳理概念)pod里面包括N个容器,service里面包括pod,Deployment可能包括service或者是pod。
目前微店中台团队为了满足公司大部分产品、运营以及部分后端开发人员的尝鲜和试错的需求,提供了一套基于图形化搭建的服务端接口交付方案,利用该方案及提供的系统可生成一副包含运行时环境定义可立即运行的工程代码,最后,通过 “某种serverless平台” 实现生成后代码的部署、CI、运行、反向代理、进程守、日志上报、进程分组扩容等功能。
Spinnaker 的介绍 Spinnaker 是 Netflix 开源出来的持续交付工具,目的是为研发团队提供灵活的持续交付流水线,并且支持部署到测试/生产环境。Netflix 目前通过 Spinn
磁盘扩容 磁盘分区 parted /dev/sdb # GPT就是GRUB分区表,如果是MBR,最大支持2T分区 mktable gpt # 创建一个 2G 的磁盘空间 mkpart primary 0K 2048G # 给1好分区更改为 lvm 格式 toggle 1 lvm centos7 xfs 文件系统 lvm 扩展 因为Centos7默认文件系统是xfs文件系统类型,在xfs文件系统中,只能增大分区而不能减小。 Centos6,Centos5系统都是ext4,ext3文件系统。所以操作方法有一点
RHEL 7.2使用EMC Powerpath扩容2T磁盘空间,需要添加至以用12C RAC for ASM系统中。下面是具体步骤,主机人员告知扩容别名为data_center_16、data_center_17
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中,3月17日郑寒的分享已经结束,没来得及参与的小伙伴不用担心,以下就是直播的视频和文字回顾。
和尚虽然是移动端开发,但对于 Nginx 负载均衡稍稍有些了解,而曾经的毕业论文就是以 Nginx 为研究方向进行的,今天根据 腾讯云+社区 活动,简单尝试一下 Nginx 日志服务;
Kubernetes具有完备的集群管理能力,包括多层次的安全防护和准入机制/多租户应用支撑能力、透明的服务注册和服务发现机制、内建智能负载均衡器、强大的故障发现和自我修复功能、服务滚动升级和在线扩容能力、可扩展的资源自动调度机制,以及多粒度的资源配额管理能力。
ok!~又是一次超级烧脑的故障处理过程,这次故障还是非常考验推理及基础知识的扎实性的.
三年前的某天,逛存储论坛时,一个问题吸引了我的注意,有人问:RAID级别能在线转换吗?
大家好,从本章开始,我们用Apache bench和JMeter对kubernetes环境中的web服务做性能测试,经历过一系列实战后,对我们有以下帮助:
TDSQL是腾讯提供的一套完整的MySQL数据库集群化管理解决方案,作为私有云TStack平台重要的数据库产品能力,旨在解决高可用、高性能、分布式、配套设施等方面问题。 TDSQL除了在腾讯内部有大量的使用场景,在外部市场中也有诸多应用场景;2014年被WeBank选中,作为其核心交易系统的数据库解决方案,以私有云方式交付;2015年,在腾讯云上正式推出。目前已经为500+机构提供数据库的公有云及专有云服务,客户覆盖计费、第三方支付、银行、保险、互联网金融、物联网、互联网+、政务等领域。 TDSQL私有云版
好久没有更新博客了,最近研究了Raft 协议,谈谈自己对 Raft 协议的理解。希望这篇文章能够帮助大家理解 Raft 论文。
Kafka 客户端可以使用分区器依据消息的key计算分区,如果在发送消息时未指定key,则默认分区器会基于round robin算法为每条消息分配分区;
在数据库存储领域如果单表数据量很大,通常会采用分库分表,同样在缓存领域同样需要分库,下面以一个非常常见的Redis分库架构为例进行阐述。
转转研发中心及业界小伙伴们的技术学习交流平台,定期分享一线的实战经验及业界前沿的技术话题。 各种干货实践,欢迎交流分享,如有问题可随时联系 waterystone ~
领取专属 10元无门槛券
手把手带您无忧上云