每年一次的双十一大促临近,因此上周末公司组织了一次技术交流闭门会,邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛,一起探讨了一些大促稳定性保障相关的技术话题。
一年一度的双十一又双叒叕来了,给技术人最好的礼物就是大促技术指南! 而经过这些年的发展,大促早已不仅仅局限于电商行业,现在各行各业其实都会采用类似方式做运营活动,汽车界有 818,电商有 618 、11.11 等等,各种各样的大促场景,对包括数据库在内的基础软件提出了很多新挑战,同时也积累了诸多最佳实践。
在云上环境进行压测的场景,主要有单链路和全链路压测。其中,单链路压测用于业务添加新的接入模块和单业务架构迁移后稳定性评估;全链路压测则更多是在割接上云前演练,大促前容量评估等几个场景。
每年双十一,对买家来说是一场买买买的剁手之旅,但对于电商公司的技术人员来说,却是一次严峻的技术期末考。如何保证系统在预估的流量洪峰来临时,既能保证用户的买买买不受影响,
今年的 618 前夕,何小锋显然没有以前那么紧张,人更放松,说话也更淡定。一方面,作为京东科技京东云云原生平台负责人,他已经参加过 19 次大促备战,积累了丰富的经验;另一方面,从 2014 年使用 Docker 到 2018 年建成全球最大规模 Kubernetes (以下简称 K8s)集群再到全面拥抱云原生,京东在容器和云原生领域有着多年的技术实践与经验积累。这些无疑给了他十足的信心! 根据最新消息,6 月 18 日凌晨,京东云发布 618 当天首份战报,在从容应对高并发数亿级流量洪峰的同时创下多项纪录
小红书使用 TiDB 历史可以追溯到 2017 年甚至更早,那时在物流、仓库等对新技术比较感兴趣的场景下应用,在 2018 年 5 月之后,我们就开始逐步铺开,延展到其他适合 TiDB 的场景中去。截止目前,小红书使用的 TiDB 节点数在 200+ 个,未来也有更大扩展空间。
管控面可以提供高可靠高效可持续运维保障、快速部署小时交付的能力,尤其是针对ClickHouse这种运维较弱但是性能很高的OLAP核心引擎,管控面就显示得尤其重要。
618大促来临,在零点的时候,你打开购物车、点点点、清空,整个过程一气呵成。但背后,成千上万的数据在马不停蹄、加速流转,以保障消费体验流畅有序。 腾讯云和数据库服务是背后默默守护的“无名英雄”。电商订单、支付、物流等核心链路,都是以数据库为基础。一旦数据库成为瓶颈、或任何细微的疏忽,整个618大促将会变成一个大型“灾难现场”。 一场电商大促,涉及到的数据量有多大? 以一个消费者的购买过程为例,一次下单行为,对于后端数据库就有多次读写调用;如果是秒杀场景就会产生“热点更新”的问题,更是对数据库内核优化能力
数字化转型并非一蹴而就的事情,对于企业来说,它是一场马拉松,而在这场竞赛中,很多前行者的经验值得借鉴。为了让大家对数字化转型有更多的了解,我们邀请了永辉超市高级架构师张明来为大家分享永辉超市的混合云建设与运维,在正式分享前,我们采访了张明,本文为其采访整理,期待对你有所启发。
2016年初,京东在印尼正式落地了第一个海外本土站点;今年11.11,京东印尼站当天单量同比增长845%,连续三年保持超高速增长。
Redis在缓存应用场景中拥有不可取代的地位,被广泛应用于数据缓存、游戏存储、分布式会话存储、实时分析和机器学习等场景。腾讯云在Redis数据库领域的不断突破,将为用户提供极致易用、易维护、高可靠、低成本的云上数据库服务。
对大多数人而言,今年的双十一可谓是无感而过。然而,这个「无感」正是今年支付宝技术团队的一个重要目标。
当前,随着电商节日的增多(6.18、双十一、双十二)、平台拉新趋于频繁,大促活动也越来越普遍。作为一个电商平台,每年都会有一次,甚至几次的流量“大考”。数据库作为系统的重要节点,其稳定性和性能格外重要,数据库的全力保障是一个大的挑战。电商大促,这场没有硝烟的战争很多人已有体会,在此不再赘述。现在,我们直接切入主题--数据库如何 积极应对,全力保障 大促活动。这个题目分解为三个部分进行讲解: 第一部分,准备工作;第二部分,大促进行时;第三部分,大促后复盘。
雷畅 腾讯云高级工程师。拥有多年云原生/可观测/性能压测领域的研发经验,目前主要负责腾讯云可观测-云压测(PTS)产品研发。 导语 | 作为应用服务的提供者,在面对产品或新功能上线、活动大促(618、双十一)等重大变更时,明明一切看似无懈可击,到了关键时刻,却不知哪个“系统刺客”在偷偷地 kill 您的系统?我们如何才能“底气十足”地保证系统稳定,在这竞争激烈的时代留住“日益挑剔”的用户?正所谓 Testing is believing,这需要测试、测试、再测试! 前言 近日,腾讯云可观测平台-云压测 (P
作者 | 李忠良 数字化转型并非一蹴而就的事情,对于企业来说,它是一场马拉松,而在这场竞赛中,很多前行者的经验值得借鉴。为了让大家对数字化转型有更多的了解,我们邀请了永辉超市高级架构师张明来为大家分享永辉超市的混合云建设与运维,在正式分享前,我们采访了张明,本文为其采访整理,期待对你有所启发。 InfoQ:我们先从您目前正在做的事聊起, 您目前主要负责什么呢? 张明:我近期主要负责参与混合云建设的方案制定与落地推动。 比如,升级私有云机房基础设施架构。为了使私有云上的资源容量可满足增量需求、且持续
通常我们做架构评估的时候,一般会对关联系统的性能,容错弹性,业务扩展性等进行论证,但很少会考虑各个系统的业务价值以及这些业务价值和前述架构特性之间的关系。
“忙是肯定的,每天都挺忙的。”不过更多人所好奇的,是作为SaaS服务公司的有赞,在双十一这一天都在“忙”些什么?
Tech 导读 本文基于JDV平台在大促中的各种业务场景,讲解过程中使用情况和技术挑战,通过采取相应的技术创新、技术保障确保系统稳定性,推动数据可视化编排能力在大屏业务场景中发挥更大的价值
随着苏宁线下线上业务以及全产业、全业态规模式快速增长,特别是每年苏宁 818 大促、双 11 等大促节点,销售订单基本都呈现倍数级增长态势,需要进行大量资源扩容,单个数据中心的容量有限,已经无法支撑苏宁业务的快速发展。同时,单数据中心在高可用上存在不足,一旦数据中心发生故障,会导致业务受损,用户访问中断,带来严重的影响。针对以上问题,苏宁规划建设多数据中心解决方案迫在眉睫。
在实施微服务的过程中,不免要面临服务的聚合与拆分,当后端服务的拆分相对比较频繁的时候,作为手机 App 来讲,往往需要一个统一的入口,将不同的请求路由到不同的服务,无论后面如何拆分与聚合,对于手机端来讲都是透明的。
近几年由于各个行业的数据体量都在飞速增长,伴随着云计算产业的快速发展,上云,已经成为了众多企业优化运维手段、突破数据存储瓶颈的关键选择。目前绝大多数企业都正在进行或已实现整体业务的迁移上云。
Tech 导读 弹窗作为非常重要的营销触达手段被各业务广泛应用,本文主要介绍 “XView 营销弹窗搭投系统” 关于快速搭建、投放配置营销弹窗能力的实现原理,以及在 618 等重要大促场景中的应用和实践,欢迎交流与探讨。
全链路压测是以全链路业务模型为基础,将前端系统、后端应用、中间适配层、DB等整个系统环境,完整得纳入到压测范围中,以http请求为载体,模拟真实的用户行为,在线上构造出真实的超大规模的访问流量,以全链路压测模型施压,直至达到目标峰值,在压测过程中发现系统瓶颈和验证系统能力。全链路压测自2013年诞生至今,一直稳居大促质量保障核武器地位。
每年 Shopee 会在五至十二月的每个大促节点举行电视直播活动。每次大促活动时,各市场的运营人员会与当地电视台合作,在节目直播过程中插入一段玩 Shopee 小游戏的互动环节。
全链路压测系列到这里,已经是第十二篇文章了,整个系列大概有14篇的样子,预计这个月会更新完毕。前面的文章,我用了很多的篇幅介绍了在事前调研和准备阶段要做的事情,为什么要花这么多篇幅介绍前期的准备工作呢?因为全链路压测严格来讲,并不是一个单纯的测试手段,而是一整套团队协作和稳定性保障的技术体系。
Tech 导读 在企业的业务经营中,实时数据是营销、运维、决策的重要支撑,实时数据链路基本是所有大公司所拥有的,无论是否采用了中台模式,本文从如何建设实时数据双流、数据双流的建设标准,以及数据双流的压测备战三方面进行了详细的论述。
一、缘起 随着互联网业务的越来越复杂,用户量与流量越来越大,“服务化分层”是架构演进的必由之路。 如上图:站点应用会调用服务,上游服务调用底层服务,依赖关系会变得非常复杂。 对于同一个服务,它有多个上
配置中心是互联网架构体系中很重要的一块,但为什么会有配置中心,是不是一开始就要有配置中心,它究竟解决什么问题,这是今天要讨论的问题。
中通快递每天有数千万的运单在各个环节运转,每个环节都有对应的多套业务系统来支撑,业务系统之间上下游关系较为密切,从上游的客户订单到下游转运、结算、分析等每个环节都离不开消息中间件,它主要解决了系统之间的耦合、业务的削峰填谷、异步通信、数据同步和冗余存储等等功能需求,是现有系统架构中不可或缺的重要一环。
TEG为腾讯提供互联网行业全方位的运营解决方案和服务支持,运营着亚洲最大的网络、服务器集群和数据中心,拥有业内领先的基础架构云运营平台、云数据处理平台、互联网海量应用支撑服务平台,为亿级用户提供云计费服务和安全保障。这背后离不开一群7*24小时默默耕耘,负责标准化模块化数据中心网络架构、大集群平台自动化建设与运营,以及运营系统相关规划和建设,提供高可用保障体系的伙伴们。
作者:刘超,毕业于上海交通大学,15年云计算领域研发及架构经验,先后在EMC,CCTV证券资讯频道,HP,华为,网易从事云计算和大数据架构工作。
本文主要介绍Apache Doris在京东广告报表查询场景下的应用。文章将从我们原有系统开始讲述,包括我们遇到的问题,面临的挑战,以及我们为何选择使用Apache Doris。最后将介绍Doris在我们在生产环境下的使用情况,包括Apache Doris在京东“618”,“双11”大促中的表现。希望通过我们的使用实践为大家提供一些经验参考,也欢迎大家对我们的不足之处提出建议。
京东快速发展的同时,应用规模、数据中心以及机器的规模都同步倍增,在面对如此大规模的机器,应运而生了京东数据中心操作系统(JDOS,JingdongDatacenter OS)。历经多年时间的技术沉淀与发展,JDOS不仅仅作为京东数据中心操作管理资源,更作为京东统一的PaaS平台致力于支撑业务系统快速交付、稳定运行,基础中间件托管提升基础平台敏捷交付。尤其是线上运行的阿基米德系列系统,将应用于实现京东商城数据中心资源智能调度,支撑在线业务系统与大数据计算混合部署融合计算,并节约采购成本。而每一次的11.11都是对JDOS系统的一次检验和挑战,经过无数次的紧张演练,问题排查,系统升级优化,服务应用快速交付;从容支撑大促高峰流量,保障了业务的高速发展。
今年是我的第6个618,因为入职的时间比较"合适",使得我经历了每年两次完整的大促备战。那年还在北辰,618的当晚,我记忆的很清晰,接近凌晨1点左右的时候,我们聚集在楼道里面,大家举杯相庆,来祝贺刚刚平稳度过的大促。从此这样的场景在每年的这个时候都会经历一次,激动一次。每一次大促备战都是一场全兵演练,我们在这个战斗过程中,团队合作、技术实战、用户意识上都有一个立体的提升。站在每年的这一刻往前看,一路走过来的却是好些个不平凡的白天和夜晚。正如我们国家的乒乓球队在每次国际比赛中都有一个完美的结局,但过程从来不缺乏紧张、风险和刺激。
这几年随着转转二手业务的快速发展,订单系统的基础性能问题也愈发严重,作为系统运转的基石,订单库压力不容小觑。 面临的问题:
吴怡燃, 京东大数据平台高级技术专家,擅长大数据平台的资源管理与调度系统的开发与建设。目前专注于以万台分布式调度系统及深度学习平台的开发与建设。
Tech 导读 本文面向受众可以是运营,可以是产品,也可以是研发、测试人员,希望通过如下思路(知历史->清家底->明目标->定战略->做战术->促成长)帮助大家了解电商大促系统的高可用保障,减少那些高深莫测的黑话和高大尚的论调,而希望以体系化的知识让读者有所得。
原ZLJ卖场的压测流程,是依托于阿里云PTS工具,团队自身缺乏性能测试能力自建,缺少性能分析和数据沉淀,测试场景单一,只有单接口和多接口压测,缺少场景和链路压测,不能相对合理的评估系统性能承载能力,机器扩容只凭借经验进行增加调整,缺乏评估依据。
5月26日晚8点,618第一波预售活动正式开始,虽然各家都在紧锣密鼓的准备这个年中大促,但说到底活动的玩法、套路营销手段都是市场部等业务方制定的,作为技术人,究竟在大促活动中承担一个什么样的角色?以及大促活动究竟能带来什么改变,确是值得我好好考虑下的。
微信云托管是微信团队联合腾讯云推出的后端项目全托管服务。对于微信生态应用开发采用前后端分离架构的场景,云托管可做到免运维免服务器管理,从代码管理到CI/CD流水线部署发布,提供全链路、低成本、企业级的云原生解决方案。
一个无数工程师的女朋友钦定的男朋友,公开恋情的直接受害者居然还是工程师,宿命的轮回啊……这是上市公司私有化引发的股民恐慌,更是娱乐圈向技术圈的悍然入侵。网络洪峰如此可怕,抗洪抢险责任重大,让我们近距离观摩一下,技术圈复联如何筑起高可用大堤。 微博如何应对流量“暴击” 现在有越来越多的人选择用微博这一社交网络平台来公布消息,那么微博要如何应对众多的流量“暴击”呢?下面让我们一起来看一下。 1.对大规模、高负载系统问题的排查方法 微博主要面对的是高并发、大数据量、高负载的业务压力,并且伴随着热点事件会有突发
近来,几乎人人都在谈论微服务。微服务之所以火热也是因为相对之前的应用开发方式有很多优点,如更灵活、更能适应现在需求快速变更的大环境等。本文将介绍微服务架构设计中的一些要点。
前面的几篇文章从生产全链路压测的定义,内部立项和技术调研,聊到了测试验证以及全链路压测的对企业业务和技术团队的价值,算是整体上的构建一个认知的概念。
在前面的几篇文章中,介绍了全链路压测的背景、在企业中的立项流程以及落地的一些技术方案。在开始真正的介绍落地实践过程以及相关案例之前,我想和大家聊聊,我对全链路压测的一些认知,即:全链路压测在技术团队中的定位,以及它的价值是什么。
几年前我曾经服务过的一家电商公司,随着业务增长我们每天的订单量很快从30万单增长到了100万单,订单总量也突破了一亿。当时用的Mysql数据库。根据监控,我们的每秒最高订单量已经达到了2000笔(不包括秒杀,秒杀TPS已经上万了。秒杀我们有一套专门的解决方案,详见《秒杀系统设计~亿级用户》)。不过,直到此时,订单系统还是单库单表,幸好当时数据库服务器配置不错,我们的系统才能撑住这么大的压力。
领取专属 10元无门槛券
手把手带您无忧上云