首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

淘宝应对11技术架构分析

11”最热门的话题是TB ,最近正好和阿里的一个朋友聊淘宝的技术架构,发现很多有意思的地方,分享一下他们的解析资料:   淘宝海量数据产品技术架构   数据产品的一个最大特点是数据的非实时写入,正因为如此...图1 淘宝海量数据产品技术架构   按照数据的流向来划分,我们把淘宝数据产品的技术架构分为五层(如图1所示),分别是数据源、计算层、存储层、查询层和产品层。...以上是淘宝海量数据产品在技术架构方面的一个概括性的介绍,接下来我将重点从四个方面阐述数据魔方设计上的特点。   ...图8 glider的技术架构   有经验的读者一定可以想到,从本质上来讲,这就是广义上的异构“表”之间的JOIN操作。那么,谁来负责这个事情呢?...我相信,过不了几年,淘宝数据产品的技术架构一定会是另外的样子。 其他文章摘要 【1】海量数据领域涵盖分布式数据库、分布式存储、数据实时计算、分布式计算等多个技术方向。

2.6K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    首次揭秘1112背后的云数据库技术!| Q推荐

    从 2009 年到 2021 年,从千万交易额到千亿交易额, 11 已经开展了 12 年。如今,每年的 11 以及一个月后的 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术 12 队长朱成、阿里巴巴业务平台 11 队长徐培德、阿里巴巴数据库 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了 11 12 背后的数据库技术...在 11 12,这种方式的弊端会被进一步放大。数据显示,在 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年 11 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...写在最后 11 12 背后的数据库技术支持远不止于此。一个订单达成交易的背后,数据库层面有近 50 次请求的实现,远不是一款单一的数据库产品提供的支持。

    31.8K50

    揭秘:2018阿里11秒杀背后的技术

    在今天 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下11天量交易额背后的技术。 一、阿里11秒杀场景 ?...二、阿里11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在11当天实现万亿级消息流转。 3....Docker技术 交易核心应用容器化撑起11交易下单峰值,解放资源的超大规模Docker化技术。 4....总之,11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术技术领域。...由于篇幅有限无法完全详细展开,我就以其中一个大家最关心的11秒杀场景为例,贯穿这些部分技术的应用和设计思路。

    4.7K30

    阿里11技术总指挥汤兴:淘宝确实变了

    鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 总交易额达4982亿元。 订单创建峰值58.3万笔/秒。 这是今年阿里11创下的新纪录。...对于背后支撑的淘系技术体系来说,也是新的技术峰值。 在应对并发流量和系统稳定性上,目前行业内就只剩下淘系自己和自己赛跑。 无需多少个突发头条,每年11,就是新的大考。...消费者在线上已经不单是“买买买”,而是有了更多“边逛边”的决策行为。 在阿里巴巴集团副总裁、11技术总指挥汤兴(花名平畴)看来,这种消费者选择商品的路径的变化,正在带来更本质的影响。...对于了解流量并发和技术压力的工程师来说,难度是不言自明的。 究竟是怎样的技术挑战? 这样一道内外变化带来的难题,即使对于经历过1111的阿里而言,同样挑战不小。...因为只有经过11这样一个爆发点的验证,才能证明技术对于消费者的价值,证明其大规模应用的可能。

    2.5K20

    “天猫11”背后的流量治理技术与标准实践

    作者 | 赵奕豪 (宿何):Sentinel & OpenSergo 开源项目负责人 一年一度的天猫 11 正在火热进行中,大家在疯狂买买买的过程中一定会有疑问:如何保障微服务在双十一的超级峰值下也能如丝般顺滑稳定...这背后的技术原理是怎样的,有没有一些最佳实践与标准?这篇文章就为大家介绍如何结合 Sentinel 与 OpenSergo 玩转双十一背后的流量治理技术与标准。 1 OpenSergo 是什么?...Sentinel 在内部承载非常多的服务可用性与容错的场景,保障了近十年天猫 11 流量峰值的稳定。...如果您有时间,有热情,有意愿,欢迎联系社区加入开源贡献小组,一起共同完善 OpenSergo 和 Sentinel,一起主导微服务治理技术与标准演进。Now let's start hacking!

    80320

    技术种草】工作了17年,2021年11是我见过有史以来“撸腾讯云羊毛”最狠的一次!

    如果你想了,那么请继续往下看,经过我对比的三大云服务厂商的11优惠政策,带你拿下最爽的服务器!!!!! 为什么今年要撸腾讯云的羊毛呢?...先来对比一下我们比较熟悉的阿里云、腾讯云、华为云三大云的11活动的优惠力度: 1、阿里云: [image-20211107223313296.png] 2、华为云: [image-20211107223854552...[image-20211108202030045.png] 我买了3年还不到200呢: 如果你购买了3年,那每年就相等于66元了,你看我买了3年,才198元,买一年,真不如3年划算。...[image-20211108202239682.png] 对了,腾讯云的这个2核4G的服务器,是我见过全网本次11优惠力度最大的一家了。 大力推荐哦!!!...小窍门:针对老用户,这个地方我有一个小招,还是从我朋友那里学来的,上一个11,他在腾讯云领了价值万元的卷,然后节省了1万多。厉害吧。

    49.5K30

    京东商品详情页应对“11”大流量的技术实践

    【编者按】此文是根据京东资深Java工程师张开涛11月21日在msup主办的 into100沙龙第14期《京东商品详情页应对大流量的一些实践》演讲中的分享内容整理而成。...最早期的时候,我们商品详情页采用.NET技术,但是随着商品数量增加,而且随着商品数据库结构设计复杂性的变化,后来我们就生成了静态页,通过JAVA生成页面的片段,像商品介绍等等,都是通过一个一个片段输送出去的...如果我们能够及早发现这个问题,进行预案处理,比如降级,如库存出问题了,让我们第一时间知道,我们可以降级为全部有货,让大家都有货可,这就形成了服务闭环。...工作之余喜欢写技术博客,有《跟我学 Spring》、《跟我学Spring MVC》、《跟我学Shiro》、《跟我学Nginx+Lua开发》等系列教程,目前博客访问量有460万+。 ?

    1.7K100

    11在即,分享一些稳定性保障技术干货

    每年一次的双十一大促临近,因此上周末公司组织了一次技术交流闭门会,邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛,一起探讨了一些大促稳定性保障相关的技术话题。...我作为会议主持人,也和这些技术大牛交流了很多案例经验,从他们身上汲取了很多新的思路和技术实践。我将其中一些比较干货的技术实践案例整理了出来,供大家学习参考下。...+写操作不刷盘方式; 非交易业务的查询放在备库,降低主库压力; 梳理落地SOP机制,遇到问题时首先快速线上止血,解决故障; 存在主备延迟情况,可以开启参数调整方式来处理(临时开启,快启快关) ; 同城活架构下...,可通过定时任务的方式自动检测MySQL的0模式,定时改写数据; 高并发下MySQL主库往往写压力比较大,事务日志和binlog IO比较频繁,导致备库拉取binlog比较卡,较好的方式是通过降级延时方式做数据同步

    2.8K20

    助力 11 个性化会场高效交付:Deco 智能代码技术揭秘

    Tech 导读 在这次11的个性化会场我们大规模使用Deco进行研发,带来了48%左右的效率提升,本文将为大家揭秘Deco提效之秘。...Deco 经过 618 大促的初步验证,随后不断升级打磨,在正在火热进行的 11 个性化会场研发中已经广泛投入使用,覆盖 90% 左右的大促楼层模块,为业务研发带来 48% 左右的效率提升。...图3 11部分个性化会场及模块 03如何实现一个设计稿生成代码方案 1、生成静态代码 设计稿智能生成代码的第一步是生成静态化的代码,而这一步的核心是如何根据设计稿生成一份「结构化的数据描述」信息,这份数据称为...「结构化的数据描述」; 将「结构化的数据描述」表达成代码; 本质上,Deco 智能代码是通过设计工具插件从视觉稿原始信息中提取 D2C Schema,然后结合规则系统、计算机视觉、智能布局、深度学习等技术对...路漫漫其修远兮,需要技术人上下而求索。

    3.1K20

    历经8年11流量洗礼,淘宝开放平台如何攻克技术难关?

    淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年11成倍流量增长的洗礼。...在11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

    2.4K10

    历经8年11流量洗礼,淘宝开放平台如何攻克技术难关?

    作者|风胜 来源|阿里技术 淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年11成倍流量增长的洗礼...在11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...资源动态调配与隔离 在11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

    3.1K20

    腾讯云202411大促:详解活动规则,解锁超值优惠

    2024年腾讯云11.11上云拼团Go 云计算如今已成为各行各业不可或缺的基石,每年的11也是云计算服务商们展现实力、回馈用户的重要时刻。现在,腾讯云迎来了2024年的11年度大促。...那么,腾讯云2024年的11活动究竟有哪些亮点?优惠力度如何?又该如何参与活动?通过本文一起深入解析腾讯云11活动的规则与优惠!...活动时间、活动入口 活动时间:2024年11月1日 至 2024年11月30日23:59:59。...活动规则:11大促活动页面的指定商品,即展示带有 “可拼团”角标的商品,均可以参加拼团,下单支付完成后,选择商品订单去开团或参团,才能算作拼团成功,因此购买商品后,需尽快去选择订单参团。...10、会员优惠续费专区 会员续费折上折,热门产品续费比划算划算

    9611

    11家跨国顶尖银行正在探索利用量子计算技术,值得关注!

    本文列出 全球11家开展量子技术研究和应用的主要银行,无论这些项目是处于早期阶段还是全面的计划。这些银行来自美国、加拿大、英国以及日本。 1....意识到量子计算 (QC) 对于银行业的用例很重要,银行建立了一个量子工程团队,由 Marco Pistoia 负责量子技术。...该银行非常热衷于开发可用于人工智能、优化和密码学的量子算法,于 2020 年开始与名为 Chicago Quantum Exchange的量子技术中心合作,这是一个量子技术中心,并表示其研究团队“正在积极研究后量子密码学领域...早在 2019 年,富国银行的技术主管 Saul Van Beurden 通过与 IBM 和麻省理工学院签署协议,在量子计算和人工智能技术方面进行合作,开始了该银行的量子计算风险投资。...11. 高盛 高盛集团 (Goldman Sachs Group, Inc.)是量子技术的备受瞩目的采用者之一,是一家总部位于纽约市的美国跨国投资银行和金融服务公司。

    2.4K20

    都是因为数学不好,美国人不敢吃中餐,中国人不敢过双十一

    那么问题来了: 这鸡翅到底怎么划算啊? ? 这个问题也把众多歪果网友难倒了,他们纷纷转发集思广益…目前这条帖子已经被转发了将近6千次。 ?...一个学霸找到了最优方案: 25只以下,就3的倍数只;25只及以上,就25、50或125只,这样的话每只鸡翅的均价都是最低。 ?...11——继高考之后规模最大的数学知识竞赛: 定金100抵200;2件9折,3件8折;抢券满399减100;原价1395,预售价509,领券立减30元;跨店优惠券满200减20……废了九牛二虎之力,好不容易算出了满...399减100最划算,最后你居然告诉我那件衣服卖398?...人这一生走过最艰险的路,就是11网店商家的促销套路,让你们一个个成天不知道好好学习,终于被绕晕了吧?被搞死了吧? ?

    11.9K30

    11 特供!临战前收下这几款小程序,分分钟省下一个亿

    不买便宜的,只对的 当降价,刷口碑,各种眼花缭乱的宣传扑面而来时,会被太多信息淹没。小程序「什么值得」帮你从众多选择中过滤,做出有价值的消费。前看一看,无论在哪里下单,都可以当作参考。...时效性攻略负责满足眼下最痛的痛点,像 11.11 刷什么卡优惠最多,宝宝安全座椅选 11 购指南,实实在在的干货贴。...「什么值得」小程序使用链接 https://minapp.com/miniapp/4724/ 不得不说,这款小程序在前的确是个实用的工具。 放宽心,不纠结 有这样一句话是:成大事者不纠结。...那么问题来了,费心挑了不少优价好物,怎么才能最划算,对得起节日做活动的优惠? 「消费分期计算器」这款小程序就是帮你理性消费的高效工具。算计好,省下一波可以再买买买。

    56.8K40

    今年天猫11的这些技术,可能会改变整个零售行业

    11清单》等节目,涉及美妆、美食、海外、综艺等主题,会有数百位网红和明星参与,不乏Papi酱这样的超级网红,且这些直播并非由天猫独立组织,而是品牌商共同参与,会邀请许多品牌代言明星来做直播。...5、个性化定制技术实现按需生产 个性化是今年天猫11的重点。...“为每个消费者打造属于自己的11”,是天猫11个性化技术的目标。 ? 个性化界面将会在双十一结束时关闭,但我认为个性化购物将是未来的方向。...因此,个性化技术已不能缺席电商平台,事实上京东也表示将会在11主打个性化,个性化将是继移动化之后,电商的一个核心技术演进方向。...而天猫11今年的首要方向就是全球化,与之前的全球化不同的是,不只是帮助中国用户全球,还有帮助中国商家卖全球,今年天猫11启动仪式选择在中国香港召开,就是为了展现出全球化的姿态,中国香港和中国台湾也是今年天猫

    5.9K90

    天猫11订单峰值58.3万笔秒,消费狂欢背后隐藏了哪些技术

    11 月 1 日零点至 1111 日零点 30 分,今年整个双十一成交额破 3723 亿,实时成交额超过 1 亿元的品牌超过 300 个。 这是今年阿里交出的双十一成绩单。...其中在杭州数据中心内,全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理 11 的海量计算工作,这些服务器的网线连起来可以绕地球一周。...今年 11,阿里云数据中心的巡检机器人「天巡」升级到了第二代,不仅实现了无「人」值守,还可全自动更换故障硬盘:自动巡检——故障盘定位——取盘换盘——硬盘通电,整个动作一气呵成,只需 4 分钟即可完成更换动作...今年 11 前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次。 平台对用户消费行为的洞察和商品推荐也更加精准,而这背后的技术引擎是智能搜索引擎。...阿里测算,这些数字化的 IoT 设备在今年 11 期间,会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中,使社区无人配送成为可能。

    8.4K10

    618大促序曲 | 爆款新书,搭配200份隐藏福利,超值!

    ATF8PV(当当20元优惠码) 当当每满100-50 再叠加20元优惠码 实付100可用  花80元原价200元的书 使用时间:5.25-6.3 数量有限,先就是赚到!...如果你不知道最近有哪些好书值得,那就看看下面这几本吧,贴心的博文菌已经为你整理好了一份近期值得的爆款新书书单,快来看看吧!...06 ▊《代码的艺术:用工程思维驱动软件开发(色精装版)》 章淼  著 提升软件工程能力大成之作 涵盖代码、文档、项目管理和实际案例解剖 百度技术学院【官方用书】 清华、IT名企精品课指定用书 附配套教学视频...全球许多高校都使用该书作为量子计算课程的教材 本书介绍了量子计算和量子信息领域的主要思想和技术。...年薪80W,在大厂呆了10年的我,被裁得心服口服 大前端技术的边界在哪里? 百度工程能力金牌课首次免费公开,连播9天!

    1.6K10
    领券