首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

首次揭秘双11双12背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...让历史订单能够实时检索 第二个被满足的业务层诉求就是双节期间历史订单能被实时检索。这个功能也是过往在大促高峰时会被降级的功能。...在 2021 年的双 11 双 12 中,ADB 3.0 真正实现了无论是否在峰值场景,都能让历史订单实时检索。 具体而言,ADB 3.0 解决了三方面的问题: 全量数据迁移与实时同步。

31.8K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    书单 | 双12购书清单TOP10

    点击“博文视点Broadview”,获取更多书讯 今天是双12,错过双11的小伙伴们可不要连双12也错过了哦~~ 如果你不知道买哪些书,可以看看大家都在买哪些。...双12福利 京东满100减50,部分图书满减叠券300减200 当当科技好书五折封顶 还等什么?速抢吧!...10 ▊《图灵宇宙:原初纪元》 张立波,武延军,赵琛 著 CCF科普阅读推荐图书 软件所科研人员专业打造 用1500+精美漫画讲述图灵奖得主精彩故事 跟着有趣的计算机科学家 轻松了解计算机史及前沿高科技知识...这是一本以计算机领域重要奖项——图灵奖为切入点,系统展现计算机科学发展的科普漫画。...发布:刘恩惠 审核:陈歆懿 如果喜欢本文欢迎 在看丨留言丨分享至朋友圈 三连  热文推荐   7天搞定一门新技术!

    11.6K40

    什么是实时流式计算?

    实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。...实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢?...现在大数据应用比较火爆的领域,比如推荐系统在实践之初受技术所限,可能要一分钟,一小时,甚至更久对用户进行推荐,这远远不能满足需要,我们需要更快的完成对数据的处理,而不是进行离线的批处理。...而实时,流式其实是相对的概念,现在的很多技术更应该说是近实时,微批。但只要能不断的优化这些问题,实时流式的计算的价值就会越来越大。...由于大数据兴起之初,Hadoop并没有给出实时计算解决方案,随后Storm,SparkStreaming,Flink等实时计算框架应运而生,而Kafka,ES的兴起使得实时计算领域的技术越来越完善,而随着物联网

    2.7K20

    什么是实时流式计算?

    实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。...实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢?...现在大数据应用比较火爆的领域,比如推荐系统在实践之初受技术所限,可能要一分钟,一小时,甚至更久对用户进行推荐,这远远不能满足需要,我们需要更快的完成对数据的处理,而不是进行离线的批处理。...而实时,流式其实是相对的概念,现在的很多技术更应该说是近实时,微批。但只要能不断的优化这些问题,实时流式的计算的价值就会越来越大。...由于大数据兴起之初,Hadoop并没有给出实时计算解决方案,随后Storm,SparkStreaming,Flink等实时计算框架应运而生,而Kafka,ES的兴起使得实时计算领域的技术越来越完善,而随着物联网

    2.3K40

    书单推荐 | 12本前端必备书籍

    开篇想给大家两点关于读书的建议: 经典书籍需要不断被重读——每一次重读都会有新的体会; 书籍并非读的越多越好——大多数书籍只是经典书籍中的概念延伸(有时甚至是照搬) 一灯儿将给大家推荐12本前端经典书籍...《HTML5 Canvas核心技术图形动画与游戏开发》 11.《3D数学基础:图形与游戏开发》 12....【一灯儿推荐】个人认为绝对是迄今为止读过的最好的一本Js书籍,墙裂推荐!...【一灯儿推荐】这本书我在看第一章的时候就被吸引住了,相信你看完之后也一定会对JS有一种全新的感觉。...【小灯儿推荐】webkit方面技术第一本书,把渲染引擎和javascript引擎讲得很详细。

    1.5K50

    spark实时计算性能优化

    1、  计算提供两种模式,一种是jar包本地计算、一种是JSF服务。 2、  第一步是引入spark,因与netty、JDQ均有冲突,解决netty冲突后,隔离计算为单独服务。...3、  第二步是召回集扩量,发现当召回集由200扩到500后性能下降过快到70ms,利用多线程多核计算,性能到6ms。...已在预发 5、  第四步召回集在扩量,如性能瓶颈是io,则使用jar包本地计算,但与JDQ冲突。需要将线上上报迁移到统一上报服务,服务已有待联调上线。...需要调整接口服务与素材、特征以及计算服务,通过测试得到IO、线程计算结果合并、多核计算的平衡,需排期配合。    ...第五步已基本和开源分布式搜索引擎计算方式类似,后续会持续调研新的优化方式,并引入到线上。

    1.3K90

    非常强大的商品实时推荐系统!

    ,为后面的基于Item的协同过滤做准备 实时的记录用户的评分到Hbase中,为后续离线处理做准备....通过Flink时间窗口机制,统计当前时间的实时热度,并将数据缓存在Redis中....通过Flink的窗口机制计算实时热度,使用ListState保存一次热度榜 数据存储在redis中,按照时间戳存储list 日志导入 从Kafka接收的数据直接导入进Hbase事实表,保存完整的日志log...根据用户特征,重新排序热度榜,之后根据两种推荐算法计算得到的产品相关度评分,为每个热度榜中的产品推荐几个关联的产品 2.2 基于产品画像的产品相似度计算方法 基于产品画像的推荐逻辑依赖于产品画像和热度榜两个维度...后台数据大屏 在后台上显示推荐系统的实时数据,数据来自其他Flink计算模块的结果.目前包含热度榜和1小时日志接入量两个指标. 真实数据位置在resource/database.sql ? 5.

    3K40

    实时推荐系统的架构与实现

    ,推荐结果的更新频率低,无法及时反映用户的实时行为个性化不足传统系统难以捕捉用户实时兴趣的变化,导致推荐的内容往往缺乏针对性资源浪费 离线计算需要消耗大量的计算资源,且在计算完成后,部分结果可能已不再适用...为此,系统通常会采用增量更新的方式,即只对新增数据进行特征更新,而不对整个特征向量进行重新计算。C. 实时推荐模型模型选择:实时推荐系统通常采用轻量级、计算效率高的推荐模型,以保证低延迟。...计算与响应计算框架:实时推荐系统通常采用分布式计算框架(如Apache Flink或Spark Streaming)来处理大规模的数据流,并进行实时计算。...分布式计算为了处理大规模的实时数据,实时推荐系统通常需要依赖分布式计算框架。分布式计算能够将计算任务分解为多个子任务,分发到不同的计算节点上并行处理,从而大幅提高计算效率。...挑战:数据规模:实时推荐系统需要处理海量的数据流,这对计算资源和存储资源提出了高要求。延迟控制:如何在保证推荐结果准确性的同时,进一步降低计算和响应的延迟,是一个需要持续攻克的难题。

    46010
    领券