是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行？...《数据 Cool 谈》第三期，阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏，一同揭秘了双 11 双 12 背后的数据库技术...体现在业务层面，消费者如今参加秒杀活动，无论是否是双节的大促高峰期，瞬时就可以得到抢购结果的反馈，不需要等待。在数据库层面实现抢购公平，意味着秒杀活动已经是真正意义上的“拼手速”的事情。...“那这背后对于一个新的数据库产品类型的要求，实际上整个业界大家都是在探索阶段。” 写在最后 双 11 双 12 背后的数据库技术支持远不止于此。...双 11 双 12 丰富的运营活动和千亿交易额背后，数据库层面是包括 RDS、PolarDB、Tair、ADB(ADB3.0) 以及 Lindorm 等数据库产品提供的组合技。
双11的羊毛党 薅走的营销资源竟相当于 150214台 iPhone X 恶意数据请求如何分布？ 羊毛党们如何玩？ 腾讯云如何做？ 一张图带你了解
主要看点如下： 1.深入揭秘DBbrain智能优化引擎架构及原理 2.DBbrain推出业内首个SQL优化效果对比功能 为了便于大家理解DBbrain的SQL优化功能的使用场景和设计背景，先简单聊一聊...那么接下来就为大家揭秘，DBbrain的智能优化引擎是如何进行SQL优化的。 基于规则和代价估算的SQL优化建议 DBbrain的SQL优化引擎独立于数据库，避免对原生数据库引擎进行侵入。...在不更改用户数据库的前提下，DBbrain智能优化引擎能够对给出的SQL优化建议进行效果评估。SQL代价估算引擎在该功能中起到主要作用。...下面我们通过一个现网真实案例进行展示： 1、优化效果提前预知 DBbrain智能优化引擎通过代价对比，直观呈现出SQL优化后降低99.19%的效果，也可通过优化前后的执行计划比对进一步验证优化的效果...1.jpg 2、智能建议省时省力 DBbrain智能优化引擎给出的SQL重写+增加索引相结合的建议对SQL进行性能优化 1.jpg 3、辅助用户理解优化 为了辅助用户更好的理解优化，DBbrain
这是学习笔记的第 2084 篇文章 今天在圈子里面有一篇文章很火， 前沿 | VLDB 2019论文解读：大规模数据库智能参数优化的创新与实践 在智能运维方向上算是迈出了坚实的一步，而这篇文章对运维方向的感触很深的一个原因就是优化的切入点很准很实际...，而不是以模型先行的偏理论方向的优化。...智能运维方向在前期的投入是比较大的，而且本身智能方向的理论门槛较高，从我的理解来说，以一个具体的业务场景做深做透，融入智能方向，会有一些帮助，而以这个作为切入点，逐步延伸，使得前期的成本投入能够尽可能平摊出来...我特别赞成那种把一件事情做到极致的方式，很多事情都是触类旁通，我们运维的数据库环境也是如此，如果你能够像呵护你的孩子/宠物一样去管理一台数据库，那么你投入的精力和成本是不低的，但是按照这种思路，我们可以复制已有的经验...智能运维带给我们的是更多的补充，是我们通过常规运维难以发现和掌握的信息。
一、自适应查询优化 到目前为止，Oracle 12c数据库中最大的变化是自适应查询优化。...(图1:新的自适应查询优化功能的构成组件) Oracle数据库12c第二版默认启用的自适应功能与Oracle数据库12c第一版不同。详细信息请参见下面的“初始化参数”部分。...从Oracle数据库 12c第一版开始, 动态取样被强化为动态统计信息。...为了将对性能的影响减到最低，在Oracle数据库12c第一版中，动态取样查询的结果将会被保留在数据库的服务器结果缓存，从Oracle数据库12c第二版开始会保留在SQL计划指令的知识库中。...Oracle 12c数据库支持多种不同形式的重优化。
.pdf 译者 杨禹航 何时收集统计信息 为了选择最佳执行计划，优化器必须可以获得有代表性的统计信息。...有代表性的统计数据不必是最新的，而是一组能够帮助优化器确定执行计划中每个操作所能返回的行数。...出于这些原因，Oracle数据库12cR2包含了一个新的优化统计顾问，来帮助您提高数据库中的统计信息的质量。该优化统计顾问分析数据字典中的信息，评估统计数据的质量，并发现如何收集统计信息。...这些建议可以通过操作自动实现(立即或通过自动生成的脚本由数据库管理员执行)。 ? 图7: 优化统计顾问 优化统计顾问任务是在维护窗口中自动运行，但也可以按需运行。...图12显示了DBMS_STATS.GATHER_SCHEMA_STATS在不同级别创建作业。
使用多列索引时主意顺序和查询条件保持一致，同时删除不必要的单列索引 查询SQL 可通过开启慢查询日志来找出较慢的SQL 不做列运算：SELECT id WHERE age+1=10，任何对列的操作都将导致表扫描，它包括数据库教程函数...12.我们在试试使用创建组合索引，使用性别和姓名 alter table employees_tmp add index idx_union (first_name,gender); 在执行sql查看sql...索引建的好真的一个好帮手，建不好就是费时的一个操作 目前还不知道为什么建立性别的索引会这么慢 二：sql优化注意要点，比如索引是否用到，查询优化是否改变了执行计划，以及一些细节 场景 我用的数据库是mysql5.6...但是1s的时间还是太长了，还能进行优化吗，仔细看执行计划： ? 查看优化后的sql: SELECT `YSB`.`s`.`s_id` AS `s_id`, `YSB`.`s`....，后续再分享其他的sql优化经历。
原文链接 http://www.oracle.com/technetwork/database/bi-datawarehousing/twp-bp-for-stats-gather-12c-1967354...这些必要的信息通常被称为optimizer statistics（优化器统计信息）。理解和管理优化器统计信息是优化SQL执行的关键。...在Oracle数据库11g之前，数据库管理员往往设置estimate_precent参数为很低的值确保统计信息能被快速收集。...这一点尤为重要，因为12C开始引入了新的直方图类型，混合和Top-Frequency，这些直方图只能在参数保持默认的auto_sample_size才能被收集。...所以当数据库升级到12CR2后，可以考虑使用preference_overrides_parameter参数覆盖手动统计信息收集使用的默认参数。或者直接修改统计信息收集脚本。
2024年4月12日-13日， 第十三届数据技术嘉年华（DTC 2024）在北京落幕，腾讯云数据库受邀出席，与参会者深入探讨了数据库未来发展趋势和腾讯云数据库全面赋能企业创新的实战经验。...除此之外，还有完善的SaaS配套工具，包括数据迁移工具DTS-DBbridge和数据库智能诊断工具DBbrain等，助力用户高效智能运维。...聚焦国产化+智能化 在快速发展的数据库行业中，国产化与AI智能化正成为主导力量。其中，腾讯云自研数据库TDSQL因其卓越的性能和安全性，受到了众多客户的青睐。 为何TDSQL备受欢迎？...而保险、资管等非银行类金融机构要求国产数据库不仅要做到与Oracle相兼容，同时还要实现性能优化。...在4月12日下午的“数据库与人工智能”分论坛中，腾讯云高级工程师郑喜亮详细介绍了腾讯云向量数据库的技术先进性及其在大语言模型（LLM）应用中的关键作用。
keyword' )>0 5.FIND_IN_SET(str1,str2)方法 SELECT * FROM `person` WHERE FIND_IN_SET('apply',`name`); 总结 like优化大部分写法都是返回索引位置来提升查询效率
性能指标和监控 对于任何数据库管理系统，尤其是MySQL，了解其性能指标以及如何监控这些指标是至关重要的。这不仅可以确保数据库的高效运行，还可以在出现问题时迅速定位并解决。...吞吐量：单位时间内数据库可以处理的查询数量。 缓冲池命中率：InnoDB缓冲池中缓存的数据页与请求的数据页的比率。 索引效率：使用索引进行查询与全表扫描查询的比率。...结合上述方法和工具，你可以获得关于数据库性能的全面视图，从而作出明智的优化和扩展决策。 优化查询和数据库结构 MySQL的查询优化和数据库结构优化是提高数据库性能的重要步骤。...数据库结构优化 示例1: 规范化（Normalization） 避免数据冗余和其他潜在问题。例如，如果有多个表存储相同的数据，应考虑合并这些表。...硬件和配置优化 MySQL的性能不仅取决于查询和数据库结构的设计，还与服务器硬件和配置设置密切相关。以下是一些建议和具体示例，帮助你优化MySQL的硬件和配置。 1.
李飞飞博士、周烜教授领衔撰写 阿里云数据库领域数十年的研发实践经验结晶 本书详细剖析了作为核心基础软件系统的数据库在云计算时代的技术演进历程，从架构设计、实现机制和系统优化等多个角度阐述传统数据库技术是如何一步步发展到云原生形态的...本书强调理论和实践的充分结合，分析MySQL、PostgreSQL等工业界“活”的系统实现数据库的SQL优化与执行、事务处理、缓存与索引等原理，在面对实际应用需求时做了哪些权衡与折中，面对复杂的应用场景如何优化...第2～6章重点讲述环境感知以及规划控制方面的算法设计；第7～10章重点讲述深度学习模型的优化和深度学习芯片的设计；第11章和第12章重点讲述具有安全功能的自动驾驶软件架构设计；第13章介绍5G车联网。...活动方式：关注下方“博文视点Broadview”公众号，在后台回复“书单抽奖”参与活动，届时会在参与的小伙伴中抽取3名幸运鹅！ 活动时间：截至12月26日开奖。...双中台架构之数据平台建设方法详解 狼书三卷终大成，狼叔亲传Node神功
让智能运维不只是概念，而是实践 要说2018年最火的前沿技术，“智能”乃首当其冲的关键词之一。...宋辉 新炬网络运维产品部总经理 讲师介绍：10年以上Oracle数据库技术支持、运维管理经验，支持过的数据库超1000套，长期为大型企业核心业务系统数据库提供方案设计、性能优化、故障处理、应急容灾、安装配置等技术服力...在15年的数据库项目管理实践过程中积累了丰富的实战经验。 张良 小米运维DBA负责人 讲师介绍：小米智能云运维部DBA负责人。八年数据库相关产品运维及开发经验，精通大规模数据库系统运维及架构优化。...目前负责小米智能云数据库架构优化及团队建议。...部分精彩议题 基于AIOps的无人运维 从可视化、自动化到智能化的企业级AIOps演进与落地 小米智能SQL优化与改写 更多干货议题持续更新中…… 希望能在讲解技术细节的同时多增加一些实用性的内容，提供更多大型互联网公司或是转型成功的传统企业的实践案例分享
阿里人工智能 在搜索、推荐以及客服场景下的创新应用，包括人工智能赋能的数千家品牌商家店铺的个性化运营和粉丝会员的精准营销。 6. VR技术 虚拟购物环境背后的VR技术。 7....物流技术 菜鸟通过包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单，以及末端小件员，涉及十亿级包裹的双11之战。...总之，双11将涉及：基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...前端设计优化 页面静态化：将活动页面上的所有可以静态的元素全部静态化，并尽量减少动态元素，通过CDN来抗峰值。 禁止重复提交：用户提交之后按钮置灰，禁止重复提交，防止一秒钟内多次写入数据库。...后端设计优化 服务端控制器层(网关层) 限制uid(UserID)访问频率：我们上面拦截了浏览器访问的请求，但针对某些恶意攻击或其它插件，在服务端控制层需要针对同一个访问uid，限制访问频率。
本次主题活动现场氛围热烈，吸引了众多技术爱好者积极参与，下面让我们一起回顾本次活动的精彩看点。...特别是在云计算和服务化架构方面，他们通过多云策略和双活架构，成功地应对了企业在数字化转型过程中的复杂性和挑战。...三、One database， two sides: GreptimeDB 边云一体化数据库介绍 GreptimeDB 首席研发工程师罗傅聪老师演讲涵盖智能汽车数据的价值和挑战，深入剖析了 GreptimeDB...智能汽车数据的价值与挑战价值：智能汽车数据包含丰富的驾驶前、中、后数据，可以提供全面的驾驶分析和优化。挑战：数据使用成本高，主要包括存储成本、车端上传成本和云端计算成本。...最后，感谢本次活动各位嘉宾的精彩演讲，也感谢线下和线上的小伙伴积极参与！更多 meetup 活动也在筹备中，期待小伙伴们参与！
图13：改变默认方式：从全局临时表不共享统计信息到共享统计信息 如果你是从11g升级到12c,但数据库应用没有被修改去利用全局临时表的会话统计信息，你可能需要保持全局临时表默认的方式与升级之前一致，通过设置...收集其他类型的统计信息 自从基于成本的优化器是现在唯一被支持的优化器，数据库中所有的表需要有统计信息，包括所有的字典表（owner是sys、system等等，且位于system、sysaux表空间中的表...exec dbms_stats.set_global_prefs('autostats_target','oracle') 内部对象统计信息 从oracle数据库12c开始，内部对象统计信息如果之前没有被收集过...在此版本之前，数据库是不会收集内部对象统计信息的。不像其他的数据库表，当统计信息缺失时动态采样不会自动应用于包含x$表的sql语句，此时优化器会使用预定义的统计信息默认值。...with Oracle Database 12c Release 2 Oracle白皮书：Database 12c Real Application Testing Overview
自去年12月底发布后，腾讯会议40天更新14个版本，8天紧急扩容超过10万台云主机，投入的计算资源超100万核。...在联合国75周年活动中，联合国将面向全球公民发起对话邀请，支持活动参与者通过腾讯会议、企业微信和腾讯同传，灵活组织和参与不同规模的在线会议。...同时经过优化，目前TDSQL在跨 IDC 的网络延迟下TPS强同步性能与异步性能相当，不会带来任何损耗。...便捷的运维：完善配套设施，包括智能DBA、自助化运营管理台等，让数据库管理员日常90%以上的操作均可通过界面化完成，同时更智能、快速地定位排查问题。...此外，经过多年发展，TDSQL支持灵活的全球部署架构及快速自动化交付：除了支持银行业标准的"两地三中心部署架构”外还支持“同城双中心”“两地四中心” 等架构。
，即复制主库（很多公司用单master，此时无法保证写的可用性），冗余数据，如下图 带来的问题：双主同步key冲突，引不一致 解决方案： a）方案一：由数据库或者业务层保证key在两个主上不冲突 b）方案二...，允许模糊查询 （5.3.4）查询改写，二段查询 58同城的案例到这儿 二、数据库之父Codd的12条法则 另外，我们回顾一下数据库之父Codd的12条法则，作为数据库设计的指导性方针： 信息法则 关系数据库中的所有信息都用唯一的一种方式表示...数据的物理独立性 不管数据库的数据在存储表示或访问方式上怎么变化，应用程序和终端活动都保持着逻辑上的不变性。...数据的逻辑独立性 当对表做了理论上不会损害信息的改变时，应用程序和终端活动都会保持逻辑上的不变性。...分布独立性 不管数据在物理是否分布式存储，或者任何时候改变分布策略，RDBMS的数据操纵子语言必须能使应用程序和终端活动保持逻辑上的不变性。
马上十一、中秋双节，很多客户开始做节日活动，基本都有一个共性需求：活动期间，流量预计翻N备，由此引发了一轮MySQL的容量治理与保障。...2、事前治理思路 2.1 消除人为因素 可以考虑重大活动期间封网、控制可登陆生产数据库的权限，来尽可能避免人为对MySQL数据的影响。...图片 数据库智能管家 DBbrain KILL 会话-操作指南-文档中心-腾讯云 3.3 索引优化 根据请求的SQL情况，如果慢SQL是我们之前未预料到的，可以通过临时索引优化来缓解 3.4 限流 也可以考虑通过限流...，来避免业务整体中断；通过部分请求失败+前端界面友好提示，降低业务中断、用户投诉的风险 数据库智能管家 DBbrain 创建 SQL 限流任务-操作指南-文档中心-腾讯云 3.5 业务优化 经过上面手段后...，数据库仍然有问题，最后在考虑业务开发优化程序，不过一般此时起的作用就比较小且耗时很久。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
