这篇文章来讲优化规则HiveFilterAggregateTransposeRule，主要功能是将Filter过滤器下推到Aggregate聚合操作之下。满足的前提条件，这些谓词表达式必须是确定性的。
spark sql谓词下推逻辑优化器PushDownPredicates包含了三个规则：
基于成本优化器CBO，常用的优化规则如子查询移除、相关性拆解、笛卡尔积加等值判断转换为内关联，谓词下推等等常用优化规则Rule。如谓词下推优化规则是将判断条件下推到数据源头，来加少中间结果，在成本优化器中，每个RelNode的中间结果大小即RowCount记录数大小决定一个RelNode的成本大小，（RowCount记录数是构成CostModel成本模型元素之一），此文讲述是HiveSort下推到HiveJoin下。也具有减少中间结果，降低一个RelNode关系表达式成本功能。在Hive中Sort操作符就代表在HQL中 SORT BY field LIMIT n 语句写法，上篇文章SortRemoveRule优化规则将由SortJoinReduceRule产生的SortLimit移除，详细可参考上篇文章Hive优化器原理与源码解析系列--优化规则SortRemoveRule(一)。
国产数据库 - 内核特性 - CloudberryDB中的Runtime Filter
视图在数据库中是非常普及的功能。但是长期以来，大多数互联网公司的《MySQL开发规范》中都有一条规范：在MySQL中禁止（或建议不要）使用视图。究其原因，主要是由于在MySQL中视图的查询性能不好，同时带来了管理维护上的高成本。 不过随着MySQL 8.0中派生条件下推特性的引入，尤其是最近GA的MySQL 8.0.29版本中对于包含union子句的派生条件下推优化，MySQL中视图查询的性能得到了质的提升。 《MySQL开发规范》已经过时了，DBA该考虑考虑将禁止使用视图的规定重新修订一下了。
这篇文章来讲优化规则HiveFilterSortTransposeRule，主要功能是Filter操作和SortLimit操作位置调换或Filter操作下推到HiveSortLimit操作之下，此规则也属于Filter过滤器下推的一种，只是下推到Sort排序操作之下，都是提前过滤掉不必要的数据，减少排序算力的浪费，以达优化目的。操作符树等价变换如下：
这篇文章来讲Hive优化规则HivePreFilteringRule，称为前置过滤器优化规则或谓词下推优化规则。其主要功能是通过哪些谓词下推到离数据源最近的位置，即提前过滤记录数，减少不必要的数据量IO。大致优化过程，是通过把谓词集合从析取范式(DNF) 和合取范式(CNF)根据需要可相互转换，再确定谓词表达式或函数的确定性或非确定性以及是否可下推的优化。
一分钟，您的iOS应用程序可以在Xcode中正常运行，而下一分钟，它由于不可思议的SIGABRT错误而崩溃了。这是怎么回事！？
提示：公众号展示代码会自动折行，建议横屏阅读 TXRocks是TXSQL适配RocksDB的版本，基于Facebook开源的MySQL进行了深度定制和优化。相对于当前线上常用的InnoDB引擎，RocksDB的主要优势是空间占用少。主要原因有两点，第一:RocksDB的数据页是压缩后append方式存储，而InnoDB的数据默认是先凑齐16K，然后再压缩对齐，对齐会造成额外的空间占用；第二:InnoDB的B+树的页面本身也有空洞。一般情况下，RocksDB的空间占用大概是压缩InnoDB的1/2左右。而且
TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品。它通过 Spark 提供的拓展机制与内置的 TiKV Client Java，在 Spark 之上直连 TiKV 进行读写，具有事务性读取、事务性写入与删除等能力。其中在事务性读取中基于 Spark Extension 实现了下推（详情可见 TiSpark 用户指南）。
在MySQL数据库中，索引是提高查询性能的关键。为了进一步优化查询性能，MySQL引入了索引下推的概念。索引下推是指在使用索引进行查询时，将过滤条件下推到存储引擎层级进行处理，减少不必要的数据读取和传输，从而提高查询效率。
大家好，我是前端西瓜哥。这次我们来看看虚拟列表是什么玩意，并用 React 来实现两种虚拟列表组件。
关系：实际上是一张二维表，表的每一行是一个元素，每一列是一项属性。 元组：指的是一个关系上属性集的笛卡尔积的一个元素。大部分情况一下，我们可以理解为表的一行数据。
MatrixOne是矩阵起源数据库创业公司打造的开源超融合异构数据库，能同时灵活支持OLTP、OLAP等不同工作负载。下面学习下其关于OLAP方面的技术特性。
腾讯云数据库TDSQL与中国人民大学最新联合研究成果被SIGMOD 2022接收并将通过长文形式发表。SIGMOD是国际数据管理与数据库领域顶尖的学术会议之一，腾讯云数据库TDSQL论文已连续多年入选VLDB、SIGMOD、ICDE等国际顶级会议。 本次入选论文题目为：CompressDB: Enabling Efficient Compressed Data Direct Processing for Various Databases。论文针对压缩数据的直接操作与处理，提出一项新型数据库处理技术——Co
2016年2月9号《自然》杂志的《The chips are down for Moore’s law》写到即将出版的国际半导体技术路线图不再以摩尔定律（Moore’s law）为目标，芯片行业50年的神话终被打破。
HashJoin是关联查询中最重要的算子，对于计算密集型应用，关联查询的性能瓶颈主要在于HashJoin算子Probe阶段的Hash查找和Data Shuffle上。RuntimeFilter是用于运行时优化HashJoin性能的一种常见方法，RuntimeFilter对于INNER JOIN, Right Join, Semi Join等都有显著的性能提升效果。目前RuntimeFilter技术已经在很多数据库中得以应用，比如SnowFlake(BloomJoins), Impala，EMR Spark，Apache doris，Starrocks，PolarDB-X等。
本文介绍了在Spark SQL中，通过使用Join操作进行数据处理的注意事项和优化策略。首先，介绍了Spark SQL中Join操作的基本概念和语法。然后，详细阐述了Spark SQL中Join操作的不同类型，包括内连接、左连接、右连接、全连接、半连接、自连接和交叉连接。接着，探讨了Spark SQL中Join操作的条件，包括join条件、filter条件、where条件、orderBy条件和聚合函数。最后，通过实例分析了Spark SQL中Join操作的优化方法，包括使用广播变量、分区、缓存和广播join等。通过本文的介绍，读者可以更好地理解Spark SQL中Join操作的使用方法和优化策略，从而提高数据处理效率。"
在《SparkSql连接查询中的谓词下推处理（一）》中，我们介绍了一些基本的概念，并对内连接查询时的一些基本下推规则进行了分析。
Extra 是 EXPLAIN 输出中另外一个很重要的列，该列显示 MySQL 在查询过程中的一些详细信息。
首先感谢 spark君 细心的整理，下文是早些时候在群里关于一个SparkSQL条件下推问题的实录，由于刚刚发表了一篇文章（Flink SQL vs Spark SQL），正好对这块理解还是热乎的，所以我作为D君，我也混水摸了一下鱼。
在MySQL 5.6之前，当查询使用到复合索引时，MySQL会先根据索引的最左前缀原则，在索引上查找到满足条件的记录的主键或行指针，然后再根据这些主键或行指针到数据表中查询完整的行记录。之后，MySQL再根据WHERE子句中的其他条件对这些行进行过滤。这种方式可能导致大量的数据行被检索出来，但实际上只有很少的行满足WHERE子句中的所有条件。
爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：https://www.jianshu.com/u/a95ec11f67a8，欢迎讨论。
* 对大表做数据拆分，先做垂直拆分（按业务拆分，将不同业务的字段拆分到不同的表、或不同的数据库、甚至不同的实例中），然后做水平拆分（对于无法继续拆分字段的表，如果数据量仍然大到影响性能，则可能还需要以不超过1000W行数据量的标准继续对大表执行拆分，即就是我们常说的数据分片）
这篇文章来讲优化规则HiveFilterSetOpTransposeRule，主要功能是将Filter过滤器下推到SetOp集合操作之下，提前过滤掉不必要的数据，减少中间结果进行优化。
TiDB 在使用过程中，随着用户数据量的持续增长，存储成本在数据库总成本中的占比将会越来越高。如何有效降低数据库存储成本摆在了许多用户面前。
上篇文章分享了基于成本优化器CBO可插拔式优化规则SortJoinReduceRule把Sort下推到Join的优化规则，不熟悉的可翻阅往前文章（文章底部有往期文章链接）。
最近遇到了不少MySQL性能优化的案例，都和子查询有关，今天就这个话题做一定的分析。
JavaScript 引擎是一个单线程解析器，而单线程解析器由堆和单一调用栈组成。浏览器提供 Web APIs，比如：DOM，AJAX 和 定时器。
Tech 导读 文章主要介绍了UData系统的设计理念，描述了该系统的查询引擎基于StarRocks在联邦查询方面做了哪些增强，从而使一条ES外表的联邦聚合关联查询性能提升数倍。通过本文，读者可以了解SQL语句在MPP查询引擎上的基本执行流程，并可以基于此考虑如何对于这一过程进行优化和改造。
全局限制，最多返回 limitExpr 对应条 records。总是通过 IntegerLiteral#unapply(limitExpr: Expression): Option[Int] 将 limitExpr 转换为 Int。
TiFlash 自开源以来得到了社区的广泛关注，很多小伙伴通过源码阅读的活动学习 TiFlash 背后的设计原理，也有许多小伙伴跃跃欲试，希望能参与到 TiFlash 的贡献中来。这次，我们特别筛选了 TiFlash 中一些入门级别的 issue，帮助大家无门槛地参与到大型开源项目中来。
在 SQL 中，聚合操作对一组值执行计算，并返回单个值。TiDB 实现了 2 种聚合算法：Hash Aggregation 和 Stream Aggregation。
作者：木鸟杂记 https://www.qtmuniao.com/2022/04/05/crdb-tidb-dist-sql 转载请注明出处
提到复杂查询，MYSQL 头疼的旅程就开始了，当然优化的方法和其他的数据监控也不大同，MYSQL的语句优化属于发散性思维，只要你能用上的方法都可以，可不限制于数据库本身的语句优化。所以MYSQL的优化好像是一个讲不完的故事。
注：限定下讨论范围，分布式数据库，存储计算分离，share-noting 架构，仅讨论存储层。
目录 递归函数 1、定义：函数在运行的过程中，直接和间接调用了自身，就是递归函数 2、递推到回溯的流程图： 递归函数 1、定义：函数在运行的过程中，直接和间接调用了自身，就是递归函数 python默认的最大递归深度为1000次 实例如下： import sys # 获取最大递归深度 print(sys.getrecursionlimit()) # 结果 1000 # 修改最大递归深度为2000 sys.setrecursionlimit(2000) print(sys.getrecurs
1. 数据孤岛：由于历史原因以及不同数据中心的业务差异性，众多异构数据源形成了数据孤岛，导致大量且繁重的人工数据搬迁。与此同时，由于不同国家的数据安全法限制，很多数据无法搬迁，数据安全和查询效率都难以保证
本文介绍了如何解析iOS的崩溃堆栈，分别使用了symbolicatecrash来自动解析整个堆栈，以及使用atos来解析单个地址的符号。还介绍了如何确认符号表是否正确，以及找不到符号时如何解决。
我们队伍是由武汉大学在校学生组成。我们选择的课题是让 TiDB 接入若干外部的数据源，使得 TiDB 称为一个更加通用的查询优化和计算平台。
今天的话题有两层含义，第一层是说相对于我们所熟知的集中式数据库来说，分布式数据库是与之不同的。在做数据库选型的时候，我们要充分的了解其间的不同，才能做出较为科学的决策。我想很多数据库从业人员都了解其中的不同，不幸的是，他们不是数据库选型的决策者，大多数决策者并不了解这一点。
Moonbox是一个DVtaaS（Data Virtualization as a Service）平台解决方案。它基于数据虚拟化设计思想，致力于提供批量计算服务解决方案。Moonbox负责屏蔽底层数据源的物理和使用细节，为用户带来虚拟数据库般使用体验，用户只需通过统一SQL语言，即可透明实现跨异构数据系统混算和写出。此外Moonbox还提供数据服务、数据管理、数据工具、数据开发等基础支持，可支撑更加敏捷和灵活的数据应用架构和逻辑数仓实践。
随着MySQL版本的发展，优化器是越来越智能，优化器开关也越来越多，本文给大家分享一下MySQL对derived table的优化处理。
上一篇文章《菜鸟也能“种”好二叉树！》提到：树是一种分层分类的数据结构，用途是查找和排序。而与查找和排序密切相关的就是求最值（最大值或者最小值）。今天我们就来介绍一个与最值相关的数据结构——二叉堆。
最近一段时间，在跟开发者沟通过程中，萝莉发觉有些开发者对iOS的应用符号表还不是很清楚，除了咨询关于符号表生成、配置的问题以外，对Bugly崩溃分析需要配置符号表也存在疑问。 在这里，萝莉就给大家分享下关于iOS符号表的一些内容。 首先，进行常识“脑补”。 1. 符号表是什么？ 符号表就是指在Xcode项目编译后，在编译生成的二进制文件.app的同级目录下生成的同名的.dSYM文件。 .dSYM文件其实是一个目录，在子目录中包含了一个16进制的保存函数地址映射信息的中转文件，所有Debug的symbols都
当MySQL使用一个索引来检索表中的行时，可以使用ICP作为一种优化方案。不使用ICP时，存储引擎通过索引检索基础表中的行并将符合WHERE条件中的行返回给客户端。启用ICP后，如果只需要通过索引中的列就能够评估行是否符合WHERE中的一部分条件，MySQL将这部分WHERE条件下推到存储引擎中，然后存储引擎评估使用索引条目来评估下推的索引条件，并只从表中读取符合条件的行。ICP可以减少存储引擎访问基础表的次数以及MySQL访问存储引擎的次数。
Presto仅使用前两个组件：数据和元数据。它不使用HiveQL或Hive执行环境的任何一部分。
TiFlash 这个项目的核心思路与和 TiDB 一样：持续听取用户反馈、持续改进、持续优化、高速迭代。最近几周陆续有数十家用户已经率先体验了 TiFlash，测试的过程中很多同学注意到一个现象，短短几周时间，每次 TiFlash 的版本更新都会带来新的性能的改进，速度越来越快，也会问到 TiFlash 越来越快的原理，所以就有了这篇深度解析。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
