摘要：本文由腾讯高级工程师杜立分享，主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化，内容包括：
flink sql 知其所以然（十四）：维表 join 的性能优化之路（上）附源码
首先要把这个概念记在脑中：“声明”。SQL 语言是为计算机声明了一个你想从原始数据中获得什么样的结果的一个范例，而不是告诉计算机如何能够得到结果。sql的执行引擎会根据你声明的数据结果去获取对应的数据。
首先问题的背景是一个业务做压力测试，排除了很多的前期问题，使用的最有效手段就是索引，在最后一个环节，问题开始陷入焦灼状态，因为这一条SQL的相关表有16张，而且是在业务环节中频繁调用和引用的逻辑。
本文是为了以下读者而特地编写的： 1. 在工作中会用到 SQL 但是对它并不完全了解的人。 2. 能够熟练使用 SQL 但是并不了解其语法逻辑的人。 3. 想要教别人 SQL 的人。 本文着重介绍 SELECT 句式。 10个简单步骤，完全理解SQL
表运算符的作用是把为其提供的表作为输入，经过逻辑查询处理，返回一个表结果。SQL Server支持四个表运算符：JOIN、APPLY、PIVOT、UNPIVOT，其中JOIN是标准SQL中的运算符，APPLY、PIVOT和UNPIVOT是T-SQL的扩展。
文 | 水果泡腾片 来源 | 伯乐在线 很多程序员视 SQL 为洪水猛兽。SQL 是一种为数不多的声明性语言，它的运行方式完全不同于我们所熟知的命令行语言、面向对象的程序语言、甚至是函数语言（尽管有些人认为 SQL 语言也是一种函数式语言）。 我们每天都在写 SQL 并且应用在开源软件 jOOQ 中。于是我想把 SQL 之美介绍给那些仍然对它头疼不已的朋友，所以本文是为了以下读者而特地编写的： 1、 在工作中会用到 SQL 但是对它并不完全了解的人。 2、 能够熟练使用 SQL 但是并不了解其语法逻辑的人。
1. SQL 是一种声明式语言 首先要把这个概念记在脑中：“声明”。 SQL 语言是为计算机声明了一个你想从原始数据中获得什么样的结果的一个范例，而不是告诉计算机如何能够得到结果。这是不是很棒？ （译者注：简单地说，SQL 语言声明的是结果集的属性，计算机会根据 SQL 所声明的内容来从数据库中挑选出符合声明的数据，而不是像传统编程思维去指示计算机如何操作。） SELECT first_name, last_name FROM employees WHERE salary > 100000 上面的例子很容易
SparkSql是架构在Spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理，提供的DSL 可以直 接使用scala语言完成Sql查询，同时也使用thriftserver提供服务化的Sql查询功能。SparkSql提供了DataSource API，用户通过这套API可以自己开发一套Connector，直接查询各类数据源，数据源包括NoSql、RDBMS、搜索引擎以及HDFS等分布式文件系统上的文件等。
一、Apache Spark 二、Spark SQL发展历程 三、Spark SQL底层执行原理 四、Catalyst 的两大优化
导语 | 随着互联网场景的不断深化发展，业务实时化趋势越来越强，要求也越来越高。特别是在广告推荐、实时大屏监控、实时风控、实时数仓等各业务领域，实时计算已经成为了不可或缺的一环。在大数据技术的不断发展的过程中，Flink已经成为实时计算的工业标准，越来越多的公司正在使用 Flink作为自己实时计算的工具。本文由腾讯云实时计算Oceanus专家工程师杜立在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」 的《实时流式计算实践与优化》演讲分享整理而成，为大家详尽介
SparkSql是架构在Spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理，提供的DSL可以直接使用scala语言完成Sql查询，同时也使用thriftserver提供服务化的Sql查询功能。SparkSql提供了DataSource API，用户通过这套API可以自己开发一套Connector，直接查询各类数据源，数据源包括NoSql、RDBMS、搜索引擎以及HDFS等分布式文件系统上的文件等。和SparkSql类似的系统有Hive、PrestoDB以及Impala，这类系统都属于所谓的"Sql on Hadoop"系统,每个都相当火爆，毕竟在这个不搞SQL就是耍流氓的年代，没SQL确实很难找到用户使用。
看过我那篇《SQL 数据库小白，从入门到精通》的朋友，一定不会陌生，SQL 的数学原理，就是集合运算。
神奇的 SQL 之 联表细节 → MySQL JOIN 的执行过程（一）中，我们讲到了 3 种联表算法：SNL、BNL 和 INL，了解了数据的查询方式是 one by one，联表方式也是 one by one ；并谈到了 ON 和 WHERE，对下图中所说的提出了质疑
SQL任务是ODPS中使用最频繁的一类作业,大部分用户开始使用ODPS时要做的第一件事情就是学习怎么写ODPS的SQL。ODPS SQL是一种非常灵活的语言,兼容大部分的SQL92规范,也对大规模计算场景做了一些特别的定制。有些用户写出的SQL让人看了之后茅塞顿开的感觉,也有一些神级用户经常写一些1000多行的SQL,让人看的只想撞墙。本文会介绍一下SQL是如何分析解析,并拆解成分布式飞天任务的一些实现原理。
介绍 在数据库运维过程中，优化 SQL 是 DBA 团队的日常任务。例行 SQL 优化，不仅可以提升程序性能，还能够降低线上故障的概率。 目前常用的 SQL 优化方式包括但不限于：业务层优化、SQL逻辑优化、索引优化等。其中索引优化通常通过调整索引或新增索引从而达到 SQL 优化的目的。索引优化往往可以在短时间内产生非常巨大的效果。如果能够将索引优化转化成工具化、标准化的流程，减少人工介入的工作量，无疑会大大提高DBA的工作效率。 SQLAdvisor 是由美团点评公司北京DBA团队开发维护的 SQL 优化
run the explain plan(sql_executor.cc) JOIN.exec
背景 当前的互联网数据仓库系统里，数据中心往往存放了大量Cube化或者半Cube化的数据。如果需要将这些数据的内在关系体现出来，需要写大量的程序和SQL来发现数据之间的内在规律，往往会造成用户做非常多的重复性工作；而且由于没有数据校验的机制，还容易出错，无法直观查看各种数据（没有可视化的UI图表）。这时就急需一款基于Cube的报表工具快速为用户提供报表服务，可以完成多维查询、上卷、下钻等各种功能。针对这一场景，美团点评酒旅技术团队开发了大圣魔方。 难点 一款好的BI报表工具，需要考虑并能够解决如下问题： 统
本文作者：张茄子，来源于专栏：https://zhuanlan.zhihu.com/p/59643962
作者：龙逸尘，腾讯 CSIG 高级工程师 背景介绍 维表（Dimension Table）是来自数仓建模的概念。在数仓模型中，事实表（Fact Table）是指存储有事实记录的表，如系统日志、销售记录等，而维表是与事实表相对应的一种表，它保存了事实表中指定属性的相关详细信息，可以跟事实表做关联；相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。 在实际生产中，我们经常会有这样的需求，以原始数据流作为基础，关联大量的外部表来补充一些属性。例如，在订单数据中希望能获取订单收货人所在市区的名称。一
DREAM（https://github.com/moxa-lzf/dream）是一款基于翻译的以技术为中心，辐射业务持久层框架
在阐述Join实现之前，我们首先简单介绍SparkSQL的总体流程，一般地，我们有两种方式使用SparkSQL，一种是直接写sql语句，这个需要有元数据库支持，例如Hive等，另一种是通过Dataset/DataFrame编写Spark应用程序。如下图所示，sql语句被语法解析(SQL AST)成查询计划，或者我们通过Dataset/DataFrame提供的APIs组织成查询计划，查询计划分为两大类：逻辑计划和物理计划，这个阶段通常叫做逻辑计划，经过语法分析(Analyzer)、一系列查询优化(Optimizer)后得到优化后的逻辑计划，最后被映射成物理计划，转换成RDD执行。
用于决定在Oracle中解析目标SQL时所用优化器的类型，以及决定当使用CBO时计算成本值的侧重点。这里的“侧重点”是指当使用CBO来计算目标SQL各条执行路径的成本值时，计算成本值的方法会随着优化器模式的不同而不同。
本文介绍了Spark SQL的Join实现原理、不同Join方式的实现流程、优化策略以及社区现状，为Spark SQL的Join实现提供了全面且深入的解析，有助于开发者深入了解Spark SQL的Join实现细节，从而更好地利用Spark SQL进行数据处理和分析。
SQL作为关系型数据库的标准语言，是 IT 从业人员必不可少的技能之一。SQL 本身并不难学，编写查询语句也很容易，但是想要编写出能够高效运行的查询语句却有一定的难度。
SQL 本身并不难学，编写查询语句也很容易，但是想要编写出能够高效运行的查询语句却有一定的难度。
T-SQL是ANSI和ISO SQL标准的MS SQL扩展，其正式名称为Transact-SQL，但一般程序员都称其为T-SQL。
在MySQL慢日志通过pt工具解析后有一个小问题，那就是我们很难得到一个完整的table列表，即假设一条SQL语句很长，那么我们其实想知道这条SQL相关的表是哪几个，如果能够很清晰的提炼出来，那么我们要做后续的分析就会锦上添花。
sql查询这个东西， 要说它简单， 可以很简单， 通常情况下只需使用增删查改配合编程语言的逻辑表达能力，就能实现所有功能。 但是增删查改并不能代表sql语句的所有， 完整的sql功能会另人望而生畏。 就拿比普通增删查改稍微复杂一个层次的连接查询来说, 盲目使用, 也会出现意料之外的危险结果，导致程序出现莫名其妙的BUG。 在连接查询语法中，另人迷惑首当其冲的就要属on筛选和where筛选的区别了， 在我们编写查询的时候， 筛选条件的放置不管是在on后面还是where后面， 查出来的结果总是一样的， 既然
SQL 作为关系型数据库的标准语言，是 IT 从业人员必不可少的技能之一。SQL 本身并不难学，编写查询语句也很容易，但是想要编写出能够高效运行的查询语句却有一定的难度。
在SQL tuning中，不良写法导致SQL执行效率比比皆是。最近的SQL tuning中一个外部连接写法不当导致过SQL执行时间超过15分钟左右此即 为一例。通过修正该SQL的写法之后，过高的逻辑读呈数量级下降以及SQL语句执行时间也大幅下降。下面给出一个列子来演示该情形。
在了解Sharding-JDBC的执行原理前，需要了解以下概念 ： 逻辑表 水平拆分的数据表的总称。例 ：订单数据表根据主键尾数拆分为1-张表，分别是t_order_0、t_order_1到t_order_9，他们的逻辑表名为t_order。 真实表 在分片的数据库中真实存在的物理表。即上个实例中的t_order_0到t_order_9。 数据节点 数据分片的最小物理单元。由数据源名称和数据表组成，例如 ：ds_0.t_order_0。 绑定表 指分片规则一致的主表和子表。例如 ：t_order表和t_order_item表，均按照order_id分片，绑定表之间的分区键完全相同，则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出现笛卡尔积关联，关联查询效率将大大提升。举例说明，如果SQL为 ：
在 Spark SQL 中，参与 Join 操作的两张表分别被称为流式表（StreamTable）和构件表（BuildTable），不同表的角色在 Spark SQL 中会通过一定的策略进行设定。通常来讲，系统会将大表设置为 StreamTable，小表设置为 BuildTable。流式表的迭代器为 streamIter，构建表的迭代器为 buildIter。遍历 streamIter 的每一条记录，然后在 buildIter 中查找匹配的记录。这个查找过程称为 build 过程。每次 build 操作的结果为一条 JoinedRow(A, B)，其中 A 来自 streamedIter，B 来自 buildIter。
【前言：如果你经常使用Spark SQL进行数据的处理分析，那么对笛卡尔积的危害性一定不陌生，比如大量占用集群资源导致其他任务无法正常执行，甚至导致节点宕机。那么都有哪些情况会产生笛卡尔积，以及如何事前"预测"写的SQL会产生笛卡尔积从而避免呢？（以下不考虑业务需求确实需要笛卡尔积的场景）】
本文是《分库分表ShardingSphere5.x原理与实战》系列的第二篇文章，距离上一篇文章已经过去好久了，惭愧惭愧～
spark sql谓词下推逻辑优化器PushDownPredicates包含了三个规则：
墨墨导读：某客户一系统早上业务高峰时段RAC数据库两节点CPU使用率接近100%，导致业务响应缓慢，通过分析原因定位SQL完成优化改写后降低CPU的使用率，业务恢复正常。
概述： 本系列【T-SQL基础】主要是针对T-SQL基础的总结。 本篇主要是对多表查询基础的总结。 查询语句的FROM字句在逻辑上是第一条要处理的字句，在FROM字句内可以用表运算符对输入的表进行操作
先贴蓝色神秘串：http://blog.jobbole.com/55086/#article-comment
数据库的服务端，可分为执行器(Execution Engine) 和 存储引擎(Storage Engine) 两部分：
当今信息时代，数据堪称是最宝贵的资源。沿承系列文章，本文对SQL、Pandas和Spark这3个常用的数据处理工具进行对比，主要围绕数据查询的主要操作展开。
1. Mybaits-plus实战（三） 1.1. 特殊使用规则 1.1.1. Model逻辑删除 数据库对应实体类，继承Model类可以实现AR模式的sql语句操作，但这里需要注意的是，对逻辑删除，官方说明需要实现如下重写方法才能生效，也就是使用实例化对象.deleteById() @Override protected Serializable pkVal() { /** * AR 模式这个必须有，否则 xxById 的方法都将失效！
我其实一直挺困扰《每周歌词》的展示问题。原本这个栏目是我高中时期为了做站点SEO，保证博客能按时更新设定的。所以这个系列一开始都更新的很潦草，甚至大部分是在返校路上写出来的，完全没有质量可言。但是现在我已经有充足的时间更新博客虽然我也不更新，所以也越来越重视《每周歌词》的质量。如今的《每周歌词》已经逐渐变成我个人对某首歌曲和它歌词的感悟了。但是原先存在着的大量《每周歌词》非常占用首页空间，让技术相关的文章都难以找寻，这就违背了这个博客的初衷了。我曾经也尝试了很多种办法以解决，比如单独开子博客（因为数据太难迁移放弃），还有写一篇专门用来推荐的文章索引（因为懒得更新放弃），但是这些办法都不尽如人意。
几乎每天都会被源码社群的同学问各种sql的优化问题（有在群里问的，有私聊的），有的同学描述问题比较清晰，再加上需要优化的sql的业务逻辑不是特别复杂，所以，我能很快定位问题，并协助解决；但有的同学就没那么幸运，业务逻辑复杂，也没办法描述的更细致，真正的优化可能还需要去深入了解业务逻辑，所以，最终还是得靠自己去解决问题。
Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。
如果将数据存储在关系数据库中，最好将数据规范化，通常需要将数据拆分为通过键逻辑连接的多个表。大多数非简易的查询都需要多个表的连接来完成。本文简要介绍了SQL连接，重点介绍了内连接和外接之间的区别。
SQL是开发人员与数据分析师必备的技能，Flink也提供了Sql方式编写任务，能够很大程度降低开发运维成本，这篇是flink join的终极篇SQL Join, 首先介绍sql join使用方式、然后介绍global join带来的状态存储成本及解决方式、最后从源码角度分析sql join实现。
这个题目的正确答案为B，下面是大家选择结果，准确率为36%，说明大家还是忽略了一些基础知识的细节的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
