文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

基于AIGC的写作尝试：Presto: A Decade of SQL Analytics at Meta（翻译）

在这些限制下需要新的设计原则来扩展工作负载，以处理任意大的内存消耗和任意长的运行时间，同时具有不稳定的基础架构。最后，需要超越数据分析的要求。现代仓库已经成为数据湖，以根据不同用例的需求允许数据使用。...过滤器重排序的用例不包含在基于成本的优化器中，因为它在运行时讨论，详见第3.3节。为了做出正确的决策，需要外部信息来估算成本。...函数以库的形式编写和发布。Presto在运行时加载库，并在与主评估引擎相同的进程中执行它们。这种模式可以高效，因为没有上下文切换。...Gremlin [49]是一种用于查询图形的API，遵循更多的数据流结构，并与声明性的类SQL语言不同。FUTURE WORK 本文中提到的技术是我们处理更复杂工作负载的初步探索。...非SQL API：第6.4节中的GraphSQL仅适用于与图形相关的用例的SQL扩展。

5.4K111
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    Presto在字节跳动的内部实践与优化

    数据集上性能相对社区版本提升 80.5%； 稳定性方面 首先，实现了多 Coordinator 架构，解决了 Presto 集群单 Coordinator 没有容灾能力的问题，将容灾恢复时间控制在 3s...计算引擎根据业务类型不同，Presto 支撑了 Ad-hoc 查询、部分 BI 报表类查询，SparkSQL 负责超大体量复杂分析及离线 ETL、Flink 负责流式数据清洗与导入。...在不同场景的优化与实践 1、Ad-hoc 查询分析场景 2020 年之前，大数据场景下的 ad-hoc 查询主要由 Hive/SparkSQL 来支撑。...在物化视图功能中，我们借鉴了很多传统数据库的经验，工作主要涉及三方面的工作： 物化视图的自动挖掘——主要根据用户查询的历史记录进行分析，统计不同数据的查询频率进行物化视图的自动推荐与创建。...这个链路中往往需要进行表数据的全量更新，任务比较重，与线上数据存在 1 天以上的数据延迟。 为了降低数据延迟，我们引入了 Hudi 来进行数据的增量更新。

    1.8K51

    天穹SuperSQL：腾讯下一代大数据自适应计算引擎

    计算层会根据不同场景，采用不同的计算引擎，其中Spark负责ETL、报表场景，Presto负责交互式查询场景，Hermes负责日志检索、用户画像场景，Doris负责数据湖查询分析，PowerFL负责安全数据计算...作为业务效果样例，根据对接SuperSQL的某数据分析中台的SQL流水统计，HBO加持的SuperSQL智能引擎选择，可以大幅减少因为引擎选择错误导致的SQL failver。...HBO规避的SQL类别大都是超大资源占用、海量分区读写、大规模Join等高计算开销类，日均可减少Presto引擎 34TB 的无效内存占用以及 33小时 的无效CPU时间。...以Presto为例，作为一款典型的MPP架构、纯内存计算的交互式查询引擎，为了追求性能的最大化，Presto会尽可能地利用节点上可用的资源，包括CPU/内存/网络带宽等，节点间的物理资源规格也需要尽可能保持一致...Coordiantor在运行过程中，会实时感知Worker节点的算力变化情况，同时计算出对应的节点可用算力权重，在Task和Split的调度过程中，针对不同的算力权重，根据模型计算出相应的Worker

    5.9K20

    Presto查询执行过程和索引条件下推分析

    io.prestosql.spi.Plugin 的文件, 文件内容的connector中实现了io.prestosql.spi.Plugin 这个接口的类，然后采用如下的伪代码进行隔离加载： URLClassLoader...Presto Connector 核心API ConnectorFactory 用于创建一个 Presto Connector。Presto Connector 核心 API，如下图： ?...如：文件64M一个分片；HBase一个region 一个分片； createRecordReader(split) 用于在运行时，把每个分片交给一个Task运行。...Presto 在判断 isFinish() 为 false时，会一直遍历获得 Page； Block：一列数据，根据不同类型的数据，通常采取不同的编码方式。...数据在第三方的存储系统中，因此若要 Presto 高性能执行： 需要在 TableScanNode 前期计算分区时返回较少的分区； 需要在 Worker 获得 Page 阶段，利用底层索引系统，尽最大可能命中索引的条件

    4.7K40

    天穹SuperSQL：腾讯下一代大数据自适应计算引擎 | 文末送书

    计算层会根据不同场景，采用不同的计算引擎，其中 Spark 负责 ETL、报表场景，Presto 负责交互式查询场景，Hermes 负责日志检索、用户画像场景，Doris 负责数据湖查询分析，PowerFL...作为业务效果样例，根据对接 SuperSQL 的某数据分析中台的 SQL 流水统计，HBO 加持的 SuperSQL 智能引擎选择，可以大幅减少因为引擎选择错误导致的 SQL failover。...HBO 规避的 SQL 类别大都是超大资源占用、海量分区读写、大规模 Join 等高计算开销类，日均可减少 Presto 引擎 34TB 的无效内存占用以及 33 小时 的无效 CPU 时间。...以 Presto 为例，作为一款典型的 MPP 架构、纯内存计算的交互式查询引擎，为了追求性能的最大化，Presto 会尽可能地利用节点上可用的资源，包括 CPU/ 内存 / 网络带宽等，节点间的物理资源规格也需要尽可能保持一致...Coordinator 在运行过程中，会实时感知 Worker 节点的算力变化情况，同时计算出对应的节点可用算力权重，在 Task 和 Split 的调度过程中，针对不同的算力权重，根据模型计算出相应的

    1.6K10

    Presto原理&调优&面试&实战全面升级版

    可以类比用户基于 Hive 交互式查询 HDFS 中的数据，用户可以基于 Presto 查询各种不同的数据源的数据。 （2）批量 ETL。...如果配置了Hive Connector，需要配置一个Hive MetaStore服务为Presto提供Hive元信息，Worker节点与HDFS交互读取数据。...这是一个非常好的特点，会有如下几个方面的优点： 解耦时间：将前期的 split 准备工作与实际的查询执行时间分开； 减少不必要的数据加载：有时候一个查询可能刚出结果但是还没完全查询完就被取消了，或者会通过一些...换句话说，用户内存是与任务运行有关的，我们可以通过自己的程序推算出来运行时会用到的内存，系统内存可能更多的是一些不可变的。...美团的博客中给出了这个答案： 完全基于内存的并行计算 流水线式的处理 本地化计算 动态编译执行计划 小心使用内存和数据结构 类BlinkDB的近似查询 GC控制 和Hive这种需要调度生成计划且需要中间落盘的核心优势在于

    2.6K41

    唯品会亿级数据服务平台实践

    作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。...数仓的数据在被数据产品使用时，需要为每个表新生成一个单独的接口，应用端需要为每一种访问方式（如 Presto、ClickHouse）区分使用不同的接口，导致数据产品接口暴涨，不方便维护，影响开发及维护效率...数据在不同的存储时，需要包含 clickhouse-client，presto-client 等等第三方 jar 包。...之前，会首先提交 SQL 语句到 SQLParser 服务器，将 SQL 解析成后端计算集群可以支持的 SQL 语句，如 Spark、Presto、ClickHouse 等，为了能够减少 RPC 交互次数...以 worker 为例，当 worker 成功注册到 master 时，就会开启定时心跳汇报动作，并借道心跳请求，将自己的运行时信息汇报给 master。

    1.4K20

    数仓服务平台在唯品会的建设实践

    作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。...数仓的数据在被数据产品使用时，需要为每个表新生成一个单独的接口，应用端需要为每一种访问方式（如 Presto、ClickHouse）区分使用不同的接口，导致数据产品接口暴涨，不方便维护，影响开发及维护效率...数据在不同的存储时，需要包含 clickhouse-client，presto-client 等等第三方 jar 包。...之前，会首先提交 SQL 语句到 SQLParser 服务器，将 SQL 解析成后端计算集群可以支持的 SQL 语句，如 Spark、Presto、ClickHouse 等，为了能够减少 RPC 交互次数...以 worker 为例，当 worker 成功注册到 master 时，就会开启定时心跳汇报动作，并借道心跳请求，将自己的运行时信息汇报给 master。

    1.3K10

    Presto 分布式SQL查询引擎及原理分析

    前言： Presto是由 Facebook 推出的一个基于Java开发的开源分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。...2.Ad-Hoc查询：数据分析应用、Presto 根据特定条件的查询返回结果和生成报表。 3.ETL：因支持的数据源广泛、可用于不同数据库之间迁移，转换 和 完成 ETL 清洗的能力。...主要用于接收客户端提交的查询，解析查询语句，执行词法分析生成查询执行计划，并生成Stage 和 Task 进行调度；然后合并结果，把结果返回给客户端（Client）； 4.Worker：主要负责与数据的读写交互以及执行查询计划...Spark Input也直接依赖Hadoop InputFormat API，导致SparkSQL在运行时，并不能把 SQL 优化细节传导到 InputFormat。...3.Presto 是完全基于内存的并行计算，他不像 Hive MR/TEZ 需要把中间数据写盘、Spark 需要把溢出的数据写盘，Presto 是完全假设数据能有效的放入内存。

    5.2K21

    唯品会亿级数据服务平台落地实践

    作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。...数仓的数据在被数据产品使用时，需要为每个表新生成一个单独的接口，应用端需要为每一种访问方式（如 Presto、ClickHouse）区分使用不同的接口，导致数据产品接口暴涨，不方便维护，影响开发及维护效率...数据在不同的存储时，需要包含 clickhouse-client，presto-client 等等第三方 jar 包。...之前，会首先提交 SQL 语句到 SQLParser 服务器，将 SQL 解析成后端计算集群可以支持的 SQL 语句，如 Spark、Presto、ClickHouse 等，为了能够减少 RPC 交互次数...以 worker 为例，当 worker 成功注册到 master 时，就会开启定时心跳汇报动作，并借道心跳请求，将自己的运行时信息汇报给 master。

    1.3K10

    火花思维大数据Serverless实践总结

    另外，弹性扩容的过程通常需要较长的时间来完成，以我们在 2023 年的扩容操作为例，当时扩容 10 台 DN（Data Node，数据节点）通常需要半小时的等待时间，这种较长的扩容时间使得EMR弹性扩容很难应用到日常的调度场景中...不同的项目分配不同的 dlc-presto 队列，对接底层不同的 DLC-Presto 引擎，从而实现不项目间的 Presto 引擎物理隔离。...通过数据治理平台的数据集成对接引擎与腾讯 DLC-Spark-Job 相关 API 进行交互，来进行 Spark-Job 定义、修改、删除、触发任务，取消运行、查询日志等操作。...注意不同环境任务隔离 我们在使用 Serverless 产品时，与底层引擎的操作都切换至了 Serverless 产品的 API，而且所有任务的操作都是通过 API 与云厂商产品进行交互，但云厂商 API...自助提数与任务调度使用同一引擎问题 在日常的工作中，分析师常常需要提取数据来支持他们的分析工作。

    65200

    聊天客户端（Chat Client） API

    上一课：Spring AI API介绍 ChatClient，它提供了一个流畅的 API，用于与 AI 模型进行通信。 它支持同步编程模型和响应式编程模型。...这些消息通常包含占位符，这些占位符在运行时根据用户输入进行替换，以自定义 AI 模型对用户输入的响应。 还可以指定提示选项，例如要使用的 AI 模型的名称以及控制生成输出的随机性或创造力的温度设置。...通过设置默认值，您只需要在调用时指定用户文本，而无需为运行时代码路径中的每个请求设置系统文本。...@ConfigurationChatClient 默认系统文本 在以下示例中，我们将系统文本配置为始终以盗版者的声音回复。 为了避免在运行时代码中重复系统文本，我们将在类中创建一个实例。...对话历史记录：聊天模型的 API 是无状态的。如果你告诉 AI 模型你的名字，它不会在随后的交互中记住它。必须随每个请求一起发送对话历史记录，以确保在生成响应时考虑以前的交互。

    88200

    唯品会亿级数据服务平台落地实践

    作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。...数仓的数据在被数据产品使用时，需要为每个表新生成一个单独的接口，应用端需要为每一种访问方式（如 Presto、ClickHouse）区分使用不同的接口，导致数据产品接口暴涨，不方便维护，影响开发及维护效率...数据在不同的存储时，需要包含 clickhouse-client，presto-client 等等第三方 jar 包。...之前，会首先提交 SQL 语句到 SQLParser 服务器，将 SQL 解析成后端计算集群可以支持的 SQL 语句，如 Spark、Presto、ClickHouse 等，为了能够减少 RPC 交互次数...以 worker 为例，当 worker 成功注册到 master 时，就会开启定时心跳汇报动作，并借道心跳请求，将自己的运行时信息汇报给 master。

    1.1K10

    大数据Hadoop生态圈各个组件介绍（详情）

    client：切分文件，访问HDFS时，首先与NameNode交互，获取目标文件的位置信息，然后与DataNode交互，读写数据 NameNode：master节点，每个HDFS集群只有一个，管理HDFS...Yarn是下一代 Hadoop 计算平台，yarn是一个通用的运行时框架，用户可以编写自己的计算框架，在该运行环境中运行。 用于自己编写的框架作为客户端的一个lib，在运用提交作业时打包即可。...是一种基于内存的分布式并行计算框架，不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce...和Hadoop相比，Spark可以让你的程序在内存中运行时速度提升100倍，或者在磁盘上运行时速度提升10倍 Cluster Manager：在standalone模式中即为Master主节点，控制整个集群...其他Spark的库都是构建在RDD和Spark Core之上的 Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。

    6.1K21

    唯品会亿级数据服务平台落地实践

    作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。...数仓的数据在被数据产品使用时，需要为每个表新生成一个单独的接口，应用端需要为每一种访问方式（如 Presto、ClickHouse）区分使用不同的接口，导致数据产品接口暴涨，不方便维护，影响开发及维护效率...数据在不同的存储时，需要包含 clickhouse-client，presto-client 等等第三方 jar 包。...之前，会首先提交 SQL 语句到 SQLParser 服务器，将 SQL 解析成后端计算集群可以支持的 SQL 语句，如 Spark、Presto、ClickHouse 等，为了能够减少 RPC 交互次数...以 worker 为例，当 worker 成功注册到 master 时，就会开启定时心跳汇报动作，并借道心跳请求，将自己的运行时信息汇报给 master。

    1K10

    IdentityServer Topics（3）- 定义客户端

    客户端代表可以从您的身份服务器请求令牌的应用程序。...细节有所不同，但您通常为客户端定义以下常用设置： 一个唯一的客户端ID 一个密钥，如果需要 允许与令牌服务的交互（称为授权类型） 身份或访问令牌被发送到的网络位置（称为重定向URI） 允许客户端访问的范围列表...（资源） 在运行时，客户端通过IClientStore的实现来检索。...定义服务器到服务器通信的客户端 在这种情况下，不存在交互式用户 - 服务（客户端）想要与API（作用域）进行通信： public class Clients { public static IEnumerable...", "api2.read_only" } }; 定义服务器端Web应用程序（例如MVC）以进行使用验证和授权的API访问 交互式服务器端（或本地桌面/移动）应用程序使用混合流程（hybrid

    86530

    微信、支付宝以及美团等各大开放平台是如何使用OAuth 2.0的？

    接下来，我们再以用户小明使用小兔打单软件为例，来看看这些系统角色之间具体又是怎样交互的？ ?...到这里，我们可以发现，在开放平台体系中各个系统角色间的交互可以归结为： 当用户小明访问小兔软件的时候，小兔会首先向开放平台的 OAuth 2.0 授权服务去请求访问令牌，接着小兔拿着访问令牌去请求 API...网关服务； 在 API 网关服务中，会做最基本的两种校验，一种是访问令牌的合法性校验，比如访问令牌是否过期的校验，另一种是小兔打单软件的基本信息的合法性校验，比如 app_id 和 app_secret...所以在这种情况下，授权服务就要通过 MQ（消息队列）接收用户的注销和修改密码这两类消息，然后对访问令牌进行清理。 ?...以上就是开放平台整体的结构，以及其中需要重点关注的用户访问令牌的安全性问题了。

    1.5K50
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券