文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

Presto在滴滴的探索与实践

桔妹导读：Presto在滴滴内部发展三年，已经成为滴滴内部Ad-Hoc和Hive SQL加速的首选引擎。...引擎迭代 我们从2017年09月份开始调研Presto，经历过0.192、0.215，共发布56次版本。...而在19年初（0.215版本是社区分家版本），Presto社区分家，分为两个项目，叫PrestoDB和PrestoSQL，两者都成立了自己的基金会。...要想获得极限性能，必须与HDFS DataNode 混部，且DataNode使用高级硬件，有自建HDFS的需求，增加了运维的负担 所以我们在0.215版本实现了Presto on Druid Connector...，但是内存占用和性能提升不成正比，所以我们放弃了Presto on Alluxio，后续可能会对一些性能要求敏感的业务使用 Presto on Carbondata是在18年8月份测试的，当时的版本，Carbondata

1.8K40

Presto on Apache Kafka 在 Uber的应用

Presto® 和 Apache Kafka® 在 Uber 的大数据堆栈中发挥着关键作用。 Presto 是查询联合的事实标准，已用于交互式查询、近实时数据分析和大规模数据分析。...image.png Presto在Uber的应用 Uber 使用开源 Presto 来查询几乎所有的数据源，包括动态的和静态的。 Presto 的多功能性使我们能够做出明智的、数据驱动的业务决策。...在Uber的挑战 Presto 已经有一个支持通过 Presto 查询 Kafka 的 Kafka 连接器。 但是，该解决方案并不完全适合我们在 Uber 拥有的大规模 Kafka 架构。...Presto 中的 Kafka 连接器允许将 Kafka 主题用作表，其中主题中的每条消息在 Presto 中表示为一行。 在接收到查询时，协调器确定查询是否具有适当的过滤器。...在撰写这篇博文时，越来越多的用户正在采用 Presto on Kafka 进行临时探索。

1.2K10
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    Presto在字节跳动的内部实践与优化

    数据集上性能相对社区版本提升 80.5%； 稳定性方面 首先，实现了多 Coordinator 架构，解决了 Presto 集群单 Coordinator 没有容灾能力的问题，将容灾恢复时间控制在 3s...该策略在做路由选择的过程中会调用各个集群 Coordinator 的 Restful API 获取各个集群的负载情况，选择最优的集群进行路由调度。...Restful API 获取到整个集群的资源使用情况进行相应的任务调度。...在函数支持方面：在 Presto 中支持了 Hive UDF 的执行，使得之前数据分析师积累下来的大量 UDF 可以在 Presto 中执行。...最后，Hudi Connector 的引入降低了 Hudi 版本升级带来的工作量，可以更好的集成 Hudi 社区最新的功能。

    1.8K51

    Presto on Apache Kafka 在 Uber的大规模应用

    Presto 和 Apache Kafka 在 Uber 的大数据栈中扮演了重要角色。Presto 是查询联盟的事实标准，它已经在交互查询、近实时数据分析以及大规模数据分析中得到应用。...你还可以在我们之前的一些博文中找到更多有关 Presto 的信息： 《在 Uber 使用 Presto 和 Apache Parquet 进行工程数据分析》（Engineering Data Analytics...Presto 内部的 Kafka 连接器允许将 Kafka 主题作为表格使用，主题中的每条消息在 Presto 中被表示为一行。在收到查询时，协调器会确定查询是否有适当的过滤器。...我们可以做的一件事是，在 Presto 集群层面上限制消费率，但从 Presto 方面来说，这不是很容易实现。作为一种选择，我们决定利用 Kafka 的代理配额来实现我们的目标。...多个 presto 查询同时进行，将需要更长的时间来完成。这是我们不得不作出的牺牲。在现实中，由于我们拥有查询过滤器，所以大部分的查询都可以在一定的时间里完成。

    1.1K20

    使用presto数据库在字符数字比较中遇到的坑

    1.事情的始末 公司的sql查询平台提供了HIVE和Presto两种查询引擎来查询hive中的数据，由于presto的速度较快，一般能用presto跑就不用hive跑（有的时候如果使用了hive的UDF...相信看到这里就已经比较清晰了，这presto种字符串和数字比较，是把数字转化成字符串进行比较，也就是"10000" 和 23比，"10000" 小，由于hive和很多语言以及框架上，这种情况都是把字符串转化成数字...2.扩展 不过为了安全，健壮性和可读性考虑，还是应该加上一些转换函数，hive和presto中都提供了cast转换 cast(value AS type) → type 显式转换一个值的类型。...try_cast(value AS type) → type 与cast类似，不过，如果转换失败会返回null，这个只有presto有 另外需要注意的是 hive中的int类型是就是int，而presto

    7.6K40

    json格式存储数据在hdfs，然后建立外部表连接，使用presto查询。

    背景：json格式存储数据在hdfs，然后建立外部表连接，使用presto查询。 但是发现presto并不能直接解析json，即使加入了jsonSerde的jar包也不行。 同时hive可以。 ...因为这个表是hive使用jsonSerde建立的，所以presto无法使用。如下图所示： image.png 同时presto的报错，相关的jar包都在哈~~ image.png jar包检查。...presto里面都有这个jar包，而且presto重启过了。 目前该怎么办呢，友商侧的一个资料同步： https://forums.aws.amazon.com/thread.jspa?...threadID=243860 https://github.com/rcongiu/Hive-JSON-Serde 但是相关的节点信息路径不一致，这里测试的的文件路径： /usr/local/service/presto.../lib/ [master] /usr/local/service/presto/plugin/hive-hadoop2/ [all nodes]

    3.5K10

    OLAP引擎：基于Presto组件进行跨数据源分析

    一、Presto概述 1、Presto简介 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节，Presto虽然具备解析SQL的能力，但它并不属于标准的数据库范畴...Coordinator为每个查询建立模型，模型包含多个Stage，每个Stage再转为Task分发到不同的Worker上执行，协调通信基于REST-API，Presto安装必须有一个Coordinator...Coordinator从Worker获取结果并返回最终结果给Client端，当Worker启动时会广播自己并发现Coordinator，告知Coordinator可用状态，协调通信基于REST-API，...presto-server-0.189.tar.gz [root@hop01 presto]# tar -zxvf presto-server-0.189.tar.gz 2、配置管理 在presto...服务器的配置，每个Presto服务器都可以充当协调器和工作器，如果单独使用一台机器来执行协调工作可以在更大的集群上提供最佳性能，这里PrestoServer既当一个coordinator也是一个worker

    1.4K20

    Apache Kylin 在中通快递的实践

    不但如此，Kylin 还具有以下几个无可比拟的优点： 具有标准化的 SQL 支持：提供了 JDBC/ODBC/Rest API 接口，便于做系统集成。...高性能：Kylin 在中通97%以上的查询都能在1s内返回结果。 分布式：部署多台可成倍提升查询吞吐率。 易集成：提供 JDBC/Rest API，易于做系统集成。...Kylin 提供了大量好用的 Rest API，通过这些 Rest API，可以很方便的与调度系统集成，进行构建任务实例的管理。...Kylin 提供了丰富的 Rest API，可用于和第三方系统做集成。整合过程大体分为两步： 首先调用认证 API 进行用户认证，然后再调用构建 API 进行 cube 的构建。...由于没有找到有关 Kylin 查询相关的 Rest API，所以对源码做了二次开发，将查询请求信息主动吐到 Kafka，再由Kylin监控系统实时消费落库，用于更进一步的分析。

    1.1K20

    基于AIGC写作尝试：深入理解 Dremio

    此外，Dremio 还提供了强大的数据治理功能，包括数据注释、数据安全、数据版本控制等，帮助用户更好地管理和保护数据。...它还包括 Dremio Web UI 和 REST API 等接口，向用户提供管理和监控集群的功能。支持Multi Coordinator 依赖Zookeeper的高可用。...这些应用程序通过 JDBC/ODBC 或 REST API 接口与 Dremio 集群通信，向其提交查询请求、读取查询结果并访问元数据等。...用户可以使用基于 Web 的 UI 或 REST API 提交查询、查看查询结果和访问其他功能。图片客户端应用程序可以通过ODBC、JDBC或REST向Dremio发出查询。...Presto的优势在于它能够实时查询大型数据集，无需预处理。Presto使用分布式查询引擎，使其能够在多个节点上处理多个并发查询。比较:在数据查询方面，Dremio和Presto都提供类似的功能。

    4.1K30

    从 0 到 1 学习 Presto，这一篇就够了

    Coordinator 与 Worker、Client 通信是通过 REST API。 2）Worker Worker 是负责执行任务和处理数据。...Worker 与 Coordinator、Worker 通信是通过 REST API。...Presto安装部署 2.1 prestosql 版本的选择 在 presto330 版本里已经提到，jdk8 只支持到 2020-03 月发行的版本.详情参考: https://prestosql.io...在 2020 年 4 月 8 号 presto 社区发布的 332 版本开始，需要 jdk11 的版本.由于现在基本都使 用的是 jdk8，所以我们选择 presto315 版本的,此版本在 jdk8...可视化客户端的安装 Presto 可视化客户端有多种，这里我们选择使用 yanagishima-20.0 版本 本篇文章中谈到的所有安装包资源，在公众号【大数据梦想家】后台回复 “presto

    9.5K55

    Apache Kafka开源流式KSQL实战

    presto来查询里面的数据了。...不过presto在不开发插件的情况下，对kafka的数据有格式要求，支持json、avro。但是我只是想用sql查询kafka，而presto功能过于强大，必然整个框架就显得比较厚重了，功能多嘛。...查询是使用交互式的KSQL命令行客户端启动的，该客户端通过REST API向集群发送命令。命令行允许检查可用的stream和table，发出新的查询，检查状态并终止正在运行的查询。...KSQL服务器将此嵌入到一个分布式SQL引擎中(包括一些用于查询性能的自动字节代码生成)和一个用于查询和控制的REST API。 处理架构 ?...部署 ksql支持kafka0.11之后的版本，在confluent的V3和V4版本中默认并没有加入ksql server程序，当然V3和V4是支持ksql的，在V5版本中已经默认加入ksql了，为了方便演示

    2.4K10

    干货 | 携程机票大数据架构最佳实践

    当前在GitHub上面能找到的Presto webui的就是Airbnb提供的AirPal，但根据我们的使用经验，不怎么友好，特别在UTC的时间设置上，同时它的社区维护已停滞在两年前，这一块我们做了适配...目前相对比较有希望的，或者大力推广的一个格式就是华为公司在推的CarbonData，它含有的索引粒度，索引信息比ORC更加细致。他们目前也出了1.×的版本，是相对来讲较为成熟一个版本。...×里面就没有，提供的就是X-pack，X-pack是要收钱的，那么它同时提供了一个所谓的basic版本，Free的东西大家都知道，便宜无好货，就是说它的功能是对比了1.×的版本，很多信息都是没有的。...我们的话就是自力更生，因为你所有的内容都是可以通过Rest API读取到，只不过是需要在前端可视化一下。...6、数据微服务 –Rest查询接口 ? 微服务这一块，我们提供了一个BigQuery API，这样的好处是有一个统一的查询入口，有统一的权限管理。

    1.5K80

    Presto+Hive+Cos搭建大数据套件

    ，放在hdp的安装路径； 下载presto的rpm包，建立本地的repo，集成到ambari presto的安装文件里面，然后就可以在hdp管理页面直接安装presto了： image.png 这里一定要注意...4 安装COSN插件： 去https://github.com/tencentyun/hadoop-cos/tree/master/dep 下载编译好的最新版本的两个lib，我的hadoop版本是2.7.3...，所以下载 cos_hadoop_api-5.2.6.jar，hadoop-cos-2.7.3.jar这两个lib需要复制到跑presto任务的所有机器上去，presto的lib和hdfs的目录都要放，...后面会用到，具体路径如下： /usr/hdp/current/hadoop-client/lib/cos_hadoop_api.jar /usr/hdp/current/hadoop-client/.../usr/share/java/mysql-connector-java.jar /usr/lib/presto/lib/plugin/hive-hadoop2/cos_hadoop_api.jar

    2.4K00

    Presto原理&调优&面试&实战全面升级版

    很久之前，曾经写过一篇 《Presto在大数据领域的实践和探索》 。文中详细讲解了Presto的原理和应用。 今天这篇文章是升级版本，把我个人读过的文章和书籍的笔记进行了系统整理。...一、起源 Presto 是由 FaceBook 开源的一个 MPP 计算引擎，主要用来以解决 Facebook 海量 Hadoop 数据仓库的低延迟交互分析问题，Facebook 版本的 Presto...后来，Presto 其中的几个人出来创建了更通用的 Presto 分支，取名 Presto SQL，版本号以 xxx 来划分，例如 345 版本，这个开源版本也是更为被大家通用的版本。...下面具体来说说优化器在几个方面所做的工作： （1）自适应：Presto 的 Connector 可以通过 Data Layout API 提供数据的物理分布信息（例如数据的位置、分区、排序、分组以及索引等属性...Coordinator提供REST服务来完成这些工作。

    2.6K41
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券