1回答
我目前正在使用Spark连接到Presto。我们的查询在60m之后超时，为了增加查询执行时间，我在getDBProperties()中设置了如下query.max-execution-time参数 private def constructPrestoDataFrame://${jobConfig.getString("presto.host")}:8443/${jobConfig.g
浏览 114提问于2020-07-26得票数 1
为什么Presto比Spark SQL快？
此外，Presto和Spark SQL在计算架构和内存管理方面的区别是什么？
浏览 3提问于2018-04-25得票数 32
回答已采纳
3回答
如何增加最大查询时间？
、、、、
我运行了一个查询，该查询最终将返回大约1700万行，分块为50万行。: Query failed (#20171013_015410_01255_8pff8):显然，这样的查询可能需要一些时间；我对此没有意见(分块意味着我不会打破任何RAM限制--事实上，我运行的文件输出显示了17M行中的16M在崩溃前完成的查询！)但是我看不出read_
浏览 3提问于2017-10-13得票数 1
回答已采纳
1回答
我们使用Spark来扁平化点击流数据，然后将其以ORC+zlib格式写入S3，我尝试过在Spark中更改许多设置，但最终创建的ORC文件的条带大小仍然非常小(<2MB)之前，每个文件的大小为20MB，我现在使用coalesce创建大小为250-300MB的文件，但每个文件仍有200个条带，即每个条带小于2MB
通过将hive.exec.orc.default.stripe.size设置为67108864，尝
浏览 22提问于2018-01-14得票数 1
我有一个HDFS数据湖，可以通过Hive和Presto、Impala和Spark (集群中的)查询数据。可以在本地安装(例如，我的笔记本电脑)，可以使用JDBC连接数据源(Hive或Presto)，就像在中一样？因此，我可以使用PySpark的data
浏览 3提问于2019-10-21得票数 1
回答已采纳
1回答
我是spark的新手。我正在尝试使用Spark Scala连接到presto实例。对于Presto服务器，SSL是真的，我有一个Presto密钥库。我的问题是如何在连接字符串中传递此信息。下面是我的代码片段 val enrdata = sqlcontext.read.format("jdbc").option("url", "jdbc:presto:
浏览 58提问于2020-12-11得票数 1
回答已采纳
我有一个包含Spark 2.1.0和Presto 0.166的模块。Spark 2.1.0需要com.faster.xml版本2.6.5，而Presto 0.166严格要求2.8.1。如何在相同的pom.xml中解决问题，以便可以在相同的模块中运行它们？
浏览 1提问于2017-06-02得票数 2
我读到过Presto用于即席查询，而Hive/spark更适合用于ETL场景的apt。在ETL中不使用Presto的原因似乎是因为Presto查询可能会失败，并且没有中间查询容错。然而，看起来我们可以通过在我们的日常Jenkins工作流程中使用Presto以及在查询失败的情况下重试来绕过它。有没有人尝试过使用这种方法，或者他们对这种方法
浏览 0提问于2018-07-31得票数 5
我是一个SPARK新手，我不清楚为什么dbtable或query需要作为JDBC选项的一部分。例如，与Presto JDBC驱动程序一起使用时，Presto驱动程序不喜欢url、driver、dbtable和query参数。其他驱动程序执行类似的验证(例如，用于Presto的CData驱动程序)
url = "jdbc:presto:Server=spill.asifkazi.cp.ahana.cloud;Port=443(BasicConnectionPro
浏览 4提问于2021-05-15得票数 0
我们希望安装将查询集群的HDFS的presto，但是由于工作机器中缺少CPU资源(每台机器只有32个核心)，计划将presto安装到集群之外。为此，我们有几个ESX，每个ESX将有2个VM，每个VM将运行一个presto服务器。
所有ESX机器将通过10g网卡连接到星火集群，因此这两个集群将位于同一个网络中。我的问题是-我们可以在VM集群上安装presto吗?尽管HDFS不是在ESX集群上(而是在spark<
浏览 4提问于2019-04-15得票数 4
回答已采纳
我得到了一个非常简单的查询，当在相同的硬件上运行Spark SQL和Presto (3小时v.s 3分钟)时，显示出显着的性能差异。在NOT EXISTS的查询计划中，我可以看到连接谓词是Left AntiJoin(test1=test2)，这使得NOT EXISTS的物理连接操作符更好(完成操作需要5分钟)。所以我检查了一下Presto的查询计划，它并没有真正提
浏览 13提问于2019-11-07得票数 6
回答已采纳
1回答
我有数以百万计的流媒体拼花文件正在编写中。为了调试和分析目的，我想支持运行临时交互查询(如果我也可以运行流查询来实时监视关键指标)。什么是可扩展的解决方案来支持这一点。我观察到的两种方法是在数百万个parquet文件上交互地运行spark (不太熟悉spark生态系统，但这是否意味着为每个sql用户提交的文件运行spark作业，还是需要运行一些流作业并以某种方式提交查询)和第二种方式是在parque
浏览 0提问于2018-01-19得票数 0
3回答
我正在尝试启用位于s3目录中的CSV文件的基本SQL查询。Presto看起来很适合(文件是10s GB)。当我在Presto中进行设置时，我尝试使用Hive连接器创建一个表。我不清楚是只需要hive metastore来保存我在Presto中的表配置，还是必须先在那里创建它们。
文档表明，您可以使用Presto，而不必配置Hive，但使用Hive语法。这是准确的吗？我的经验是，亚马
浏览 21提问于2017-02-11得票数 3
我设置了一个Amazon EMR实例，它包含1个主和1个核心(m4 Large)，具有以下版本详细信息: EMR : 5.5.0 Presto: Presto 0.170 Hadoop2.7.3 HDFSHive 2.1.1元存储区
我的Spark应用程序将ORC中的数据写到了亚马逊S3。然后，我在配置单元(create external table TABLE ... partition() stored as ORC location 's3a"/&#x
浏览 7提问于2017-06-15得票数 1
回答已采纳
我创建了一个包含三列( id、name、position )的表，然后使用spark使用orc格式将数据存储到s3中。Query 20180919_151814_00019_33f5d failed: com.facebook.presto.spi.type.VarcharType
浏览 1提问于2018-09-20得票数 7
回答已采纳
这是一个一般性的问题，但我希望有人能回答。我正在比较MongoDB和Spark之间的查询执行时间。具体来说，我从一个MongoDB文件中创建了一个由100万条条目组成的.csv集合，并使用Compass中的mongosh运行了一些查询。然后，使用Spark和Spark连接器，我将这个数据库从MongoDB插入到Spark中，作为一个RDD。之后，
浏览 7提问于2022-01-04得票数 -1
回答已采纳
我有一个管道设置，从Kafka读取数据，使用Spark结构化流处理数据，然后将拼花文件写入HDFS。数据查询的下游客户端使用Presto配置，以便将数据作为Hive表读取。Kafka --> Spark --> Parquet on HDFS --> Presto
一般来说，这是可行的。当Spark作业运行批处理时发生查询时，就会出现问题。如果Presto试图在处理查询过程
浏览 3提问于2017-11-16得票数 1
回答已采纳
我已经在AWS中设置了ETL管道，如下所示我的问题是，假设上面是数据的初始加载，我如何设置来运行每天(或每小时)来添加新行或更新现有记录的增量批处理b.)如何处理重复记录获取
浏览 0提问于2017-09-06得票数 4
AWS 雅典娜/Presto中工作，并为一组行生成一个校验和，以便我能够确定是否有任何数据已经更改，或者将一个表中的一组行与另一个表中的一组行进行比较，以实现行集相等/不平等。在Spark中运行相同的语句会产生错误，因为内置函数不存在，至少不使用与Presto中相同的名称。
我查看了Spark/SQL函数的列表，没
浏览 3提问于2019-03-21得票数 7
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。我这样假设是对的吗？
浏览 3提问于2021-08-16得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
