我是大数据平台的新手。您能告诉我不同的方法:1)我们如何连接到spark for Spark sql? 2)我们如何连接到spark数据帧或数据集？如何连接到spark sql和spark数据帧或数据集？
浏览 13提问于2020-06-09得票数 0
1回答
我正在使用Apache-Spark，在我的项目中，我想使用Spark-SQL。但是，我必须确保Spark-SQL的查询性能。我知道Spark-SQL不像RDBMS那样有效。但是我想知道在Spark-SQL和RDBMS查询之间有太多的时间差距吗？
例如，我正在使用具有4 gb内存和1核CPU的虚拟机。这是一个很慢的系统。我有一个很小的数据集，有两个表。当我连接两个表时，查询大约需要60秒。在这个硬件上使用Spark-SQL正常吗？如果我用RDBMS做同样
浏览 2提问于2015-08-04得票数 1
2回答
如果我在查询中使用spark-sql，然后使用不正确的命名空间/数据库引用CTE，则查询工作正常(意外)。当我在生产中运行查询时(在Databricks上)，我会得到一个表或视图未找到错误(预期)。意外的传递行为可以通过spark-sql在本地复制。从终端复制的确切步骤：... > SELECT *F
浏览 1提问于2020-07-15得票数 1
回答已采纳
我想验证一下spark-sql查询在语法上是否正确，而不是在集群上实际运行该查询。实际的用例是，我正在尝试开发一个用户界面，它接受用户输入spark-sql查询，并且我应该能够验证所提供的查询在语法上是否正确。此外，如果在解析查询之后，我可以就spark最佳实践给出关于查询的任何建议。
浏览 2提问于2017-10-27得票数 9
查询需要以下面的方式编写// Queries are expressedin HiveQLspark-sql：它似乎与蜂巢转移直接相连，我们可以用类似的方式编写查询。并查询蜂箱中的现有数据。
我想知道这两者的区别.
浏览 7提问于2017-05-01得票数 6
回答已采纳
Spark问题:我在spark-sql和spark-shell中进行完全相同的Spark查询。spark-shell版本大约需要10秒，而spark-sql版本大约需要20秒。星星之火-sql REPL直接获取查询：scala> df.show()如何从不同的CLI执行相
浏览 1提问于2016-02-11得票数 6
我想要更新spark-SQL中的表中的一行，那么我该怎么做呢？例如，我的原始查询是，从学生集标记更新= 56，其中id =1；
如何在spark-SQL中做到这一点？spark-SQL中不支持As update。请在这方面提供帮助。
浏览 26提问于2016-01-14得票数 2
我将使用spark-sql cli替换hive cli shell，并使用以下命令运行spark-sql cli (我们在yarn Hadoop集群上使用的是已经复制到/conf的hive-site.xml)然后我执行类似这样的查询，命令执行成功，结果正确。但我注意到性能非
浏览 5提问于2015-01-22得票数 2
3回答
我正在尝试弄清楚如何针对Cassandra数据库测试Spark SQL查询--有点像您在SQL Server Management Studio中所做的那样。scala > var query = csc.sql("select * from users");特别是对于更长的查询这似乎是一种非常低效的方式来测试您的查询是否正确，以及您将获得哪些数据。另一个问题是，当您的查询错误时，您将返回一条长达一英里的错误
浏览 0提问于2015-05-18得票数 2
1回答
嗨，我得到了一个错误与以下一段代码。import org.apache.spark.sql.types._import org.apache.spark.sql.expressions._
case class Article(articleId: Int, title: String, url: String, publis
浏览 19提问于2020-05-29得票数 0
回答已采纳
我有一个csv文件，并希望将其加载到我硬盘上的一个parquet文件中，然后使用spark-sql CLI对其运行SQL查询。有没有一两个spark-sql命令可以做到这一点？
浏览 1提问于2021-10-13得票数 1
问题：select * from table 1 where table1.point is within 50km of any pointin table2.point
我使用Spark-SQL和GeoMesa & Accumulo来实现同样的功能。上面的查询是某种left semi join，但我不确定如何使用Spark-SQL实现它，因为就我所读到的子查询而言，在where子句中不能使用子查询。
浏览 3提问于2017-03-23得票数 0
回答已采纳
我希望从spark-sql CLI获得输出。但是数据在CSV中，用"\t“分隔。有没有办法使用纯sql来做到这一点？cmd like：spark-sql -e 'select * from csv.`xxx` where xxx=xxx' 唯一的方法是先创建一个临时视图，然后再查询该视图？
浏览 33提问于2020-09-18得票数 1
1回答
INTO TABLE main_tbl USING 'python cleanser.py' as (schema) insert查询运行超过15mnts以改进如何在spark中运行查询？
浏览 10提问于2018-02-16得票数 0
1回答
我想在spark上执行hive查询。目前我们使用mapreduce作为执行引擎。请务必让我知道spark是否支持在MapR集群上执行配置单元查询？之前，我使用Cloudera在spark engine上执行了hive查询。但对MapR不是很确定。
浏览 6提问于2016-09-28得票数 0
我很好奇，因为当我们使用spark -e运行查询时，查询在哪里执行。spark-sql -e "SELECT count(*) FROM table"
而且，当我们计算时，这个动作是否只在驾驶员身上调用？
浏览 3提问于2022-02-11得票数 0
在spark 2.3.1，spark-sql CLI和spark-shell中测试它。问题:从spark-sql运行查询时不会调用SupportsPushDownFilters.pushFilters (我的断点没有命中)，但直接使用DataFrame时会调用它。----+---+----------+|Mary| 27|one st. 14|从SQL CLI运行相同的查询时，不会下推筛选器(在CLI输出中看不到任何东西来确认这一点
浏览 9提问于2018-08-16得票数 1
from pyspark import SparkConf, SparkContextsc = SparkContext(conf = conf)
results = sqlContext.sql("/home/ubuntu/workload/queryXX.sql&
浏览 8提问于2015-10-06得票数 10
我有Pyspark代码，可以将hql命令写到.hql文件中。我想使用子进程库直接运行hql文件，但当我这样做时，我的hql没有运行，程序关闭正常。注意:我使用spark-submit来运行.py代码
浏览 1提问于2017-07-21得票数 0
1回答
首先，请允许我先说一句，我对Spark-SQL非常陌生。我正在尝试理解Spark-Sql中的各种连接类型和策略，我希望能够了解一种近似表大小(参与连接、聚合等)的方法，以便通过了解幕后实际发生的事情来估计/调整预期的执行时间，以帮助我选择最适合该场景的连接策略(在Spark-SQL中通过提示等)。表行计数提供了一个很好的起点，但我希望能够估计bytes/KB/MB/GB/TBs，的大小，以便了解哪个表可以/不可以放入内存等)，这反过来将允许我通过选择最适合该场景的连接类型/
浏览 106提问于2020-06-10得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
