in子句中的Spark sql限制

文章/答案/技术大牛

发布

1回答

Spark sql每组前n个

apache-spark、group-by、apache-spark-sql、top-n

如何在spark-sql中获取每个组的前n名(比如前10名或前3名) 提供了一般SQL的教程。但是，spark不会在where子句中实现子查询。

浏览 4提问于2016-04-16得票数 7

回答已采纳

1回答

apache-spark、hadoop、hive、apache-spark-sql、hadoop2

我在spark-sql中有一个查询，在in子句中有很多值：当我运行这个查询时，我从spark中的MetastoreClient得到一个TransportException。列x是表的分区列。母舰转移在甲骨文上。 in子句中可以包含的值的数量是否有硬性限制？或者，我可以将超时值设置得更高，以便让元

浏览 56提问于2019-07-12得票数 0

1回答

Spark& GeoMesa中地理空间表的左半连接

apache-spark-sql、geospatial、geomesa

包含地理空间点.我想执行以下查询：我使用Spark-SQL和GeoMesa & Accumulo来实现同样的功能。(Spark作为处理引擎，Accumulo作为数据存储库& GeoMesa用于GeoSpatial库)。上面的查询是某种left semi join，但我不确定如何使用Spark-SQL实现

浏览 3提问于2017-03-23得票数 0

回答已采纳

2回答

spark sql中是否有与nth_value等效的窗口函数

apache-spark-sql

我正在寻找一个窗口函数，从分区/窗口中获取第n个值，类似于

浏览 0提问于2020-06-08得票数 0

2回答

Hive和Spark:如何使用子查询的合并？

apache-spark、hive

我有一个子查询，如果子查询为空，我想返回一些默认值。也就是说，我需要像这样的东西问题是在Hive中，子查询只在FROM子句中被支持，这样的代码会返回编译错误。我对Spark不是很确定。有没有办法实现这样简单的逻辑，让它在Hive和Spark SQL中都能工作？

浏览 1提问于2021-07-20得票数 0

2回答

Spark SQL语句广播

sql、apache-spark

有没有在Spark SQL语句中使用广播的方法？例如： Column broadcast (Table 1) Table 2 Table1.key = Table2.key 在我的例子中，表1也是一个子查询。

浏览 5提问于2017-08-04得票数 6

1回答

子查询中具有多个值的Spark过滤器下推

apache-spark、hive、apache-spark-sql、hiveql

我有一个只有一列x的小型表adm，其中只包含10行。现在，我想使用分区修剪过滤由y使用来自adm的值进行分区的另一个表big。在这里的时候where b.y = ( select max(a.x) from adm a)select * frombig b导致a和b之间的广播加入即使我使用IN，如何将子查询作为分

浏览 0提问于2019-12-13得票数 2

1回答

我怎样才能按不同的层次聚合，然后在内部加入火种呢？

python、pyspark、apache-spark-sql

我是新来的火花，我有一个数据处理数据。我想根据人的身份，但根据不同的属性，例如商店类型，和教育水平分组。%%sparkfrom functools import reduce df = spark.sql(&q

浏览 3提问于2021-12-08得票数 0

回答已采纳

2回答

MySQL中带有WHERE子句的子查询数

mysql、rdbms

WHERE子句中可以写入子查询的最大数量是多少？是依赖于RDBMS还是依赖于表的属性数量？

浏览 1提问于2015-06-19得票数 2

2回答

我可以用Spark SQL直接查询一个TSV文件吗？

sql、csv、apache-spark

可以使用Spark SQL直接查询TSV文件吗？需要说明的是，我说的是Spark SQL而不是Spark DataFrame。例如，我们可以使用Spark SQL直接查询CSV文件。有没有办法在(Spark) SQL语句中指定分隔符？ spark.sql("select * from csv.`/path/to&#x

浏览 1提问于2019-07-03得票数 0

2回答

在Spark Sql中使用unix_timestamp验证当前月份的传入日期

apache-spark、apache-spark-sql

如何验证传入的日期是..并将其与当前时间戳( yyyyMMDD格式)进行比较，直至当前月份。如果传入的日期(即)月份超过当前月份，则拒绝其他日期字段。在spark sql中使用from_unix_time(unix_timestamp)进行验证。在case when语句中需要(spark-sql) 例如：编辑： spark.sql("select case when (length( date )>0 == from

浏览 83提问于2021-08-12得票数 0

1回答

pyspark从spark dataframe列创建不同列表，并在spark sql where语句中使用

apache-spark、pyspark、apache-spark-sql

我有一个dataframe df和一个列名为setp的列来创建我编写的列表。distinct().collect()setp_array= str(setp_array)[1:-1] 我想在spark.sql语句中使用它 df1=spark.sql(f"select * from table where setp in ({setp_array})").我不确定如

浏览 12提问于2021-01-10得票数 0

回答已采纳

1回答

如何使用从sparkSQL中的子查询中获取单个值

sql、apache-spark、apache-spark-sql

我正在使用SparkSQL SELECT artist, count(distinct(song)) ORDER BY count(artist) DESC""").show() 这是我的查询，我只运行子查询，它给了我一个值，这是我想要的，然后我想在

浏览 2提问于2021-06-08得票数 0

2回答

如何使用SQL查询在dbtable中定义表？

jdbc、apache-spark、apache-spark-sql

在中，我发现了对dbtable参数的以下解释： CREATE TEMPORARY TABLE jdbcTableOPTIONS ( url "jdbc:postgresql

浏览 2提问于2015-09-17得票数 5

回答已采纳

1回答

在Spark上执行多个SQL查询

scala、apache-spark、apache-spark-sql

("test.sql").mkString如果出现以下错误，这将失败- org.apache.spark.sql.catalyst.parser.ParseException', 'UNION', 'EXCEPT', 'MINUS', 'INTERSECT', 'SORT', 'CLUSTER',

浏览 0提问于2018-03-10得票数 0

回答已采纳

1回答

优化MySQL子查询执行时间

mysql、sql、subquery、execution-time

WHERE ) qs和qt的执行时间大致相同，也就是在233ms附近。此外，执行整个查询所需的时间也大致相同。我有一个概念，即对于从qs生成的结果集中的每一行，where qs.id = (...)内部的内部查询都会执行一次。在当前情况下，qs输出10行。因此，我决定测试子查询是否为每行执行10次。下面是我放在子查询中的内容： WHERE qs.id = (

浏览 12提问于2019-12-16得票数 1

2回答

如何使用Spark广播函数

apache-spark

Spark提供了一个函数broadcast来指示数据集足够小并且应该被广播。")spark.range(100).createOrReplaceTempView("a") val df = spark.sql("select a.id, c.id from a join broadc

浏览 1提问于2018-02-27得票数 1

回答已采纳

1回答

jdbc生成ORA-00903:无效的表名错误

oracle、apache-spark、jdbc、pyspark、cdsw

/lib/spark2/python/pyspark/sql/readwriter.py in load(self, path, format, schema, **options) 61 def deco(*a, **kw): 62$.resolv

浏览 2提问于2019-09-05得票数 2

回答已采纳

1回答

火花过滤器未按预期工作..“‘Column”对象不可调用

apache-spark、dataframe、filter、pyspark、pyspark-sql

当在Spark Dataframe上的过滤器中使用"and“子句时，它返回Spark.SQL.Column而不是Spark Dataframe。但在一个条件下，它工作得很好。如何show()或迭代通过Spark Sql列对象？尝试show()函数时抛出错误- 'Column' object not callable.或者如何将Spark.SQL.Column转换为Spark Datafr

浏览 1提问于2019-04-23得票数 0

2回答

org.apache.spark.sql.Row到整型

scala、apache-spark

我正在尝试从spark-sql中的SQL语句中获取Integer。var num_en = ctx.sql("SELECT count(*) FROM table WHERE lang = 'en'")num_en是一个SchemaRDD，根据我得到的错误，num是一个“行”。<console>:144: error: type mismatch; found

浏览 0提问于2014-07-03得票数 4

回答已采纳

点击加载更多