使用spark-SQL获取JSON数据

文章/答案/技术大牛

发布

1回答

json、apache-spark、apache-spark-sql、spark-dataframe

当我尝试使用Spark-SQL查询获取嵌套的JSON数据时：SQLContext sqlContext = new SQLContext(sc); DataFrame df = sqlContext.read().json("path_to_s3Except

浏览 13提问于2017-02-08得票数 0

5回答

在spark dataframe中创建子字符串列

scala、apache-spark、spark-dataframe

我想要获取一个json文件并对其进行映射，以便其中一列是另一列的子字符串。------| -> |------------|---------| |hello, world| |hello, world| hello | 我可以使用spark-sql语法来实现这一点，但是如何使用内置函数来实现呢？

浏览 59提问于2017-03-16得票数 15

回答已采纳

1回答

火花壳和火花sql有什么区别？表现有什么不同吗？

apache-spark、apache-spark-sql

Queries are expressed in HiveQLspark-sql并查询蜂箱中的现有数据。我想知道这两者的区别..。在spark中处理任何查询是否与火花-shell中的查询相同？我的意思是，我们能在星星之火-sql中充分利用火花的性能优势吗？

浏览 7提问于2017-05-01得票数 6

回答已采纳

1回答

rdbms与spark sql之间的差异

apache-spark、rdbms、query-performance、apache-spark-sql

我正在使用Apache-Spark，在我的项目中，我想使用Spark-SQL。但是，我必须确保Spark-SQL的查询性能。我知道Spark-SQL不像RDBMS那样有效。但是我想知道在Spark-SQL和RDBMS查询之间有太多的时间差距吗？例如，我正在使用具有4 gb内存和1核CPU的虚拟机。这是一个很慢的系统。我有一个很小的数据集，有两个表。在这个硬件上使用Spark-SQL正常吗？如果我用RDBMS做同样的

浏览 2提问于2015-08-04得票数 1

2回答

Spark忽略查询中的命名空间

sql、apache-spark-sql、common-table-expression、databricks

如果我在查询中使用spark-sql，然后使用不正确的命名空间/数据库引用CTE，则查询工作正常(意外)。当我在生产中运行查询时(在Databricks上)，我会得到一个表或视图未找到错误(预期)。意外的传递行为可以通过spark-sql在本地复制。从终端复制的确切步骤：... > SELECT *F

浏览 1提问于2020-07-15得票数 1

回答已采纳

1回答

当分区列倾斜时，更高效地写入分区拼图

sql、apache-spark、partitioning、skew

我正在编写一个大表(大约1.2b行)，我使用state (如US state)作为分区键。问题是有大量的空状态值。

浏览 17提问于2019-07-11得票数 0

1回答

将非严格的JSON Amazon SNAP元数据转换为Pandas DataFrame

python-2.7、pandas、apache-spark、ibm-cloud

我正在尝试在IBM Bluemix (使用Python2.x)中将转换为Pandas数据帧，然后使用Apache Spark对其进行分析。我已经解压了JSON文件并将其上传到Apache Spark Container。', 'tenantId':'s31d-8e24c13d9c36f4-43b43b7b993d'然后，我使用Apache Spark的示例将

浏览 2提问于2016-08-18得票数 1

3回答

我们应该什么时候使用Spark-sql，什么时候使用Spark RDD

apache-spark、pyspark、apache-spark-sql、rdd

在哪种场景下，我们应该更倾向于使用spark RDD来编写解决方案，在哪种场景下，我们应该选择使用spark-sql。我知道spark-sql提供了更好的性能，它对结构和半结构数据的处理效果最好。但是，在选择spark Rdd和spark-sql时，我们还需要考虑哪些因素。

浏览 1提问于2020-05-29得票数 0

1回答

Spark-SQL数据帧外部数据源效率低

apache-spark、apache-spark-sql

当我试图在Spark-SQL外部数据源上做一些测试时，会发生这个问题。为了更清楚地表达这个问题，我编写了一段代码：在我的外部Datasource API基准代码中，它实现了一个假的外部数据源(实际上是一个RDD[String，ArrayInt] )，并通过以下方式获取</em

浏览 2提问于2016-01-09得票数 1

1回答

使用org.apache.spark.sql.json选项在Spark sql中创建临时视图

google-cloud-platform、apache-spark-sql

我在谷歌存储桶里有一些数据。它是Json格式的，起源于Kafka。我想在存储桶的顶部用spark-sql创建一个临时视图。我试着这样做现在我只能访问spark-sql shell。下面的答案指向使用我无法访问的scala环境。请帮帮忙。谢谢

浏览 13提问于2021-02-24得票数 0

2回答

如何使用spark获取配置单元分区列名

apache-spark、hive

创建按( col1 string，col2 bigint，col3 string，col4 string)分区的表ABC( Bigint string) 我有一个要求，我必须使用spark scala将

浏览 3提问于2018-07-26得票数 2

1回答

如何使用纯spark sql查询CSV

apache-spark-sql、command-line-interface

我希望从spark-sql CLI获得输出。但是数据在CSV中，用"\t“分隔。有没有办法使用纯sql来做到这一点？cmd like：spark-sql -e 'select * from csv.`xxx` where xxx=xxx' 唯一的方法是先创建一个临时视图，然后再查询该视图？

浏览 33提问于2020-09-18得票数 1

2回答

如何删除流数据中的重复项？

apache-spark、apache-spark-sql、spark-structured-streaming

我正在使用spark-sql 2.4.1结构化流与kafka，java8。例如，我的数据集如下所示我需要找出基于ColA ColB ColC的副本，取其中基于ColDate的最新副本，并删除其余的。也就是说，从上面的数据结果应该是如何使用spark streaming来实现？也就是说，我将在流中获取数据，例如...不确定何时出现重复，如果按照前面指定的逻辑重复，我需要删除记录。

浏览 2提问于2019-08-06得票数 0

1回答

在spark scala中编写嵌套JSON

json、scala、apache-spark、apache-spark-sql

我的Spark-SQL通过连接两个具有一对多基数的表来生成查询的输出。我必须将数据转换为JSON。这就是查询的输出结果。| US | NewYork上述数据必须以这种方式转换为JSON。

浏览 1提问于2016-03-31得票数 1

0回答

Object sql不是package org.apache.spark的成员

sql、scala、apache-spark、sbt、apache-spark-sql

我正在尝试使用spark-sql，但在导入时获取以下错误：以下是我的详细信息： libraryDependencies +=

浏览 3提问于2017-12-06得票数 2

1回答

任务失败

scala、sbt

当我在SBT构建系统中使用星星之火与Scala一起读取Json文件时，出现了以下错误：我的SBT文件是： // https://mvnrepository.com/artifact/org.apache.spark/

浏览 14提问于2022-11-11得票数 0

1回答

数据库环境中的SparkSessionExtensions injectFunction

apache-spark、apache-spark-sql、databricks、databricks-community-edition

SparkSessionExtensions injectFunction可以在本地运行，但我不能让它在数据库环境中运行。项目定义了Catalyst表达式，比如我可以通过spark-sql在本地成功使用的agespark-sql<

浏览 22提问于2021-03-20得票数 1

1回答

Spark-Sql自定义元存储

apache-spark-sql、hive-metastore

在HIVE中，我们可以将不同的RDBMs设置为元存储，并让HIVE在其中存储所有元数据。除此之外，通过hiveserver2，我们可以让HIVE监听请求并为其提供服务。同样，有许多文档说Spark-SQL也可以以类似的方式使用。我们可以将Oracle (一个例子)设置为Spark-Sql的元存储吗？如果是的话，有没有人可以帮我设置一下？谢谢!

浏览 32提问于2021-07-31得票数 0

回答已采纳

2回答

saveAsTable -如何向现有表中插入新数据？

apache-spark、pyspark、apache-spark-sql、pyspark-sql

如何向现有表中插入新数据？from pyspark.sql import SQLContext, DataFrameWriter sqlContext = SQLContext(sc) df = sqlContext.read.json("people.json</e

浏览 0提问于2018-11-08得票数 3

1回答

Spark& GeoMesa中地理空间表的左半连接

apache-spark-sql、geospatial、geomesa

包含地理空间点.我想执行以下查询：我使用Spark-SQL和GeoMesa & Accumulo来实现同样的功能。(Spark作为处理引擎，Accumulo作为数据存储库& GeoMesa用于GeoSpatial库)。上面的查询是某种left semi join，但我不确定如何使用Spark-SQL实现它，因为就我所读到

浏览 3提问于2017-03-23得票数 0

回答已采纳

点击加载更多