Spark SqlContext输出JSON格式

文章/答案/技术大牛

发布

1回答

java、json、postgresql、apache-spark

我已经使用Spark SqlContext从postgres数据库中检索了数据。") SQLContext sqlContext = new SQLCon

浏览 9提问于2016-09-08得票数 1

回答已采纳

1回答

无法在Elasticsearch-hadoop中使用SchemaRDD.saveToES()从HDFS索引JSON

json、scala、elasticsearch、apache-spark、apache-spark-sql

这是我第一次真正尝试spark/scala，所以要温文尔雅。我做错

浏览 1提问于2015-02-20得票数 0

1回答

在Spark* Json到Csv的转换？*

scala、apache-spark、apache-spark-sql、spark-streaming、scala-collections

我有一个像bellow这样的Json对象使用bellow脚本，我已经转换成csv

浏览 2提问于2016-01-30得票数 4

1回答

如何将pyspark dataframe写入HDFS，然后如何将其读回dataframe？

python、hadoop、pyspark、hdfs、spark-dataframe

我有一个非常大的pyspark数据帧。所以我想对它的子集执行预处理，然后将它们存储到hdfs中。稍后，我想把它们全部读完并合并在一起。谢谢。

浏览 18提问于2017-06-01得票数 14

回答已采纳

1回答

有没有可能用没有固定模式的json数据创建一个dataframe列？

json、scala、apache-spark、apache-spark-sql、databricks

我正在尝试使用没有固定模式的JSON数据创建一个dataframe列。我试着把它写成原始形式的map/object，但是得到了各种各样的错误。后来这个文件被用来进行json处理，原来的结构不应该被破坏。目前，当我尝试将数据写入文件时，它包含所有转义字符，并且被认为是整个json的字符串，而不是复杂类型。

浏览 28提问于2020-04-11得票数 1

0回答

使用Apache Spark将表序列化为嵌套JSON

json、scala、apache-spark

"VEHICLE": [ ]我已经写了程序，但没有实现输出package com.report.pack1.spark import org.apache.spark.SparkContextimport org.apache.s

浏览 3提问于2018-07-17得票数 1

回答已采纳

2回答

如果我用JSON字符串阅读，SQLContext.createDataframe(RDD，StructType)和SQLContext.createDataframe之间的区别是什么？

json、scala、apache-spark

和编辑：我似乎找到了第三种选择：

浏览 1提问于2016-12-07得票数 0

回答已采纳

1回答

使用Pyspark从REST API获取数据到Spark* Dataframe*

apache-spark、pyspark

我正在构建一个数据管道，它使用json格式的RESTApi数据并推送到Spark Dataframe。Spark版本: 2.4.4 但是得到的错误是 df = SQLContext.jsonRDD(rdd) spark = SparkSession \.appName("DataC

浏览 27提问于2020-06-24得票数 2

回答已采纳

1回答

如何在Scala中解析JSON文件？

json、scala

我有这样一个JSON文件：如何解析该文件并获取ID和霍比？

浏览 3提问于2017-05-06得票数 2

回答已采纳

2回答

在HDFS中将Spark流数据写入和附加到文本文件

scala、hadoop、hdfs、spark-streaming

我正在创建一个spark scala代码，在其中我从MQTT服务器读取一个连续的流。我在纱线集群模式下运行作业。我想在HDFS中将此流保存并附加到单个文本文件中。我将在每1秒后接收数据流。

浏览 30提问于2017-02-08得票数 3

2回答

在scala中从嵌套的json文件创建spark数据帧

scala、apache-spark、dataframe、nested、apache-spark-sql

我有一个json文件，如下所示"group" : {}, [ 1, "scala", "functional" ], [ 3, "py","interpreted" ]}val path = "some/path/to/jsonFile.

浏览 0提问于2017-07-19得票数 3

回答已采纳

1回答

如何使用Scala读取子目录下的多个Json文件

json、scala、hadoop

我正在寻找一个代码片段，以找到使用scala读取hadoop子目录下多个嵌套JSON文件的最佳实践。如果我们能够将上面的JSON文件写入hadoop中其他目录中的一个文件中，那就更好了。

浏览 0提问于2016-09-29得票数 0

1回答

使用火花解析为JSON

json、scala、apache-spark

我想以JSON格式导出。--这是我实现输出的代码：import org.apache.spark.SparkConfimport org.apache.spark.sql._

浏览 0提问于2018-07-17得票数 1

回答已采纳

4回答

SparkSQL -直接读取拼花文件

scala、apache-spark、hive、apache-spark-sql、hdfs

我正在从Impala迁移到SparkSQL，使用以下代码读取表： my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table

浏览 5提问于2016-12-21得票数 29

回答已采纳

1回答

如何读取火花scala中的多行嵌套json

json、apache-spark

我有一个json文件如下， { "WEEK": [ "NUMBER": 3, {WHAT": "Car", } } }我执行了以下一组代码， import org.apache.spark</em

浏览 6提问于2021-02-06得票数 0

回答已采纳

1回答

火花流:将Dstream批连接到单个输出文件夹中

hadoop、apache-spark、spark-streaming、apache-spark-sql、twitter-streaming-api

new OAuthAuthorization(Util.config)),filters)tweets.repartition(1).saveAsTextFiles("/tmp/spark_testing

浏览 9提问于2015-05-14得票数 0

回答已采纳

1回答

我是一个初学者，想学习spark。我正在使用spark-shell，并做了一些实验以获得快速的结果，我想从spark worker节点获得结果。我有一个JSON文件要读取并进行一些性能检查。val sqlContext = new org.apache.spark.sql.SQLContext(sc) val dfs = sqlContext.read.json("file:///C:/

浏览 1提问于2017-08-10得票数 3

2回答

读取多个json文件时出错Pyspark

apache-spark、pyspark

我正在尝试将大约300个单独的json文件读取到pyspark中。import SparkContext, SparkConf sc = SparkContext(appName='azure_test', conf=conf)我原本希望输出

浏览 1提问于2019-07-25得票数 0

2回答

为什么sqlContext.read.load和sqlContext.read.text有区别？

apache-spark、pyspark、apache-spark-sql、spark-csv

我只是尝试将一个文本文件读入一个pyspark，并且注意到sqlContext.read.load和sqlContext.read.text之间的巨大差异。, format='com.databricks.spark.csv', header='true', inferSchema='false',sep=','): java.lang.ClassNotFoundExce

浏览 8提问于2017-12-05得票数 5

1回答

NullPointerException in SQLContext.read()火花

java、json、apache-spark、avro

我正在尝试使用SQLContext.read()读取由Kafka在Spark中生成的JSON记录。每次NullPointerException出现。sqlContext = new org.apache.spark.sql.SQLContext(sc); .map(message ->) at org.apache.spark.sql.SQLContext.read(S

浏览 1提问于2016-08-10得票数 3

点击加载更多