我有一个嵌套的json文件，我将其读取为Spark DataFrame，并且希望在使用自己的转换时替换某些值。E": "e" } """)
df.printSchema() 假设对上述Spark DataFrame中的某些
浏览 16提问于2020-08-12得票数 0
我使用Spark/Scala来发出API请求，并将响应解析为dataframe。下面是用于测试目的的示例JSON响应：
但是，我尝试使用下面的来转换为JSON，但是嵌套的字段没有被处理。是否有任何方法将JSON字符串转换为带有列的dataframe？
浏览 16提问于2022-08-22得票数 0
我正在使用Scala中的Spark，希望将现有的数据集(dataframe)转换为包含嵌套结构的新表。columnA columnB columnC columnD columnE 示例输出: columnA columnB columnC columnF:{columnD，columnE} (创建一个同时包含D和E作为嵌套结构的新列) 转换co
浏览 25提问于2021-08-12得票数 0
有没有一种简单的方法可以将给定的Row对象转换为json？ 找到了关于将整个数据帧转换为json输出的内容：Spark Row to JSON 但我只想把one Row转换成json。下面是我想要做的伪代码。 更准确地说，我将json读取为Dataframe中的输入。我正在生成一个新的输出，它主要基于列，但<e
浏览 150提问于2017-01-12得票数 10
回答已采纳
sc <- spark_connect(master = "local", config = conf, version = '2.2.0')sdf_schema_viewer(sample_tbl
浏览 0提问于2018-09-10得票数 1
4回答
我遵循星火流指南，并能够使用sqlContext.read.json(rdd)获取json数据的sql上下文。问题是，json字段之一是我希望解析的JSON字符串本身。是否有一种方法可以在spark中完成这一任务，或者使用ObjectMapper解析字符串并将其连接到其他数据中会更容易吗？为了澄清，JSON的一个值是一个字符串，其中包含带有转义内部引号的J
浏览 12提问于2016-01-04得票数 4
回答已采纳
1回答
我们嵌套了json消息，但无法解析相同的消息： {"Name"："Rohit"，"Salary"："29292"，"EmpID"：12，"Projects"：{"ProjectID"："9191"，"ProjectName"："abc"，"Duration"："79"}，{"ProjectID&
浏览 19提问于2021-04-06得票数 1
回答已采纳
4回答
如何读取Spark中的嵌套集合
、、、、
我有一张镶木镶木桌上有一根柱子在Spark文档中找不到任何与此相关的引用。提前感谢您提供的任何信息！
ps。我觉得在谈判桌上提供一些统计数据可能会有所帮助。主表中的列数约为600。行数~200m。嵌套集合
浏览 191提问于2015-05-03得票数 19
回答已采纳
我正在尝试将JSON字符串jsonStr转换为Scala中的。为此目的使用InteliJ。spark.sparkContextvar df = spark.read.json(Seq(jsonStr).toDS)在使用错误：(243，29)重载方法值json：( org.apache.spark</e
浏览 3提问于2020-05-22得票数 0
回答已采纳
下面的语句满足了我的需要，但它只能在spark-shell中运行，而不能在scala程序中运行。spark.read.json(dataframe.select("col_name").as[String]).schema输出。
浏览 14提问于2020-03-12得票数 0
我有一个包含float和double值的dataframe。scala> val df = List((Float.NaN, Double.NaN), (1f, 0d)).toDF("x", "y")
df: org.apache.spark.sql.DataFrame值替换为null值时，我将null作为字符串提供给fill操作中的Map。null|n
浏览 2提问于2017-05-12得票数 3
回答已采纳
当配置单元表有像映射或数组这样的值时，如果你在配置单元客户端选择它，它们会显示为JSON，例如：{"a":1,"b":1}或[1,2,2]。在Spark中选择这些对象时，它们是DataFrame中的贴图/数组对象。当我使用Spark的HiveContext时，我想使用与Hive客户端相同的格式。
我该怎么做呢？
浏览 1提问于2018-07-20得票数 0
我使用spark/scala本地将json文件转换为dataframe。
我当前的dataframe有一个列‘男性’和‘女性’值，如下所示。我想将dataframe中的‘男性’更改为'M'，以及使用Spark-sql<code>E 215</code>将‘where’更改为'
浏览 5提问于2021-07-19得票数 1
1回答
在PySpark中，如何将Dataframe转换为普通字符串？我将PySpark与Kafka一起使用，而不是硬编码代理名称，而是在PySpark中参数化了Kafka broker名称。Json文件保存了代理详细信息，Spark读取这个Json输入并将值赋值给变量。这些变量为带有字符串的Dataframe类型。当我将dataframe传递给Pyspark连接细节以替换值时，
浏览 0提问于2021-03-05得票数 0
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我是否只需要确保存在一组惟一的列名，而不管我应用na().fill()方法的dataFrame中的表别名是什么？给定：
scala> val df1 = sqlContext.j
浏览 4提问于2016-02-28得票数 3
我有一个json类型的文件(不是真正的json结构)，但是我转换为json并通过spark (我们在Spark1.6.0中)读取，我还不能使用spark 2中的多行功能。它显示结果，但同时出错。我有这样的文件。(rdd).show()
它显示的结果，但我得到以下错误也，请帮助这一点。:98) at org.apache.spark</e
浏览 2提问于2018-08-31得票数 1
我试图在Dataframe中转换json文件，但我被困在基于数组的字段中。我使用的是Spark 1.6和Java。当我读取嵌套的Json并转换为Dataframe时，我可以读取一些字段，但当我尝试输入特定路径时，会显示错误。DataFrame df = spark.read().json(sc.wholeTex
浏览 29提问于2019-09-11得票数 0
Scala问题: JSON数据被提取并存储到case类中，需要将时间字符串数据转换为用于Spark dataframe的sql时间戳和用于Salat DAO/Mongo存储的Java/Joda日期。而且两者都不支持对方的格式。目前，我们使用两个case类进行相同的操作：
case class A(a:int, b:string, time:java.sql.timestamp)
浏览 0提问于2016-04-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
