1回答
我有一个试图在模式中解析的DF。但是，如果对象中有任何值为空，则用于创建模式的类将被跳过。ID: Double, ) 因此，如果在InfoInstance中，Fname作为值为空，它将完全跳过键，并返回为 { Sname: "abc", ID: 23123123, Er
浏览 26提问于2020-12-04得票数 0
1回答
我正在尝试使用spark-shell和Scala将一些JSON文件的数据加载到HIVE。()
问题是我的json文件中的一些字段是字符串数组。如果任何给定的文件都有一条具有有效值的字符串数组字段的记录，那么所产生的数据帧对于所述字段具有正确的<
浏览 3提问于2018-05-21得票数 0
4回答
json。"age":"23","pets":"dog"}{"name":"Charlie","age":"35"}
我希望第三行的json包含空值。
浏览 3提问于2017-08-11得票数 10
：val entities = spark.read.json("...")上。entities.filter(size($"sub_entities.col_2") === 0)什么也不返回。这个行为看起来很奇怪，因为所有的col_2都是空的，但是空值是计数的。然后我尝试选择col_2，并注意到它返回一个空值数组(在本例中为2个空值
浏览 2提问于2020-02-26得票数 0
回答已采纳
1回答
有没有什么方法可以通过不使用那些为空的字段来从spark dataframe创建json：+-------+----------------+
我想将其转换为jsonhit_songs: [help, hey jude]{
name: "romeo"
浏览 2提问于2020-05-15得票数 0
使用spark streaming读取kafka消息，其中V= Json事件。Json的模式不是强制的，因此您可能会获取以下两个事件：{"foo": "01/01/1974"}
在字段不存在的情况下，如何使用read.json</em
浏览 2提问于2018-03-07得票数 1
我有一套复杂的杂烩。disable(SerializationFeature.WRITE_NULL_MAP_VALUES).disable(SerializationFeature.WRITE_EMPTY_JSON_ARRAYS);
这允许我跳过空字符串或空元素，
浏览 3提问于2015-07-30得票数 2
我希望创建一个空的JValue，以便能够一起解析JSON对象。现在，我正在创建包含JValue的{}，然后解析到它的其他对象，最后使用RDD删除第一行，但是我想创建从一开始就能够跳过拆卸部分。是否可以创建一个空的JValueimport org.json4s.jackson.JsonMethods._
v
浏览 9提问于2022-10-25得票数 1
1回答
我希望避免处理空的JSON文件。我得到的一些空JSON文件只包含左方括号和右方括号，比如：[]。仅包含该文件的文件应理解为空文件。使用Spark 2.2，下面的行将返回true：但在Spark 2.4中，它返回false。当使用Spark 2.4时，我如何识别这种类型<em
浏览 3提问于2019-11-05得票数 0
回答已采纳
我有一个包含多个具有不同模式的空值的DataFrame+----+----+----+----++----+----+----+----++----+----+----+----+但即使我使用
sp
浏览 50提问于2020-02-27得票数 3
1回答
我有一些关于服务提供商客户的数据(~1MB)。我正在尝试根据几个特性来预测是否会终止订阅(PySpark on Databricks)。单特征模型# Create vector assembler to merge independent features (in this case just= curr.randomSplit([0.8, 0.2], seed=42)
model = lr.fit(train2)但是，当我尝试使用两个独立于的特
浏览 2提问于2021-07-23得票数 3
回答已采纳
我在python中有这样的json： example = [{"col1":"","col2":"","col3":52272}, ...] json的列可能为空。空值为"“。(), True),
StructField("col3", LongType(), True),] 我尝试这样获取spark数据帧： pand
浏览 17提问于2021-10-18得票数 0
回答已采纳
我用AWS编写了一个脚本，用于从AWS S3读取CSV文件，对少数字段进行空检查，并将结果作为新文件存储回S3。问题是，当遇到字符串类型的字段时，如果值为null，则转换为空字符串。但我不希望这种转变发生。对于所有其他数据类型，它运行良好。以下是到目前为止编写的脚本：spark = glueContext.spark_session= datasource_sq
浏览 1提问于2017-10-03得票数 0
回答已采纳
1回答
我正在使用java中的LightCouch库将Json对象保存到couchdb。对于Jsons，我使用的是Gson库。现在，当我想保存一个带空值的字段时，当它将该字段保存到数据库中时，它会完全跳过该字段。{ "lname" : null但是，在我将它保存到数据库后，它只保存名称并跳过lname。在中提到
带有
浏览 3提问于2014-07-07得票数 1
我的spark sql和scala代码： s""" |41286786, "a": "", "c": "7425",
"d": &quo
浏览 0提问于2019-08-14得票数 0
我正在尝试使用spark处理大量大型json日志文件，但每次使用scala.MatchError时都会失败，不管我是否给它提供了模式。
我只想跳过与模式不匹配的行，但我无法在火花文档中找到方法。我知道编写json解析器并将其映射到json文件RDD可以完成任务，但我想使用sqlContext.read.schema(schema).json(fileNames).selectExpr(...)
浏览 3提问于2015-08-02得票数 1
回答已采纳
2回答
我正在处理来自非常长的嵌套JSON文件的数据。问题是，这些文件的结构并不总是与其他文件的列相同。我希望从包含所有列的空JSON文件中创建一个自定义模式。如果我稍后将JSON文件读入这个预定义的模式中，则不存在的列将被空值填充(至少计划是这样的)。我到目前为止所做的：
将测试JSON</
浏览 7提问于2021-10-26得票数 3
回答已采纳
我使用Spark来匹配带有命名参数的URL。." + request.params(:name); })
这与预期的一样适用于例如/hello/Dr/Mabuse/.我希望允许不指定标题组件，即接受/hello//Friend/.SparkJava不匹配此路径，因为convertRouteToList函数具体地跳过空段。如何在不重复路径映射的情况
浏览 4提问于2017-05-03得票数 1
回答已采纳
2回答
我有一个带有这种模式的JSON文件： "name" : "john doe", "home": ["1111", "222"], }家庭电话号码数组有时可能是空的。我的spark应用程序收到这些JSONS的<
浏览 2提问于2017-05-21得票数 3
回答已采纳
*编辑 df_joint = df_raw.join(df_items,on='x',how='left') Apache Spark 2.4.5中出现标题异常 df_raw有2列"x“、"y”的数据，而df_items是模式的空数据框，还有其他一些列 左连接发生在null的值上，它应该从第一个dataframe中获取整个数据，并从第二个dataframe中获取空<
浏览 31提问于2020-12-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
