2回答
("key1").dataType的数据类型，则会得到StringType，key2、key3和key4也是如此。java.lang.IllegalArgumentException: Field "key5.key51" does not exist.at org.apache.spark.sql.types.StructType$$anonfun$app
浏览 2提问于2018-01-15得票数 2
回答已采纳
1回答
Parquet文件的文档表明它可以存储/处理嵌套数据类型。然而，我找不到更多关于最佳做法/陷阱/.的信息。将这些嵌套数据类型存储到Parquet时。我正在考虑以下情况：
I使用PySpark (Spark3.3)将我的星火DataFrame存储到一个Delta文件(该文件在罩下使用Parquet文件)。DataFrame DataFrame有一个嵌套的数据类型( Str
浏览 2提问于2022-11-11得票数 1
1回答
S3桶中的对象大小为5.3GB。为了将对象转换为数据，我使用了get_object("link to bucket path")。但这会导致记忆问题。因此，我在RStudio中安装了Spark2.3.0，并试图将该对象直接加载到Spark中，但是直接将对象加载到Spark中的命令不为人所知。library(sparklyr) library(dplyr) sc <- spark</e
浏览 2提问于2018-07-30得票数 0
回答已采纳
我必须将从查询中读取的parquet文件数据推送到云上的Db2。有没有办法将拼花文件的数组数据推送到云上的Db2？
浏览 5提问于2020-03-27得票数 1
回答已采纳
如何从spark java udf返回java对象。我可以返回spark数据类型，但无法返回任何java对象。
浏览 0提问于2019-07-19得票数 1
}, "text": "ship", } "date": "2021-07-08"但是，我希望对items数组中的所有对象进行匹配，并且希望获得与此匹配的文档。例如，条目数组中秩值为1的对象的文本值应该一定是"car"，数组中秩值为2的对象的<
浏览 6提问于2022-04-23得票数 0
回答已采纳
我有一份格式如下的文件： "email": "john.doe@gmail.com", "last_name": "Doe", }, "id": 156", },}
我试图使用
浏览 1提问于2021-06-14得票数 0
回答已采纳
在尝试将数据集中的数据加载到Hive表时，获取错误：
Date IPL_APPL_S
浏览 0提问于2018-09-03得票数 1
我正在遵循文档来处理spark中的嵌套数据。但是，我不清楚为什么目标对象的路径结构以美元符号开头。例如，get_json_object(col("jsonColumn"), "$.path.to.data")
浏览 23提问于2021-09-13得票数 0
1回答
我所拥有的数据集中充满了嵌套字段。例如，data.take(1)的输出给出了9列，其中第4列( c4 )有3个子字段，c4的第1列有3个子字段，等等。-f2 -f22 -f3 -F3GI
当然，我可以编写一个解析程序，它可以递归地搜索给定记录的子字段并生成这个树结构(作为数组的数组)。然而，我希望在星火中有一个更简单、更有效的预先构建的例程，能够以一种直截了当
浏览 0提问于2018-07-16得票数 0
回答已采纳
我有一个包含数组(或列表)列的数据，每个元素都是一个字符串映射、复杂数据类型(意为- String、嵌套映射、列表等；在某种程度上，您可以假设列数据类型类似于List[Map[String,AnyRef<any of the array element>['someArbitaryKey'] in ('a','b','c')
我不知道如何在spark SQL中表示<any of the array eleme
浏览 1提问于2022-09-18得票数 1
3回答
我是Spark和Spark数据集的新手。我试图使用emptyDataset声明一个空的数据集，但它要求使用org.apache.spark.sql.Encoder。我对dataset使用的数据类型是case class Tp(s1: String, s2: String, s3: String)的对象。
浏览 0提问于2017-09-19得票数 7
回答已采纳
1回答
我试着把一个完整文件的最后一个文件处理掉，我的代码看起来就像Error:(39, 29) overloaded method value register with alternatives:
(name: String,f: org.apache.spark.sql.api.java.UDF22[_, _, _,
浏览 3提问于2018-06-28得票数 1
回答已采纳
2回答
函数将R类型转换为星点类型。
、、、、
我有一个R数据框架，我想把它转换成远程集群上的星火数据帧。我已经决定将我的数据框架写到一个中间的csv文件中，然后使用sparklyr::spark_read_csv()读取该文件。我这样做是因为数据帧太大，不能直接使用sparklyr::sdf_copy_to()发送(我认为这是由于Livy中的限制)。我想通过编写一个函数来编程地将数据帧中使用的R列类型传递到新的spark数据框架，该函数返回一个命名向量，我可以在spark_rea
浏览 0提问于2019-03-28得票数 0
回答已采纳
如何从spark中的嵌套结构类型中提取列名和数据类型(events,StructType(
StructField(beaconType,StringType,true),
浏览 1提问于2017-02-09得票数 2
回答已采纳
当阅读嵌套数据类型时，他们说每个嵌套对象都保存为“单独的隐藏文档”。这是否意味着当我将fieldName1创建为嵌套类型时。下面的搜索将不再起作用？GET _search "query": { "must": [ "type": {
"value#text":
浏览 0提问于2017-05-29得票数 0
回答已采纳
1回答
像Spark、apache这样的数据处理引擎是如何将结构化、半结构化和非结构化数据集成在一起并影响计算的？
浏览 2提问于2015-04-12得票数 0
回答已采纳
我正在尝试从mongo数据库中读取一些文档，并在spark中解析模式。到目前为止，我已经成功地从mongo读取并使用由case类定义的模式将结果mongoRDD转换为DataFrame，但是有一种情况是，mongo集合有一个包含多个数据类型的字段(字符串数组和嵌套对象数组到目前为止，我只是将字段解析为一个字符串，然后使用spark的from_json()来解析新模式中的嵌套对象，但是我发现当一个字段
浏览 6提问于2020-03-04得票数 1
回答已采纳
1回答
从json文件动态创建模式
、、、、
我正在使用Databricks笔记本上的Spark来摄取API调用中的一些数据。我将所需的列及其数据类型存储在json文件中。("structure"):
struct_fields.append(f'StructField("{column.get("column_nam
浏览 1提问于2022-09-23得票数 1
我有这样的弹性记录： "FirstName": "Winona", "Notes": "<p>she is an actress</ContactType": "Email", }}
浏览 3提问于2020-10-08得票数 2
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
