我有一个spark dataframe，它有40+列。以及数百万行。我想创建另一个列，它从上面的数据帧中接收5列，将这5列中的每一行传递给单独的Api(它接受这5个值并返回一些数据)，并将结果存储在该列中。 为简单起见，我使用以下示例:假设我有以下数据帧。我
浏览 12提问于2019-03-12得票数 0
回答已采纳
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我构建了一个"table.column“-> "value”的映射，并将其传递给fill方法。但我得到的是异常而不是成功:(。我有什么选择？
浏览 4提问于2016-02-28得票数 3
我必须将数据存储在databricks中的临时视图中，使用spark将数据以逗号分隔格式存储到dataframe。因此，对于temp视图中的多个列，dataframe只需要存储一个列，并将所有数据列分开。下面是一个例子：roll name subject
11
浏览 3提问于2019-09-25得票数 1
回答已采纳
批处理之后，我需要向Kafka主题写入包含多个不同列的结果DataFrame。根据下面的火花文档，写入Kafka的Dataframe在模式中应该有以下强制列：
正如我前面提到的，我有更多的列有值，所以我有一个问题--如何正确地将整个DataFrame行作为一条消息从我的Spark</em
浏览 0提问于2018-11-23得票数 0
回答已采纳
我有一个1列的dataframe (testdata)，其中n行包含一个字符串。我希望将所有内容发送到API中，并将结果存储在下一列中。但是，我可以发送列表来分析某些东西(如["Test1"],["Test2"])的API有一个限制，每次调用都有20个元素，这就是为什么我想编写一个函数，为每个行/
浏览 2提问于2022-04-07得票数 0
1回答
我有一个包含table1的数据库。DB获得了返回表作为结果的存储过程。现在，我如何使用get来访问存储过程，并将结果发送到j测量仪并将其存储在一个文件中。
假设结果表将有几行和3列。如何将每一列存储在单独的文件中，例如:<
浏览 0提问于2018-11-13得票数 0
1回答
我正在使用Microsoft.Spark Spark API并将GroupBy应用于DataFrame对象。我想在分组后将Agg应用于多个列。在pyspark中，我会用下面这样的东西来表达我想要实现的目标 new_df = df.groupBy("customer_id") func.mean("a").alia
浏览 18提问于2021-10-01得票数 0
回答已采纳
1回答
我想在我的星火程序中遍历dataframe列，并计算min和max值。我对Spark和scala很陌生，一旦我在dataframe中获取它，我就无法遍历这些列。我尝试过运行以下代码，但它需要将列号传递给它，问题是如何从dataframe中获取它并动态传递它，并将结果存储在一个集合中。val p
浏览 3提问于2017-07-18得票数 0
回答已采纳
1回答
我使用Spark窗口函数row_number()为具有嵌套结构的复杂DataFrame生成ID。然后，我提取DataFrame的一部分以创建多个表作为输出，其中包括这个键。但是，Spark只会在操作被触发时物化该表，所以当提取的表保存到HDFS中时，它最终会生成ID。另一方面，在处理大型DataFrames和转换时，Spark可能会打乱数据，从而更改row_number()可能生成的</em
浏览 1提问于2017-11-21得票数 1
他们在法国有100多个部门：01 to 95，还有一些特殊情况，比如2A，2B，971，972，973，974，976。部门是由三个字符组成的字符串。并保存在Parquet文件中。
我有点惊讶:难道我不应该找到100左右吗？每个部门一个？
我尝试过改变@mck在回答中所建议的改变。现在，它使用分区创建了一个拼花文
浏览 5提问于2021-03-16得票数 0
我正在使用PySpark并尝试使用CSV来存储我的数据。我将我的Numpy数组转换为DataFrame，格式如下： label | 0 1 2 4 ... 768 1 | 0.12 0.23 0.31 0.72 ... 0.91 依此类推，将数组中的“行向量”本身的每个值拆分为单独<
浏览 18提问于2020-10-01得票数 1
我想使用spark Java API在Dataset上执行左外部连接。如何编写动态条件来匹配join条件中的多个列。 我有两个dataset对象。它们都有2列或更多列。我不能定义条件 将一列与另一列匹配的示例 dataSet = resultData.as("resultData").join(distinctData.as(
浏览 19提问于2019-04-23得票数 0
回答已采纳
这些存储桶中的每一个都存储我正在读取到pyspark dataframe中的拼图文件。从每个存储桶生成的pyspark dataframe具有完全相同的模式。我想要做的是迭代这些存储桶，并将所有这些拼图文件存储到一个单独的pyspark dataframe中
浏览 13提问于2019-12-16得票数 0
回答已采纳
是否可以使用AWS Glue将mysql rds数据库多个选择性列的表中的数据添加到具有另一个mysql rds实例的单个表中。谢谢
浏览 1提问于2020-01-06得票数 1
2回答
我想尝试使用星星之火将数据加载到单元外部表中。请在这方面帮助我，如何使用scala代码或java将数据加载到蜂箱中。
提前感谢
浏览 1提问于2016-05-25得票数 1
回答已采纳
1回答
[0.6, 0.2, 0.45, 0.58, 0.3, 0.05],将根据列标签对dataframe执行三个操作，并将结果存储在单独的列(例如，结果)中。如果标签为x，则简单的
浏览 3提问于2022-08-31得票数 0
回答已采纳
标题说明了一切：
在SPARK API中有没有等同于Spark SQL命令的东西，这样我就可以从包含多列数据结构的LATERAL VIEW中生成一列，然后将该结构中的列作为单独的列横向分布到父dataFrame中？等同于df.select(expr("LATERAL VIEW udf(col1,col2...coln)
浏览 16提问于2021-02-25得票数 0
回答已采纳
2回答
我有一个包含多个列的dataframe，其中一个列是map(string，string)类型。我能够打印这个数据，有列作为地图，给数据地图(“双关”-> "Pune")。我想要将这个dataframe写到hive表(存储为avro)，该表具有与map类型相同的列。cname"))
//table - created external hive ta
浏览 4提问于2020-02-27得票数 0
我有一个dataframe，我试图用多个参数将单个函数应用于该dataframe。我希望将函数应用程序的结果存储在一个新的列中，并复制每一行以匹配每一列，但我不知道如何做到这一点。简单的例子：
df= pd.DataFrame({"a" : [4 ,5], "b" : [7, 8]},
浏览 16提问于2019-11-27得票数 0
回答已采纳
1回答
我运行pyspark作业来做一些转换，并将结果保存到hdfs中的orc文件中，我的spark conf是： --driver-memory 12G --executor-cores 2 --num-executorsspark.driver.maxResultSize=4g --conf spark.shuffle.memoryFraction=0.7 --conf spark.yarn.driver.memo
浏览 16提问于2020-11-03得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
