我有一个包含列的数据帧"Forecast“- Store, Item, FC_startdate, FC_enddate, FC_qty
另一个包含columns - Store, Item, Saledate, Sales_qty的数据帧"Actual“。我想创建一个带有参数的UDF - p_store, p_item, p_startdate, p_enddate，并在这些日期之间获得Sales_qty的总和，并将其作为新列(Act_qty)添加到"Forecast“da
浏览 1提问于2020-01-02得票数 1
1回答
我是Spark的新手，有一个关于RDDs和Dataframe的高级问题，如果我没有弄错的话，它们是建立在RDDs之上的： 我知道有两种类型的操作可以在RDD上完成，转换和操作。我还了解到，只有在转换的产品RDD上执行操作时，才会执行转换。", udf(time.time, DoubleType())()) 我有一个KafkaDFRaw数据帧，并生成一个名为KafkaDF的新KafkaDFRaw。然后，我希望
浏览 16提问于2020-08-09得票数 0
回答已采纳
3回答
("udf_test", udf_test _)
这给了我以下表单的错误：Serialization stack:
-object not s
浏览 20提问于2018-02-21得票数 3
回答已采纳
我有一个计算密集型的python函数，在for循环中反复调用(每次迭代都是独立的，即令人尴尬的并行)。我正在寻找spark.lapply (来自SparkR)的一种功能，以利用星火集群。
浏览 1提问于2019-08-05得票数 0
1回答
触发多个数据帧存储
、、、
我有一个spark作业，它创建一个数据帧并保存到HDFS中。我想要做的是将该数据帧的一个子集保存到另一个位置，但我想对此进行改进。我所拥有的唯一转换是spark作业的save itself...every other元素是一个操作。我不缓存数据帧。我担心在旧数据帧的新数据帧上创建drop操作将再次经历所有原始<
浏览 9提问于2016-08-04得票数 1
回答已采纳
我在Java8中使用Spark。我有一个数据帧，其中一列包含一个mllib.linalg.Vector。我希望将数据帧中的另一列(例如ID列) groupBy，并将特征向量"collect_list“到列表中。我得到了下面的错误。我不明白为什么。这是一个泛型操作，为什么它关心列中数据的类型？No handler for Hive udf class or
浏览 13提问于2017-01-12得票数 2
回答已采纳
假设我有一个名为df的熊猫数据帧1 2 13 4 5d = dict()然后：我的想法是，通过调用df_<
浏览 4提问于2017-08-25得票数 0
2回答
我想要计算数据帧Spark中列值的频率，即计算出现频率最高的values.How的等级。我们在Spark中为此定义数据帧UDF了吗？
浏览 7提问于2017-07-31得票数 0
我想要更新spark-SQL中的表中的一行，那么我该怎么做呢？例如，我的原始查询是，从学生集标记更新= 56，其中id =1；
如何在spark-SQL中做到这一点？spark-SQL中不支持As update。请在这方面提供帮助。
浏览 26提问于2016-01-14得票数 2
2回答
数据如下所示(我有35列-在这些列中的任何一列都可以找到缺失值)| col_1 | col_2 | ... | col_35|val df = sparkSession.read .option("header", "true")
浏览 0提问于2017-04-01得票数 1
1回答
我正在尝试编写一些代码，使我能够在数据帧的一组行上计算一些操作。在PySpark中，这可以通过定义类型为GROUPED_MAP的Pandas UDF来实现。然而，在Scala中，我只找到了一种创建自定义聚合器(UDAF)或传统UDF的方法。
我的临时解决方案是生成一个关键字列表，该列表将对我的组进行编码，这将允许我过滤数据帧并对数据帧的每个子集执行操作</
浏览 2提问于2020-04-08得票数 2
我正在尝试计算Spark数据帧中某列中的所有两个可能的单词对之间的相似度。我已经创建了一个UDF和一个数据帧来测试函数，我将它们定义如下： #Similarity Function metric_lcs =i in vector: p.append(1 - metric_lcs.distance(i, j))
return p
浏览 33提问于2021-04-06得票数 0
回答已采纳
假设我在python中创建了一个函数，所以将一个数字求幂为2： def squared(s):
return s * s 然后我在Spark session中注册了这个函数，如下所示： spark.udf.register("squaredWithPython", squared) 然后当我在Spark SQL中调用UDF时，如下所示： spark.range(1, 20).
浏览 33提问于2019-10-10得票数 0
回答已采纳
我有一个类似下面Spark中的数据框，我想按id列对它进行分组，然后对于分组数据中的每一行，我需要创建一个稀疏向量，其中包含weight列中由index列指定的索引处的元素。稀疏向量的长度是已知的，在本例中为1000。数据帧df| id|weight|index||11830| 1| 8|
|11113|有谁知道
浏览 4提问于2017-07-25得票数 3
回答已采纳
我正在尝试从spark dataframe中获取所有行数据到databricks中的一个文件中。我能够用很少的计数将df数据写到文件中。假设我在df中得到的计数是100，那么在文件中它的计数是50，所以它跳过了data.How。我可以在不跳过数据的情况下，将完成的数据从dataframe加载到文件中。我已经创建了一个ud
浏览 1提问于2020-09-30得票数 0
，为了做到这一点，你必须spark.sqlContext.udf.register("myUDF"，myFunc)将其转换为UserDefinedFunction DataFrame有没有办法将这一步合并到一个步骤中，使udf对这两个步骤都可用
浏览 40提问于2017-04-19得票数 7
回答已采纳
我使用pyspark流从kafka获取数据，结果是一个dataframe，当我将dataframe转换为rdd时，它出错了： Traceback (most recent call last):df = df.rdd.map(lambda x: x.value.split(" ")).toDF()
File "/home/softs/spark2.4.3-bin-hadoop2.6/python&
浏览 56提问于2020-01-06得票数 3
我正在寻找一种从dataframe列中的字符串中获取最后一个字符并将其放入另一列的方法。我有一个Spark数据帧，看起来像这样： ====== mouse我想要这样的东西： ======== e现在，我可以使用UDF来完成此操作，该UDF如下所示：
def get_last_letter(animal)
浏览 6提问于2017-08-05得票数 9
回答已采纳
作为测试，我使用spark NLP解析了50万条tweet。数据帧看起来没问题。我将数组转换为字符串。'document', array_to_string_udf(result["document"])) File "C:\spark\spark-3.1.2-bin-hadoop3.2\python\lib\
浏览 7提问于2021-07-29得票数 1
1回答
接受未知列数的Spark UDF
、、、、
我有一个不同模式的spark数据帧列表。'b', 'c']# df4.columns = ['a', 'b', 'c', 'd', 'e']
现在，我想要编写一个udf，它能够操作具有不同列数的数据</em
浏览 4提问于2016-08-06得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
