假设我有一个名为df的熊猫数据帧1 2 13 4 5d = dict() x = do_something (row)我正在尝试使用Spark重新实现这个函数。，通过调用df_spar
浏览 4提问于2017-08-25得票数 0
1回答
我正在使用Kafka流式传输一个JSON文件，将每一行作为一条消息发送。其中一个关键字是用户的email。
浏览 2提问于2018-11-21得票数 0
我正在尝试按照groupby('Key').apply(UDF)方法将pandas_udf应用于我的PySpark数据帧以进行一些过滤。为了使用pandas_udf，我定义了一个输出schema，并在列Number上有一个条件。作为一个例子，这里的简化思想是我只希望返回具有奇数Number的行的ID。这就带来了一个问题，有时在一个组中没有奇怪的Number，因此
浏览 2提问于2020-05-18得票数 3
我使用以下代码将事件中心数据读取到数据块中。 ? 问:在read_df数据帧中，我的主体是加密的json。我想要应用一个用户定义的函数，它返回一个包含解码后的正文值的datafarme。假设函数名为decode(encoded_body_value)。如何将其应用于读取流数据，以便此操作也
浏览 10提问于2021-03-18得票数 0
回答已采纳
我正在寻找一种有效的方法，将一些映射函数应用于数据帧中的每一对元素。+---+---++---+---+| 2| b|| 4| d|a -> cb -> cc -> d 通过比较，我指的是自定义</em
浏览 6提问于2020-11-20得票数 0
我正在使用pandasUDF将标准的ML python库应用于pyspark DataFrame。在定义了模式并进行了预测之后，我得到了pyspark DF作为输出。现在，我想用这个预测数据帧做一些事情，例如，我尝试对列"weekly_forecast_1“中的所有值进行求和。fit()中得到以下错误 IndexError: too many indices for array:array is 0-dimensional,
浏览 33提问于2020-11-24得票数 0
我当前的设置是：我使用作为如何读取数据的示例，但是：
不能使用writeStream.start()"接收器，因为它在python中没有实现。当我尝试调用.rdd、.map或.flatMap时，我得到了一个异常：“必须使用foreach执行对
浏览 52提问于2018-03-19得票数 3
使用Pyspark，我希望将kmeans单独应用于数据框架的组，而不是一次性应用于整个数据框架。目前，我使用了一个For循环，它在每个组上迭代，应用kmeans并将结果附加到另一个表。
浏览 0提问于2017-11-10得票数 12
2回答
我编写了一个自定义函数，它将从.txt文件中查找出现次数最多的单词。我需要通过PySpark将其作为RDD运行。我写了一个名为top_five的函数，它只有一个参数是file_name print("\t" + item[0] + " occured " + str(item[1]
浏览 26提问于2019-10-28得票数 1
1回答
我是PySpark新手，正在尝试读取HDFS文件(上面创建了hive表)并创建PySpark数据帧。通过PySpark读取配置单元表非常耗时。有没有什么方法可以动态获取hive列名(用作dataframe中的模式)？我希望将文件位置、表名和数据库名作为输入传递给aa程序/函数，以便从配置单元元数据(可能是元数据xml)中获取模式/列名称，并作为dataframe
浏览 15提问于2019-03-06得票数 0
回答已采纳
1回答
我有几个表达式，它们选择数据帧(df)中的某些行，并返回多个布尔数组，如果愿意，可以使用掩码。我想在这个数据框架中添加一个新的列，并根据这些掩码填充简单的整数(“成员资格”指示符)。在最简单的方法中，我将使用以下代码：df[mask1].membership = 0df[mask3这将产生一个列(df["m
浏览 3提问于2017-10-20得票数 3
回答已采纳
1回答
我有一个包含许多列的大型数据集。我想使用pyspark编写一个函数，它执行以下操作： ->我定义了一个具有列名(值)和数据类型(键)的字典->在字典->中查找数据帧中的列如果在类别中找到列，则使用该类别的键转换列类型 到目前为止，我得到了这个函数，它没有抛出错误，不幸的是，这个函数没有改变列的
浏览 27提问于2021-06-19得票数 0
回答已采纳
我已经编写了在本地运行的Spark代码。我已经创建了一个用户定义的函数，该函数需要应用于通过交叉连接从本地文件读取的两个表创建的数据帧。df3 = spark.sql("select * from hello")
浏览 2提问于2018-01-09得票数 1
1回答
我无法在R中找到这个简单问题的解决方案。如何在没有循环的情况下将“用户定义的”函数应用于数据帧的每个元素(单元)？<- function(cell){ else return ("bye")请不要试图说您可以在数据帧
浏览 1提问于2016-04-08得票数 0
我是Pyspark的新手，对如何思考这个问题感到有点困惑。
我有一个很大的数据帧，我想根据两列过滤该数据帧的每个子集，并通过相同的算法运行它。，我想将其并行化，因为函数的每次迭代都可以独立运行。我是否需要进行某种映射才能获得所有数据子集？然后，我是否需要对process_function执行任何操作，以使其也可供所有节点运行并返回</em
浏览 0提问于2020-05-28得票数 0
2回答
我想计算给定状态下'bene_1_count‘和'bene_2_count’的比率。np.random.randint(10000, 99999)我正在尝试以下操作，但它给出了一个错误：“没有要连接的对象”
浏览 1提问于2017-02-05得票数 11
回答已采纳
2回答
我正在尝试将一个函数应用于R中全局环境中所有拼写相似的数据帧。我想将此函数应用于所有这些数据帧，但如果不指定1 by 1，我就不知道如何执行此操作。我想以与以前相同的拼写将数据帧返回到全局环境。}
helpme_return_these_dfs_to_outside_the_list=plyr::llply(list_of_my_dfs, my
浏览 0提问于2016-09-16得票数 2
1回答
我想用找到的和的解决方案来解决我遇到的一个问题。我编写了一个函数，它有以下返回行(也称为第1行)：我尝试删除apply函数，像下面这样重写上面的行(也就是第2行)：
return df.loc[mask].groupby('HorseId&#
浏览 6提问于2022-01-03得票数 0
回答已采纳
1回答
我希望有人能帮我做以下事情： 我希望使用空格来标识数据帧中的模式 这是dataframe: Input Import pandas as pdfor match_id, start, end in matches:
print("Match found:", doc1[start:end].text) 问题是我不能使用模式中的数据帧，我只能逐行输入信息，我想输入<em
浏览 13提问于2020-04-13得票数 0
我定义了一个函数，它将动态地在数据帧中创建新的变量。对于这个函数，输入是一个字符串，然后与其他字符串粘贴在一起，以创建数据帧中已经存在的变量名称，然后使用case_when在变体中进行比较。函数的输出是数据帧，并将新变量追加到末尾。我希望将此函数应用于输入向量，并在数据帧中创建多个新列。我使用
浏览 0提问于2018-12-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
