我尝试使用UDF替换spark dataframe中的一些值，但仍然得到相同的错误。
在调试过程中，我发现它实际上并不依赖于我正在使用的数据帧，也不依赖于我编写的函数。这是我得到的错误，提到了一个相当神秘的"AttributeError：'NoneType‘对象没有’_jvm‘属性“。_jvm.functions, name)
浏览 9提问于2017-11-29得票数 1
回答已采纳
我试图应用一个UDF函数来绕过那些pct，也许有更好的方法，我对它是开放的，因为我对火花放电很陌生。当我删除udf函数以放弃舍入数字时，它起了作用，所以我对dataframe很有信心。以下是密码：
q2_res = q2_res.withColumn('pct_DISREGARD
浏览 5提问于2019-09-23得票数 0
我发现了类似的问题，但没有回答如何解决这个问题。 return regexp_extract(x,re_string,0)
df = df
浏览 3提问于2022-04-28得票数 0
回答已采纳
我有杂志订阅和创建时间的数据，以及一个包含与给定用户关联的所有订阅到期日期数组的列：但是当我应用函数来创建一个列时...
df = df.withColumn('near_expiration-dates', check_if_sub_connected(df.
浏览 21提问于2018-12-13得票数 2
1回答
我试图通过PysparkUDF使用日期解析器解析包含日期字符串的列。虽然我使用“尝试-捕捉”来捕获属性错误，但它不起作用。AttributeError：'NoneType‘对象没有属性'date’ parse_date = udf(.strftime("%Y-%m-
浏览 3提问于2020-12-06得票数 0
回答已采纳
1回答
我有一个python类，它的函数如下： def __init__(self, json):email_name_match_udf = F.udf(lamb
浏览 11提问于2020-11-12得票数 0
回答已采纳
1回答
我在PySpark中观察到一个奇怪的行为。也许你们中的一个会知道发生了什么。).count()此输出：10df.filter(df.mydate.isNotNull()).count()Py4JJavaError: An error occurred whilelambda>
return lambda *a: f
浏览 34提问于2018-01-10得票数 0
我从如下所示的udfs工作系列开始，以清除数据帧中的列列表，这些列与预期的一样工作。 def inner(df): df = df.withColumndf = multi_remove_some_chars(colclean_list)(df)
下一步是向类靠拢，因此
浏览 2提问于2021-01-07得票数 0
回答已采纳
我试过登记，但没有用。以下是我尝试过的： [2020, "England"], [2018, "Ireland"], [2020, "England"], ["year", "nation"]
spark.sqlContext
浏览 1提问于2021-01-14得票数 0
回答已采纳
下面的python代码将一个csv文件加载到dataframe df中，并将一个字符串值从df的单个或多列发送到UDF函数testFunction(...)。如果我发送一个列值，代码就能正常工作。但是，如果我从df的两列发送值df.address + " " + df.city，则会得到以下错误： PythonException:从UDF中抛出一个异常：&#
浏览 6提问于2022-05-21得票数 0
回答已采纳
@pandas_udf("long", PandasUDFType.GROUPED_AGG) return v.quantile(0.95)但是，当我试图在全局范围内定义这个udf时，我会得到以下错误：但是，如果我在转换调用的函数中定义
浏览 2提问于2021-03-02得票数 1
回答已采纳
我知道有类似的线程，但我无法用这些解决方案来解决我的错误。|-- id: long (nullable = true)def cosine_sim_udf(df): single_col = df.select(F.col('cosine_similarity(single_col_flatmap)
return cosine
浏览 26提问于2022-01-15得票数 0
回答已采纳
1回答
lambda x: x.quantile(.95))
.withColumn("P95_MOU_G_EDUCATION_KIDS", perc95_udf('MOU_G_EDUCATION_KIDS'))
浏览 0提问于2018-09-19得票数 7
回答已采纳
我完全是火花和火种的初学者。我有一个庞大的数据集，我有一组关键字需要检查并从列中提取。我的代码如下所示def lookhere(z) -> str: for skill_jvm.functions.regexp_extract(_to_java_column(str), pattern, idx
浏览 2提问于2020-08-26得票数 0
回答已采纳
2回答
我正在尝试groupBy，然后计算PySpark数据的百分位数。from pyspark.sql.types import FloatTypeimport numpy as np
df_out = df_in.groupBy('Id').agg(func.collect_list('value&
浏览 0提问于2018-12-14得票数 2
回答已采纳
可能重复：
for item in soup.find(id="start_dateid").find_all('option'):问题是当页面没有id="start_dateid“时，会生成一个
浏览 4提问于2012-12-09得票数 0
回答已采纳
我正在编写一个python程序来使用urllib2、api的python twitter包装器和BeautifulSoup的组合来抓取twitter。但是，当我运行我的程序时，我得到以下类型的错误： ray_krueger RafaelNadal Traceback (most recent call last): File "C:\Python28\lib\urllib.py", line 1038, in
浏览 0提问于2011-08-03得票数 0
回答已采纳
1回答
尝试使用UDF函数，但遇到错误： import timefrom pyspark.sql.functions import lit,unix_timestamp, udf= udf(lambda start, end: calc_time(start, end), TimestampType())
new_df = (df.withColumn('time1', unix_timestamp(lit(timestamp2),'yyyy-MM-dd HH:mm
浏览 36提问于2021-07-23得票数 2
回答已采纳
我有时间戳数据集，它的格式为电火花代码：>>> df_ts_list.withColum
浏览 4提问于2016-10-28得票数 32
我是新的火种，并试图理解下面的代码从一些刺激的代码。AttributeError：“NoneType”对象没有属性“_jvm”
不知道这是怎么回事。有人能解释一下吗？
浏览 1提问于2021-10-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
