/bin/pyspark....__/\_,_/_/ /_/\_\ version 2.4.0 File "/Users/x/sp
浏览 6提问于2019-03-27得票数 4
回答已采纳
1回答
我有一个Python包，其中有一个模块，其中包含要在PySpark设置中使用的UDF。在运行单元测试时，我已经想出了一种初始化和关闭Spark会话的方法，但是我在创建文档时遇到了问题。我使用的是，所以我只需运行make clean docs并遇到以下错误：
File "/usr/local/lib/python3.9/site-packages/pyspark/sql/pandas"/usr/local/li
浏览 8提问于2022-03-31得票数 1
回答已采纳
我试图从这个URL 中了解kapacitor用户定义函数(udf)。[udf] [udf.functions.geoSum] args = ["-u"
浏览 0提问于2018-09-11得票数 0
回答已采纳
It [139](file:///opt/conda/lib/python3.8/site-packages/cudf/core/udf&#x
浏览 17提问于2022-05-20得票数 1
1回答
为Hadoop/Pig写一个Python UDF，需要使用一些Python库，比如"request“，这是我在做本地box UDF测试时由pip安装在本地的。想知道如何在Hadoop集群上部署pip包，以便无论我的Python UDF在哪个节点上运行，它都会自动消耗？
浏览 2提问于2015-08-28得票数 1
1回答
我想让hive Python UDF除了来自列的数据之外，还接受常量参数。# hive>SELECT TRANSFORM(col1, col2, '10000') USING 'python my_udf.py' AS (<
浏览 1提问于2020-05-28得票数 0
我使用python在hive中做了UDF。有没有什么方法可以从UDF中输出这样的结构化数据？我试图在UDF中返回python列表，但它不能转换为配置单元数组。
浏览 1提问于2016-10-13得票数 0
我面临的问题是，当我尝试使用用户定义的函数时，例如任何一个，我得到的错误信息是/usr/bin/python2不存在。我将以下内容添加到kapacitor.conf中[udf.functions.tTest] args= ["-u", "/tmp/kapacitor_udf&#
浏览 5提问于2018-07-03得票数 2
我想了解udf在火花放电中的工作原理。每次我们在dataframe之上使用udf时，python都会打开吗？
浏览 0提问于2018-11-26得票数 1
回答已采纳
2回答
(x):main.py：df = spark.read.load(file)
df.withColumn("sample",sample_udf/pyspark/worker.py", line 9
浏览 3提问于2017-10-04得票数 5
回答已采纳
有几个人(、、)讨论过在PySpark应用程序中使用Scala UDF，通常是出于性能原因。相反，我感兴趣的是在Scala Spark项目中使用python UDF。我知道我也可以在中的REST API和后面托管python模型，但是管理该任务的并发性和为托管模型设置API并不是我非常感兴趣的事情。
如果没有像Py4J这样的东西进行太多的定制开发，这是可能的吗？
浏览 0提问于2018-08-19得票数 11
1回答
我已经创建了一个UDF，但是我需要在一个UDF中调用一个函数。它当前返回空。有人能解释一下为什么我会犯这个错误吗？Letter", "distances"]) return range(num) counting_list = get_number(4) else:
return [0
浏览 3提问于2017-12-21得票数 1
回答已采纳
我正在使用PyFlink，我想对用Python编写的UDF进行单元测试。要测试以下简单的udf：from pyflink.table import DataTypes
from pyflink.table.udf import/usr/local/anaconda3/envs/pyflink-quickstart/lib/python3.7&#x
浏览 4提问于2021-03-23得票数 2
回答已采纳
我是pyspark中的pandas udf的新手，需要帮助为大型数据帧(>1亿行)中的每一行应用udf。我的dataframe中有一列，其中包含使用dataframe中的列的多个条件。对每一行应用条件的最好方法是使用python eval。当在python udf中使用python eval时，它工作得很好，但是运行起来需要很长时间，因为我有几百万行。同样，在Pandas udf中尝试运行失败时，会抛出Python异常"PythonEx
浏览 29提问于2021-06-25得票数 0
1回答
我知道我可以注册一个UDFand函数，因为它可以在SQL查询中使用： return len(s)spark.sql("SELECT example_udf(col) FROM data")frompyspark.sql.functions impo
浏览 1提问于2018-04-13得票数 0
回答已采纳
我试图在SQL中执行python函数(1.14.0)from pyflink.table import DataTypes
def add_one(a: int):启动
浏览 6提问于2021-12-03得票数 3
假设我在python中创建了一个函数，所以将一个数字求幂为2： def squared(s):
return s * s 然后我在Spark session中注册了这个函数，如下所示： spark.udf.register("squaredWithPython", squared) 然后当我在Spark SQL中调用UDF时，如下所示： spark.range(1, 20).registerTempTable("test如果是，那么矢量化UDF的用途是什么？UDF和vec
浏览 33提问于2019-10-10得票数 0
回答已采纳
recent call last): File "/home/idswb/.local/lib/python3.6/site-packages/pyspark/s
浏览 24提问于2018-12-19得票数 3
1回答
我正在尝试将Python文件(用于UDF)从本地下载文件夹上传到HIVE，但没有成功。cause: /Users/Shaolun/Downloads/geohash-udf.py does not exist.我还尝试先将文件放入HDFS，然后使用以下命令从HDFS获取该文件：命令如预期的那样起作用。但是我不想这样做，因为我希望能
浏览 0提问于2018-09-09得票数 0
回答已采纳
我希望可以选择通过MySQL存储过程调用Python。如果这不可能，我可以使用什么替代方法来实现这一点。
浏览 1提问于2011-04-25得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
