腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
5
回答
如何修复"ImportError: PyArrow >= 0.8.0必须安装;但是,没有找到“?
、
、
/bin/pyspark....__/\_,_/_/ /_/\_\ version 2.4.0 File "/Users/x/sp
浏览 6
提问于2019-03-27
得票数 4
回答已采纳
1
回答
无法在PySpark项目中生成文档而不运行session
、
、
、
、
我有一个
Python
包,其中有一个模块,其中包含要在PySpark设置中使用的
UDF
。在运行单元测试时,我已经想出了一种初始化和关闭Spark会话的方法,但是我在创建文档时遇到了问题。我使用的是,所以我只需运行make clean docs并遇到以下错误: File "/usr/local/lib/
python
3.9/site-packages/pyspark/sql/pandas"/usr/local/li
浏览 8
提问于2022-03-31
得票数 1
回答已采纳
1
回答
kapacitor :指定
python
udf
时不打开http端口。
、
、
、
、
我试图从这个URL 中了解kapacitor用户定义函数(
udf
)。[
udf
] [
udf
.functions.geoSum] args = ["-u"
浏览 0
提问于2018-09-11
得票数 0
回答已采纳
1
回答
TypeError:字段元组的第一个元素既不是元组也不是str,具有cuDF.DataFrame.apply(func,axis)。
、
、
It [139](file:///opt/conda/lib/
python
3.8/site-packages/cudf/core/
udf
浏览 17
提问于2022-05-20
得票数 1
1
回答
在Hadoop上部署
Python
pip包?
、
、
、
为Hadoop/Pig写一个
Python
UDF
,需要使用一些
Python
库,比如"request“,这是我在做本地box
UDF
测试时由pip安装在本地的。想知道如何在Hadoop集群上部署pip包,以便无论我的
Python
UDF
在哪个节点上运行,它都会自动消耗?
浏览 2
提问于2015-08-28
得票数 1
1
回答
带参数的配置单元
Python
UDF
、
、
我想让hive
Python
UDF
除了来自列的数据之外,还接受常量参数。# hive>SELECT TRANSFORM(col1, col2, '10000') USING '
python
my_
udf
.py' AS (<
浏览 1
提问于2020-05-28
得票数 0
1
回答
如何在hive
python
UDF
中输出数组
、
、
我使用
python
在hive中做了
UDF
。有没有什么方法可以从
UDF
中输出这样的结构化数据?我试图在
UDF
中返回
python
列表,但它不能转换为配置单元数组。
浏览 1
提问于2016-10-13
得票数 0
1
回答
Docker TICK Sandbox不提供
UDF
Python
功能
、
、
我面临的问题是,当我尝试使用用户定义的函数时,例如任何一个,我得到的错误信息是/usr/bin/
python
2不存在。我将以下内容添加到kapacitor.conf中[
udf
.functions.tTest] args= ["-u", "/tmp/kapacitor_
udf
浏览 5
提问于2018-07-03
得票数 2
2
回答
udf
(用户定义的函数)是如何在火花放电中工作的?
、
、
、
我想了解
udf
在火花放电中的工作原理。每次我们在dataframe之上使用
udf
时,
python
都会打开吗?
浏览 0
提问于2018-11-26
得票数 1
回答已采纳
2
回答
如何将pyspark
UDF
导入到主类中
、
、
、
(x):main.py:df = spark.read.load(file) df.withColumn("sample",sample_
udf
/pyspark/worker.py", line 9
浏览 3
提问于2017-10-04
得票数 5
回答已采纳
1
回答
如何在PySpark Spark项目中使用Scala
UDF
?
、
、
、
、
有几个人(、、)讨论过在PySpark应用程序中使用Scala
UDF
,通常是出于性能原因。相反,我感兴趣的是在Scala Spark项目中使用
python
UDF
。我知道我也可以在中的REST API和后面托管
python
模型,但是管理该任务的并发性和为托管模型设置API并不是我非常感兴趣的事情。 如果没有像Py4J这样的东西进行太多的定制开发,这是可能的吗?
浏览 0
提问于2018-08-19
得票数 11
1
回答
PySpark -在
UDF
中调用函数
、
、
我已经创建了一个
UDF
,但是我需要在一个
UDF
中调用一个函数。它当前返回空。有人能解释一下为什么我会犯这个错误吗?Letter", "distances"]) return range(num) counting_list = get_number(4) else: return [0
浏览 3
提问于2017-12-21
得票数 1
回答已采纳
1
回答
单元测试PyFlink
UDF
失败
、
我正在使用PyFlink,我想对用
Python
编写的
UDF
进行单元测试。要测试以下简单的
udf
:from pyflink.table import DataTypes from pyflink.table.
udf
import/usr/local/anaconda3/envs/pyflink-quickstart/lib/
python
3.7
浏览 4
提问于2021-03-23
得票数 2
回答已采纳
1
回答
不能在pyspark中使用
python
eval()作为pandas
udf
,但在
python
udf
中使用相同
、
、
、
、
我是pyspark中的pandas
udf
的新手,需要帮助为大型数据帧(>1亿行)中的每一行应用
udf
。我的dataframe中有一列,其中包含使用dataframe中的列的多个条件。对每一行应用条件的最好方法是使用
python
eval。当在
python
udf
中使用
python
eval时,它工作得很好,但是运行起来需要很长时间,因为我有几百万行。同样,在Pandas
udf
中尝试运行失败时,会抛出
Python
异常"PythonEx
浏览 29
提问于2021-06-25
得票数 0
1
回答
如何将
udf
添加到sqlContext中
、
、
我知道我可以注册一个UDFand函数,因为它可以在SQL查询中使用: return len(s)spark.sql("SELECT example_
udf
(col) FROM data")frompyspark.sql.functions impo
浏览 1
提问于2018-04-13
得票数 0
回答已采纳
2
回答
Apache 1.14.0 -无法通过Java中的SQL使用
python
、
、
我试图在SQL中执行
python
函数(1.14.0)from pyflink.table import DataTypes def add_one(a: int):启动
浏览 6
提问于2021-12-03
得票数 3
1
回答
Spark中的用户定义函数(
UDF
)是否在集群工作节点上并行运行?
、
假设我在
python
中创建了一个函数,所以将一个数字求幂为2: def squared(s): return s * s 然后我在Spark session中注册了这个函数,如下所示: spark.
udf
.register("squaredWithPython", squared) 然后当我在Spark SQL中调用
UDF
时,如下所示: spark.range(1, 20).registerTempTable("test如果是,那么矢量化
UDF
的用途是什么?
UDF
和vec
浏览 33
提问于2019-10-10
得票数 0
回答已采纳
1
回答
grouped_agg : pandas_
udf
,Pyspark的多个参数
、
、
、
recent call last): File "/home/idswb/.local/lib/
python
3.6/site-packages/pyspark/s
浏览 24
提问于2018-12-19
得票数 3
1
回答
无法使用终端将本地
Python
文件复制到单元格
、
、
、
我正在尝试将
Python
文件(用于
UDF
)从本地下载文件夹上传到HIVE,但没有成功。cause: /Users/Shaolun/Downloads/geohash-
udf
.py does not exist.我还尝试先将文件放入HDFS,然后使用以下命令从HDFS获取该文件:命令如预期的那样起作用。但是我不想这样做,因为我希望能
浏览 0
提问于2018-09-09
得票数 0
回答已采纳
1
回答
我能用
Python
语言为MySQL写一个
UDF
吗?
、
、
我希望可以选择通过MySQL存储过程调用
Python
。如果这不可能,我可以使用什么替代方法来实现这一点。
浏览 1
提问于2011-04-25
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python实现MaxCompute UDF/UDAF/UDTF
Hive之UDF
SQLMAP 的SHELL、UDF 解码
Fluent UDF编辑工具:Source Insight
udf,udaf,udtf之间的区别
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券