pyspark中的投票分类器UDF
在云计算领域中，pyspark是一种基于Python编程语言的开源分布式计算框架，用于处理大规模数据集。pyspark中的投票分类器UDF是一种用于分类问题的机器学习算法，它通过对数据集中每个样本进行多个分类器的投票来进行分类。
投票分类器UDF的分类过程如下：
- 首先，根据已有的训练数据集，通过训练多个分类器模型。这些分类器可以使用不同的机器学习算法，如决策树、支持向量机、随机森林等。
- 对于待分类的样本数据，将其输入到每个分类器中进行分类预测。
- 根据每个分类器的预测结果，统计每个类别的投票数。
- 根据投票数最多的类别作为最终的分类结果。
投票分类器UDF的优势是：
- 结合了多个分类器的预测结果，可以减少单个分类器预测的误差。
- 可以应对各种类型的分类问题，适用于二分类和多分类任务。
- 可以根据实际情况自定义投票规则，如平等投票或者加权投票。
投票分类器UDF的应用场景包括：
- 文本分类：通过将文本转换为特征向量，可以使用投票分类器UDF对文本进行分类，如垃圾邮件分类、情感分析等。
- 图像分类：对于图像识别问题，可以使用投票分类器UDF对图像进行分类，如人脸识别、物体识别等。
- 数据挖掘：在大规模数据集中，可以使用投票分类器UDF对数据进行分类，如用户购买行为预测、用户画像等。
腾讯云相关产品和产品介绍链接地址： 在腾讯云中，提供了一系列与云计算相关的产品和服务，以下是一些与pyspark中的投票分类器UDF相关的产品和链接地址：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）：提供了丰富的机器学习算法和模型训练服务，可以用于构建和训练投票分类器UDF模型。
- 腾讯云数据处理平台（https://cloud.tencent.com/product/dp）：提供了大数据处理和分析的服务，可以用于处理和准备pyspark中的训练数据集。
- 腾讯云云服务器（https://cloud.tencent.com/product/cvm）：提供了云服务器实例，可以用于部署和运行pyspark和投票分类器UDF的应用程序。
以上是关于pyspark中的投票分类器UDF的完善且全面的答案，希望能对您有所帮助。
相关·内容
1回答
我想将一些函数应用到pysaprk dataframe的列中，这是一个用UDF实现这一点的管理方法，但是我希望返回是另一个对象，而不是dataframe的一个列、一个熊猫数据框、一个python列表等等。
我使用分类器将每一列划分为类，但我希望结果是类的摘要，而不是修改，我不知道这是否适用于UDF。
我的代码是这样的
import numpy as np
import pandas as pd
import pyspark
from pyspark.sql import SQLContext
from pyspark.sql.functions import udf
from pyspark
浏览 0提问于2018-12-18得票数 1
回答已采纳
2回答
我正在使用pyspark.ml.classification库和RandomForestClassifier在Microsoft中运行一个分类模型。
我的问题是：
我知道在sklearn.ensemble.RandomForestClassifier中，您可以指定n_jobs parameter来配置并行运行的作业数量。
在Azure中使用pyspark.ml.classification.RandomForestClassifier时，我发现每个作业都分别运行。它首先运行，作业1，当它运行工作2等。
是否有一种方法可以指定在pyspark.ml.classification.RandomFo
浏览 12提问于2022-04-28得票数 0
2回答
我有两份文件。functions.py有一个函数，并从该函数创建一个pyspark udf。main.py会尝试导入该自定义项。但是，在访问functions.py中的函数时，main.py似乎遇到了问题。
functions.py：
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType
def do_something(x):
return x + 'hello'
sample_udf = udf(lambda x: do_something(x), Strin
浏览 3提问于2017-10-04得票数 5
回答已采纳
情况是这样的：
我们有一个模块，在其中我们定义了一些返回pyspark.sql.DataFrame (DF)的函数。为了获得这些DF，我们使用在同一文件或助手模块中定义的一些pyspark.sql.functions.udf。当我们实际为pyspark编写要执行的作业时，我们只从模块导入函数(我们向--py-files提供了一个.zip文件)，然后将数据帧保存到hdfs。
问题是，当我们这样做时，udf函数冻结了我们的工作。我们发现的令人讨厌的修复方法是在作业中定义udf函数，并将它们提供给从我们的模块导入的函数。我找到的的另一个修复方法是定义一个类：
from pyspark.sql.fun
浏览 12提问于2017-07-14得票数 9
1回答
我想要从存储在蜂巢表中的数据构建一个pyspark模型。数据如下：
ID | value
---+------
1 | 100
1 | 101
1 | 102
2 | 101
2 | 103
使用纯hive，我可以选择使用collect_set将值折叠到hive数组中，生成如下所示：
ID | value
---+-----------
1 | (100, 101, 102)
2 | (101, 103)
这些值都是分类特征。对于这个特殊的用例，我可以把它们看作是稀疏向量1的索引，但是最好有一个解决方案来解决一般分类a la StringIndexer()的问题。我想要
浏览 3提问于2016-12-16得票数 0
回答已采纳
我有两种方法来使用udf：
1.
spark = pyspark.sql.SparkSession.builder.getOrCreate()
print(spark.udf)
output:
<pyspark.sql.udf.UDFRegistration at 0x7f5532f823a0>
from pyspark.sql.functions import udf
print(udf)
output:
<function pyspark.sql.functions.udf(f=None, returnType=StringType)>
我不明白这两者有何不同之
浏览 4提问于2021-12-20得票数 0
回答已采纳
在spark.sql查询中注册和使用pyspark version 3.1.2内置函数的正确方式是什么？ 下面是一个创建pyspark DataFrame对象并在纯SQL中运行简单查询的最小示例。 尝试使用...TypeError: Invalid argument, not a string or column: -5 of type <class 'int'>. For column literals, use 'lit', 'array', 'struct' or 'create_map' fu
浏览 4提问于2021-08-19得票数 0
回答已采纳
我正在尝试使用PySpark执行文档分类。
为此，我采用以下步骤：
# Tokenizer
tokenizer = Tokenizer().setInputCol("text").setOutputCol("words")
# Stop Word removal
updated_stopwords_list = list(set(StopWordsRemover().getStopWords() +
custom_stopword_list))
remover_custom = StopWordsRemover(inputCol=
浏览 2提问于2017-10-26得票数 1
回答已采纳
它似乎并不是派斯喀斯特Onv-vs-Rest分类器提供的概率。有办法这样做吗？
下面是我附加的代码。我正在添加标准的多类分类器以进行比较。
from pyspark.ml.classification import LogisticRegression, OneVsRest
from pyspark.ml.evaluation import MulticlassClassificationEvaluator
# load data file.
inputData = spark.read.format("libsvm") \
.load("/data/mlli
浏览 1提问于2018-12-14得票数 0
回答已采纳
1回答
我试图将python函数转换为PySpark用户定义的函数，如下所示：
from pyspark.sql import SparkSession
from pyspark.sql.functions import udf,col,array
from pyspark.sql.types import StringType,IntegerType,DecimalType
from datetime import date
def calculateAmount(loandate,loanamount):
y,m,d = loandate.split('-')[0],lo
浏览 8提问于2022-07-11得票数 2
回答已采纳
我正在尝试用pyspark.ml建立一个神经网络。问题是，我正在使用一个编码器和其他预处理方法来转换分类变量。我正在准备的阶段是：
分类特征索引
使用Onehotencoder hoten编码器
使用矢量汇编程序
然后我应用PCA
将"pcaFeatures“给神经网络分类器
但问题是，我不知道步骤4之后的特征数，在步骤5中给分类器的“层”。我的问题是，我如何才能获得最终的特征数？这是我的代码，我没有包括导入和数据加载部分。
stages = []
for c in Categories:
stringIndexer = StringIndexer(
浏览 0提问于2018-01-29得票数 1
我在PySpark中的向量列上使用UDF有困难，可以在这里说明如下：
from pyspark import SparkContext
from pyspark.sql import Row
from pyspark.sql.types import DoubleType
from pyspark.sql.functions import udf
from pyspark.mllib.linalg import Vectors
FeatureRow = Row('id', 'features')
data = sc.parallelize([(0, Vecto
浏览 2提问于2015-06-18得票数 2
回答已采纳
1回答
请查找以下代码：
import pandas as pd
from scipy.stats import norm
import pyspark.sql.functions as F
from pyspark.sql.functions import pandas_udf
import math
from pyspark.sql.functions import udf
from scipy.special import erfinv
# create sample data
df = spark.createDataFrame([
(1, 0.008),
(2, -1.2
浏览 1提问于2021-08-24得票数 0
我正在尝试更改星火DataFrame中的几个列，我有几个列，如：
名字
姓
电子邮件
我希望匿名，并产生有意义的价值，其中使用。
但如果我用
df.withColumn('FirstName', lit(fake.first_name()))
它为所有行添加了相同的名称，如下所示：
正如您所看到的，它对每个名字都有相同的值，理想情况下，我希望有不同的伪值，而不是常量。我怎样才能做到这一点？
更新1：
我看了Steven的建议，这是我更新的代码
import pyspark.sql.functions as sf
from faker import Fa
浏览 3提问于2020-08-05得票数 4
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。
因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame
注意:我之所以使用pyspark列，是因为我从我使用的库(远大期望)中获得了它的输入。
@column_condition_partial(engine=SparkDFExecutionEngine)
def _spark(cls, column, ts_formats, **kwargs):
return column.isin([3])
# need to replace the abov
浏览 4提问于2021-11-19得票数 0
回答已采纳
对于PySpark哈希函数，我有一个简单的问题。
我已经检查过，在Scala中，星火使用基于murmur3hash的。
我想知道在PySpark ()中，哈希函数到底使用了什么算法。
有人能回答这个问题吗？我还想知道PySpark哈希函数中使用的算法的代码。
浏览 11提问于2021-04-11得票数 0
回答已采纳
我是PySpark的初学者，正在为我的问题寻找一个解决方案。实际上，我想按列名对列名进行排序。
我的PySpark数据框架如下所示：
+---+---+---+---+
| ID| a| b| c|
+---+---+---+---+
| 0| 5| 2| 1|
| 1| 3| 4| 5|
+---+---+---+---+
它应按以下格式排序：
+---+---+---+---+
| ID| p1| p2| p3|
+---+---+---+---+
| 0| a| b| c|
| 1| c| b| a|
+---+---+---+---+
我试过几种方
浏览 5提问于2020-09-01得票数 0
回答已采纳
1回答
我知道我可以注册一个UDFand函数，因为它可以在SQL查询中使用：
def example(s):
return len(s)
sqlContext.udf.register("example_udf", example)
spark.sql("SELECT example_udf(col) FROM data")
或者我可以用udf包装Python函数，这样就可以将它应用于dataframe：
from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType
浏览 1提问于2018-04-13得票数 0
回答已采纳
我已经编写了一个模块，其中包含了在PySpark DataFrames上工作的函数。它们对DataFrame中的列进行转换，然后返回一个新的DataFrame。下面是代码的一个示例，缩短为只包含其中一个函数：
from pyspark.sql import functions as F
from pyspark.sql import types as t
import pandas as pd
import numpy as np
metadta=pd.DataFrame(pd.read_csv("metadata.csv")) # this contains metad
浏览 6提问于2016-03-10得票数 7
回答已采纳
1回答
如何将Vectors.dense列添加到pyspark中？
import pandas as pd
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.ml.linalg import DenseVector
py_df = pd.DataFrame.from_dict({"time": [59., 115., 156., 421.], "event": [1, 1, 1, 0]})
sc = SparkContext(master="loc
浏览 1提问于2018-04-14得票数 1
回答已采纳
我有一个带有经度/经度坐标的json文件，我尝试将其转换为PySpark中的UTM ("x"，"y")。.json文件如下所示： {"positionmessage":{"latitude": 51.822872161865234,"longitude": 4.905614852905273}}
{"positionmessage":{"latitude": 51.819644927978516, "longitude": 4.961687088012695}} 我
浏览 20提问于2020-06-13得票数 1
回答已采纳
如何告诉ml.DecisionTreeClassifier在不使用Bucketizer或QuantileDiscretizer方法的情况下对连续特征而不是分类特征进行评分？
下面是我将连续特征传递到ML的DecisionTreeClassifier中的代码，如果没有into (Buckizer)特征，大部分评分集将被忽略，而不是被评分(spark 2.1不支持keep)。
from pyspark.mllib.linalg import Vectors
from pyspark.ml import Pipeline
from pyspark.sql import Row, SparkSessi
浏览 2提问于2017-07-29得票数 1
我定义了一个pandas udf函数，并希望将除pandas.Series或pandas.DataFrame之外的其他参数传递给udf函数。我想使用partial函数来做这件事，但它出错了。我的代码如下： from functools import partial
from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
from pyspark.sql.functions import pandas_udf, PandasUDFType
conf = SparkConf().setM
浏览 15提问于2019-12-18得票数 0
回答已采纳
有没有什么方法可以将在pyspark中创建的UDF用于Java Spark作业
我知道有一种方法可以将Java UDF用于pyspark，但我正在寻找其他方法
浏览 0提问于2019-12-03得票数 0
2回答
使用Scala中的缺省参数值吗？
、、、、
我在Scala中定义了一个UDF，其缺省参数值如下所示：
package myUDFs
import org.apache.spark.sql.api.java.UDF3
class my_udf extends UDF3[Int, Int, Int, Int] {
override def call(a: Int, b: Int, c: Int = 6): Int = {
c*(a + b)
}
}
然后，我使用build clean assembly (如果需要的话可以提供更多的构建细节)适当地构建jar，并提取jar myUDFs-assembly-0.1.1.ja
浏览 1提问于2018-12-10得票数 1
回答已采纳
我在Python语言中有一个有效的lambda函数，它可以计算dataset1中的每个字符串与dataset2中的字符串之间的最高相似度。在迭代期间，它将字符串、最佳匹配和相似度以及其他一些信息写入bigquery。没有返回值，因为该函数的目的是向bigquery数据集中插入一行。这个过程需要相当长的时间，这就是为什么我想使用Pyspark和Dataproc来加速这个过程。
将熊猫数据帧转换为spark很容易。我在注册udf时遇到了问题，因为它没有返回值，而pyspark需要一个返回值。此外，我不知道如何将python中的'apply‘函数映射到pyspark变体。因此，基本上我的问题
浏览 16提问于2019-07-19得票数 2
回答已采纳
2回答
我正在尝试将用户定义的函数应用于PySpark中的窗口。我读到过UDAF可能是可行的，但我找不到任何具体的东西。
举个例子(取自此处：，并针对PySpark进行了修改)：
from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql.window import Window
from pyspark.sql.functions import avg
spark = SparkSession.builder.master("local").config(conf=Spark
浏览 0提问于2018-01-09得票数 11
回答已采纳
1回答
我有一个Python包，其中有一个模块，其中包含要在PySpark设置中使用的UDF。在运行单元测试时，我已经想出了一种初始化和关闭Spark会话的方法，但是我在创建文档时遇到了问题。我使用的是，所以我只需运行make clean docs并遇到以下错误：
File "/usr/local/lib/python3.9/site-packages/pyspark/sql/pandas/functions.py", line 432, in _create_pandas_udf
return _create_udf(f, returnType, evalType)
浏览 8提问于2022-03-31得票数 1
回答已采纳
3回答
我正试图在pyspark中创建一个UDF，以使一列的精度达到在每一行中由另一列指定的精度，例如，下面的数据文件：
+--------+--------+
| Data|Rounding|
+--------+--------+
|3.141592| 3|
|0.577215| 1|
+--------+--------+
当提交给上述UDF时，应该给出以下结果：
+--------+--------+--------------+
| Data|Rounding|Rounded Column|
+--------+--------+-------------
浏览 0提问于2018-10-08得票数 1
回答已采纳
我在一个基于类的视图中创建了一个pyspark，在另一个基于类的视图中，我拥有了我想要调用的函数，它们都位于同一个文件(api.py)中，但是当我检查由此产生的dataframe的内容时，我会得到以下错误：
ModuleNotFoundError: No module named 'api'
我不明白为什么会发生这种情况，我试着在pyspark控制台中做了一个类似的代码，它运行得很好。有一个类似的问题被问到，但区别在于我试图在同一个文件中这样做。
这是我的完整代码的一部分：api.py
class TextMiningMethods():
def clean_tweet
浏览 2提问于2020-03-22得票数 1
根据我在网上找到的一些教程，我正在尝试运行以下代码：
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import functions
from pyspark.sql import udf
df_pd = pd.DataFrame(
data={'integers': [1, 2, 3],
'floats': [-1.0, 0.5, 2.7],
'integer_arrays': [[1, 2], [3, 4, 5], [6, 7, 8, 9
浏览 1提问于2019-03-01得票数 1
1回答
我是pyspark的新手，我想把我现有的pandas / python代码转换成PySpark。
我希望对我的dataframe进行子集，以便只返回'original_problem'字段中包含特定关键字的行。
下面是我在PySpark中尝试的Python代码：
def pilot_discrep(input_file):
df = input_file
searchfor = ['cat', 'dog', 'frog', 'fleece']
df = df[df['orig
浏览 0提问于2018-05-18得票数 3
回答已采纳
re Spark文档2.3：
registerJavaFunction(name，javaClassName，returnType=None)源
将Java用户定义函数注册为SQL函数。
除了名称和函数本身之外，还可以选择指定返回类型。当未指定返回类型时，我们将通过反射来推断它。
参数：
name -用户定义函数的名称
javaClassName - java类的全限定名
returnType -注册的Java函数的返回类型。该值可以是pyspark.sql.types.DataType对象，也可以是DDL格式的类型字符串。
我的问题是：
我想有一个大量的UDF库，为火花2.3+，都是
浏览 76提问于2018-08-11得票数 0
我试图在PySpark中创建一个UDF，用于将UTM转换为经度和纬度。
误差
Caused by: net.razorvine.pickle.PickleException: expected zero arguments for construction of ClassDict (for numpy.dtype)
尝试了不同的数据类型，但没有任何运气。
PySpark代码
import pyspark.sql.functions as F
from pyspark.sql.types import *
import utm
df2 = spark.createDataFrame([(53
浏览 0提问于2020-04-13得票数 1
2回答
我在pyspark中有一个非常简单的dataframe，类似于： from pyspark.sql import Row
from pyspark.mllib.linalg import DenseVector
row = Row("a", "b")
df = spark.sparkContext.parallelize([
offer_row(DenseVector([1, 1, 1]), DenseVector([1, 0, 0])),
]).toDF() 我想要计算这些向量的点积，而不是求助于UDF调用。 spark MLLIB documen
浏览 17提问于2019-05-02得票数 1
1回答
我有一个数据帧，我想要在其中使用pysaprk中的polyline库获取给定地理位置的lat_long +-----------------+--------------------+----------+
| vid| geolocations| trip_date|
+-----------------+--------------------+----------+
|58AC21B17LU006754|eurnE||yqU???????...|2020-02-22|
|2T3EWRFV0
浏览 30提问于2020-08-31得票数 0
回答已采纳
下面是为pandas df编写的代码，因为内存问题，我不得不转移到PySpark，这就是为什么我需要转换这段代码，以便它可以为spark df执行。我试着直接运行它，但它生成了一个error.What，可以替代PySpark中的以下代码吗？
def units(x):
if x <= 0:
return 0
if x >= 1:
return 1
sets = df.applymap(units)
下面是我得到的错误：
AttributeErrorTraceback (most recent call last)
<ipyth
浏览 0提问于2020-05-31得票数 1
是否可以注册用Scala编写的UDF (或函数)以在PySpark中使用？例如：
val mytable = sc.parallelize(1 to 2).toDF("spam")
mytable.registerTempTable("mytable")
def addOne(m: Integer): Integer = m + 1
// Spam: 1, 2
在Scala中，现在可以进行以下操作：
val UDFaddOne = sqlContext.udf.register("UDFaddOne", addOne _)
val mybigge
浏览 6提问于2016-04-07得票数 7
回答已采纳
我正在尝试应用一个带有两个参数的pandas_udf。但是我得到了这个错误。首先，我尝试使用一个参数，它是可以的： from pyspark.sql.functions import pandas_udf, PandasUDFType
from pyspark.sql import SparkSession
from pyspark.sql.types import *
spark = SparkSession \
.builder \
.config('spark.cores.max', 100) \
.getOrCreat
浏览 24提问于2018-12-19得票数 3
1回答
我很难在火星雨上使用熊猫的UDF。你能帮我理解一下这是如何实现的吗？以下是我的尝试：
import pyspark
from pyspark.sql import SparkSession
from pyspark.sql.functions import pandas_udf
from pyspark import pandas as ps
spark = SparkSession.builder.getOrCreate()
df = ps.DataFrame({'A': 'a a b'.split(),
'B&#
浏览 4提问于2021-10-27得票数 1
回答已采纳
1回答
我在一个pyspark udf函数中遇到了一个问题，我想打印产生问题的行号。
我尝试使用Python中的“静态变量”等效项对行进行计数，这样当使用新行调用udf时，计数器就会递增。然而，它不起作用：
import pyspark.sql.functions as F
def myF(input):
myF.lineNumber += 1
if (somethingBad):
print(myF.lineNumber)
return res
myF.lineNumber = 0
myF_udf = F.udf(myF, StringType())
我
浏览 2提问于2019-01-18得票数 3
2回答
毫升起火花放电作用
、、、、
我对火种和蟒蛇有点陌生。我正在尝试将ML函数作为pyspark运行。
下面是一个示例：
from pyspark.sql.functions import col, pandas_udf
from pyspark.sql.types import StringType
df = spark.createDataFrame(['Bob has a dog. He loves him'], StringType())
def parse(text):
import spacy
import neuralcoref
nlp = spacy.load(
浏览 2提问于2020-06-16得票数 5
我正在尝试将into pySpark (df.year，df.month,1)转换为pySpark。
但是我在Spark中找不到这样做的函数。有谁知道吗？谢谢。
浏览 0提问于2017-06-16得票数 1
回答已采纳
1回答
如何从字符串值中获取数字代码？
、、、、
我已经使用pyspark.sql将csv文件导入spark，并通过以下方式将其注册为临时表：
import pyspark
from pyspark.sql import SQLContext
sc = pyspark.SparkContext()
from pyspark.sql import HiveContext
sqlCtx= HiveContext(sc)
spark_df = sqlCtx.read.format('com.databricks.spark.csv').options(header='true', inferschema='
浏览 3提问于2017-01-26得票数 0
1回答
使用Scala类作为UDF
、、、、
当使用Apache时，我试图将一些计算从Python卸载到Scala。我想使用Java的类接口来使用持久变量，如这样(这是一个基于我更复杂的用例的无意义的MWE )：
package mwe
import org.apache.spark.sql.api.java.UDF1
class SomeFun extends UDF1[Int, Int] {
private var prop: Int = 0
override def call(input: Int): Int = {
if (prop == 0) {
prop = input
}
p
浏览 0提问于2018-04-03得票数 3
回答已采纳
1回答
在PySpark中，我有一个由两列组成的数据文件：
+-----------+----------------------+
| str1 | array_of_str |
+-----------+----------------------+
| John | [mango, apple, ... |
| Tom | [mango, orange, ... |
| Matteo | [apple, banana, ... |
我想添加一个列concat_result，该列包含array_of_str中每个元素的连接和str1列
浏览 1提问于2019-06-20得票数 5
回答已采纳
我有一个pyspark数据帧df
+------------+------+
| timestamp | days |
+------------+------+
| 2019-11-21 | 5 |
| 2019-10-22 | 21 |
| ... | ... |
+------------+------+
我想从时间戳中减去几天
import pyspark.sql.functions as F
df.withColumn("timestamp", F.date_add(F.col("timestamp"), -F.col(&
浏览 0提问于2019-11-22得票数 1
1回答
在PySpark中运行熊猫UDF时，我会收到这个错误。这是使用外部库的UDF。
def algoritmos_comparacion(num_serie_rec, num_serie_exp):
d = textdistance.hamming(num_serie_rec, num_serie_exp)
return str(d)
然后我注册函数：
algoritmos_comparacion_udf = f.pandas_udf(algoritmos_comparacion, StringType())
最后，我使用这个udf：
df.withColumn("hamm
浏览 1提问于2019-08-08得票数 2
回答已采纳
1回答
使用UDF时忽略条件
、、、、
假设您有下面的pyspark：
data= [('foo',), ('123',), (None,), ('bar',)]
df = sqlCtx.createDataFrame(data, ["col"])
df.show()
#+----+
#| col|
#+----+
#| foo|
#| 123|
#|null|
#| bar|
#+----+
接下来的两个代码块应该做同样的事情--如果列不是null，则返回大写字母。但是，第二个方法(使用udf)会产生一个错误。
方法1：使用pyspark.sql.functions.
浏览 0提问于2018-04-03得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
