向spark dataframe添加一列，该列的值为现有数据框行的hashMod
。
在Spark中，可以使用withColumn方法向DataFrame添加新的列。对于给定的DataFrame，我们可以使用hash函数计算每一行的哈希值，并使用mod函数取模得到hashMod值。下面是完善且全面的答案：
在Spark中，可以使用withColumn方法向DataFrame添加新的列。对于给定的DataFrame，我们可以使用hash函数计算每一行的哈希值，并使用mod函数取模得到hashMod值。下面是完善且全面的答案：
- 概念：向Spark DataFrame添加一列，该列的值为现有数据框行的hashMod。
- 分类：这是一个数据处理操作，用于在DataFrame中添加新的列。
- 优势：通过添加新的列，可以对数据进行更多的处理和分析，提供更多的功能和灵活性。
- 应用场景：该操作适用于需要根据现有数据进行计算，并将计算结果作为新的列添加到DataFrame中的场景。例如，在数据分析和机器学习任务中，可以使用hashMod值作为特征之一。
- 推荐的腾讯云相关产品和产品介绍链接地址：腾讯云提供了强大的云计算服务，包括云数据库、云服务器、云原生应用引擎等。以下是一些相关产品和介绍链接地址：
- 腾讯云数据库：https://cloud.tencent.com/product/cdb
- 腾讯云云服务器：https://cloud.tencent.com/product/cvm
- 腾讯云云原生应用引擎：https://cloud.tencent.com/product/tke
这些产品可以帮助您在云计算环境中进行数据处理和分析，并提供高性能和可靠性。
总结：通过使用Spark的withColumn方法和哈希函数，可以向DataFrame添加一列，该列的值为现有数据框行的hashMod。这个操作可以在数据处理和分析任务中发挥重要作用，并且腾讯云提供了多种云计算产品来支持这些任务的实施。
相关·内容
This is the snapshot which is takes after adding a column but that does not contain the sum of all values of one column 我尝试在dataframe中添加一列，该列包含同一dataframe中一列的所有值的总和。 例如:在图片中有列- UserID，MovieID，Rating，UserID时间戳。现在我想添加一个名为Sum的列，它将包含Rating列的所有值的总和。 我有一个评级数据框 Ratings列名: USerID，MovieID，Rating，UnixTimeSta
浏览 25提问于2019-01-23得票数 0
回答已采纳
4回答
我有一个只有一列的Dataframe该列的每一行都有一个字符串值数组：
Spark2.2 Dataframe中的值
["123", "abc", "2017", "ABC"]
["456", "def", "2001", "ABC"]
["789", "ghi", "2017", "DEF"]
org.apache.spark.sql.DataFrame = [col: array]
root
|--
浏览 8提问于2017-12-01得票数 28
回答已采纳
我有一个包含许多列的spark.ml DataFrame，每列中的每一行都包含一个SparseVector。我想对每一列应用MultivariateStatisticalSummary.colStats，colStats签名是：
def colStats(X: RDD[Vector]): MultivariateStatisticalSummary
看起来很完美..。除了我似乎不能从该DataFrame中select一列并将其转换为RDD[Vector]。这是我的尝试：
val df: DataFrame = data.select(shardId)
val col = df.as[(org
浏览 0提问于2017-02-16得票数 0
5回答
从CSV文件创建Spark DataFrame后，我想修剪一列。我试过了：
df = df.withColumn("Product", df.Product.strip())
df是我的数据框，Product是我的表中的一列
但是我得到了一个错误：
Column object is not callable
有什么建议吗？
浏览 1提问于2016-02-02得票数 30
我需要对大小为100亿行的三列表t (s，p，o)运行200万次查询。每一列的数据类型为字符串。
只有两种类型的查询：
select s p o from t where s = param
select s p o from t where o = param
如果我将表存储在Postgresql数据库中，则使用Java ThreadPoolExecutor需要6个小时。
你认为Spark能更快地处理查询吗？最好的策略是什么？以下是我的想法：
将表加载到一个dataframe中，并启动对dataframe的查询。
将表加载到parquet数据库中，并对该数据库启动查询
浏览 4提问于2020-07-13得票数 1
我在Spark 2 (Scala)中有一个DataFrame，其中一列是unix时间戳。我只想获取从现在开始的过去10小时内的那些行。
我该怎么做呢？
val hours = 10
val result = df.filter($"unix_timestamp" > hours)
浏览 2提问于2018-02-07得票数 0
我想在Spark DataFrame中将一列居中，即用该列的平均值减去该列中的每个元素。目前，我是手动完成的，即首先计算列的平均值，从简化的DataFrame中获得值，然后用平均值减去列。我想知道在Spark中有没有一种简单的方法可以做到这一点？有没有内置的函数可以做到这一点？
浏览 55提问于2019-02-27得票数 0
2回答
我想根据以下条件连接两个数据文件:如果df1.ol(“name”)==df2.ol(“name”)和df1.ol(“starttime”)大于df2.ol(“starttime”)。
条件的第一部分是ok，我在spark中使用列类的“相等”方法，但是对于“大于”条件，当我在java中使用以下语法时：
df1.col("starttime").gt(df2.col("starttime"))
它不工作，它似乎是星火sql中列的"gt“函数，只接受数值类型，当您传递列类型作为它的输入参数时，它不能正常工作。程序正常完成，但是结果是错误的，它在datafram
浏览 2提问于2017-04-03得票数 1
回答已采纳
2回答
我正在尝试为数据帧中的每一行创建一个SHA256散列。
import org.apache.spark.sql.functions.{col, concat, sha2}
val finalResultWithHash = finalResult.withColumn("ROWHASH", sha2(concat(finalResult.columns.map(col):_*), 256))
当我在数据框中只有一列时，它似乎可以工作。
稍后在代码中，我将dataframe编写为CSV，并且rowhash列为空。我还没有找到关于我做错了什么的任何文档。
提前谢谢你。
浏览 24提问于2020-05-06得票数 1
回答已采纳
我需要向dataFrame中添加一列，该列是每行的散列。我们的目标是使用这个散列来唯一地标识该行。我将有超过100,000,000行，这就是为什么散列需要这么大的原因。我知道内置的spark散列，但不幸的是它只有32位，并且会导致大量的散列冲突。我如何才能做到这一点？
浏览 4提问于2018-07-13得票数 0
1回答
我想将“像素”数据框中的行添加到"with_key“数据框中，其中”with_key“列中的单元格的值等于"2”。 pixels = pd.DataFrame()
with_key = pd.DataFrame(columns=["Key"])
keys = []
for x in range(5):
key = x
keys.append(key)
with_key["Key"] = keys
print(with_key)
arr=np.array([0,0,0,0,0,255,0,0,0])
pixels = pd
浏览 12提问于2019-10-09得票数 0
我有一个像下面这样的数据框，只有一列和一行，我想创建一个函数来用一些文本替换匹配的字符串。
df2 = pd.DataFrame([['_text1']],columns = ['my_texts'])
spark_df = spark.createDataFrame(df2)
def text_func(df, col):
return df.withColumn("origin_code", sparkSqlFunctions.when("my_texts".startswith('_text1')
浏览 19提问于2019-07-18得票数 1
回答已采纳
我希望按一列分组，然后找到另一列的最大值。最后，显示基于此条件的所有列。然而，当我使用我的代码时，它只显示2列，而不是所有列。
# Normal way of creating dataframe in pyspark
sdataframe_temp = spark.createDataFrame([
(2,2,'0-2'),
(2,23,'22-24')],
['a', 'b', 'c']
)
sdataframe_temp2 = spark.createDataFrame([
浏览 0提问于2020-01-19得票数 0
回答已采纳
1回答
我正在尝试将DataFrame中的列汇总到一个新列中，该列将被添加到dataframe本身。
这是DataFrame
val input = sc.parallelize(Seq(
("r1", 1, 1),
("r2", 6, 4),
("r3", 4, 1),
("r4", 1, 2)
)).toDF("ID", "a", "b")
我只想在"a“和"b”中添加一列“one”，其中包含1的计数。
这是我想出来的Scala代码，不幸的是，它对任何一行
浏览 10提问于2018-01-10得票数 1
回答已采纳
有没有一种方法可以计算DataFrame的每一列的KDE？
我有一个DataFrame，其中每一列表示一个特征的值。Spark MLLib的KDE函数需要一个样本值的RDD[Double]。问题是我需要找到一种不收集每一列的值的方法，因为这会大大减慢程序的运行速度。
有人知道我该怎么解决这个问题吗？遗憾的是，到目前为止，我所有的尝试都失败了。
浏览 1提问于2018-11-30得票数 0
1回答
相对于电影，我有一个用户评分(从1到5)的DataFrame。为了获得第一列为“电影id”而其余列为每个用户对该电影的分级的DataFrame，我执行以下操作：
val ratingsPerMovieDF = imdbRatingsDF
.groupBy("imdbId")
.pivot("userId")
.max("rating")
现在，我得到了一个DataFrame，其中大多数值都是null，因为大多数用户只对很少的电影进行评级。
我有兴趣计算这些电影之间的相似之处(基于项目的协作过滤)。
我试图使用评级列值组装一个RowMa
浏览 3提问于2017-11-16得票数 0
回答已采纳
2回答
来自Spark初学者的问候！
我有一个包含多个列的DataFrame，比如ID、name和properties。它们都是string类型。最后一列properties包括该对象的一些属性的JSON表示。
我正在寻找一些方法来迭代DataFrame，解析JSON，并从每个项目中提取特定的JSON字段-并将其附加到DataFrame的行中。
到目前为止，我还有点迷茫--我知道Spark可以导入JSON数据集(这不是我所拥有的)。有一个net.liftweb.json库，但不幸的是我还没有找到一种方法让它工作-
val users = sqlContext.table("user")
浏览 9提问于2017-03-14得票数 0
是否用逗号分隔csv文件头，用另一个分隔符"|“.How分隔其余行，以处理这种不同的分隔符情况？请给我建议。 import org.apache.spark.sql.{DataFrame, SparkSession}
var df1: DataFrame = null
df1=spark.read.option("header", "true").option("delimiter", ",").option("inferSchema", "false")
.optio
浏览 12提问于2020-08-25得票数 0
3回答
我在hadoop集群中有一个10 in的csv文件，其中包含重复的列。我尝试用SparkR分析它，所以我使用spark-csv包将它解析为DataFrame
df <- read.df(
sqlContext,
FILE_PATH,
source = "com.databricks.spark.csv",
header = "true",
mode = "DROPMALFORMED"
)
但是由于df有重复的Email列，如果我想选择这一列，它会出错：
select(df, 'Emai
浏览 0提问于2015-11-20得票数 7
回答已采纳
2回答
我尝试使用硬编码字符串并将其转换为1行星火DataFrame (带有类型为StringType的一列)，以便：
String fizz = "buzz"
DataFrame的结果，其.show()方法如下所示：
+-----+
| fizz|
+-----+
| buzz|
+-----+
到目前为止，我的最佳尝试是：
val rawData = List("fizz")
val df = sqlContext.sparkContext.parallelize(Seq(rawData)).toDF()
df.show()
但是，我得到了以下编译器错误：
jav
浏览 3提问于2016-10-10得票数 7
回答已采纳
我使用星火与纱线簇管理器。
我从Cassandra表中创建了一个数据集，该表包含大约700行数据，其中5列包含5列，其中一列具有JSON格式的数据。数据量仅以MB为单位。
我运行spark-shell时：
spark.executor.memory=4g
spark.driver.memory=2g
我得到了这个错误：
org.apache.spark.shuffle.FetchFailedException:未能连接到bosirahtaicas02.bscuat.local 02. org.apache.spark.storage.ShuffleBlockFetcherIt
浏览 7提问于2017-05-31得票数 3
我有一个循环，它将创建多行数据，我希望将这些数据转换为dataframe。
目前，我正在创建一个CSV格式的字符串，并且在循环中，用换行符将其附加到字符串中。我正在创建一个CSV文件，以便还可以将其另存为文本文件，以便进行其他处理。
文件头：
output_str="Col1,Col2,Col3,Col4\n"
在for循环内部：
output_str += "Val1,Val2,Val3,Val4\n"
然后，我通过用换行符拆分RDD来创建它，然后将其转换为dataframe，如下所示。
output_rdd = sc.parallelize(output_s
浏览 1提问于2017-06-16得票数 1
3回答
我有以下数据框，其中包含一列日期和一列评估：
dates<-c("2015-01-02","2015-01-10","2016-01-15")
assessments<-c('1','2','3')
dates_dataframe = data.frame(dates, assessments)
dates_dataframe$dates<-as.Date(dates_dataframe$dates)
我想在这个数据框中创建另一个列，其中包含一个评估和下一个评估之间的天数。
我该怎
浏览 0提问于2018-06-06得票数 1
我有一个Spark值，它只有一列‘DataFrame’，其中每一行都是一个长度相等的数组。我如何将这个单独的“value”列分解成多个列，这些列遵循这样的模式？ Single-column DataFrame val bronzeDfSchema = new StructType()
.add("DATE", IntegerType)
.add("NUMARTS", IntegerType)
.add("COUNTS", StringType)
.add("THEMES", StringType)
.add(
浏览 24提问于2021-07-24得票数 1
回答已采纳
1回答
从json(动态模式)读取数据，并将其加载到dataframe。
示例数据帧：
scala> import spark.implicits._
import spark.implicits._
scala> val DF = Seq(
(1, "ABC"),
(2, "DEF"),
(3, "GHIJ")
).toDF("id", "word")
someDF: org.apache.spark.sql.DataFrame = [number: int, wor
浏览 6提问于2020-06-04得票数 0
回答已采纳
我在Spark中有一个Dataframe，它注册为一个名为A的表，并且有1 billion记录和10列。第一列(ID)是主键。
还有另一个Dataframe，它注册为一个名为B的表，具有10,000记录和10列(与表A相同的列，第一列(ID)是主键)。
表B中的记录是“更新记录”。因此，我需要用表B中的记录更新表A中的所有10,000条记录。
我首先尝试了这个SQL查询：
select * from A where ID not in (select ID from B)，然后将其与表B合并。
方法还可以，但是第一个查询(select * from A where ID not in (sel
浏览 0提问于2020-01-22得票数 0
1回答
星火中每列值之和
、、
我需要一些关于火花的帮助。
我所做的是将我在Spark中获得的数据some转换为Pandas (使用Spark2Pandas命令)，然后对其进行如下工作：
基本上，我有一个有100列的Pandas dataframe，每个列都称为"FirstP XX SecondP"，是从00到99的列号。因此，首先，我删除了每一列文本的"FirstP“和”SecondP“部分(基本上，我只保留数字)。之后，使用for循环创建一个新列，在该列中，我将添加每个列的所有值的总和。然后，我删除包含所有数据的原始列。
我使用的代码如下：
data.columns = data.columns.
浏览 3提问于2022-01-06得票数 -2
回答已采纳
如何划分spark dataframe中的每一列，该数据帧具有列c1、c2、c3和c4。与其对应的标量。标量值存储在映射或数据帧中，如下所示：
c1->2
c2->4
c3->1
浏览 2提问于2018-01-22得票数 0
回答已采纳
我想在我的Spark Dataframe中partitionBy date而不是time，我该怎么做呢？ 假设我有一个dataframe，第一列是日期时间，比如'2019-06-25 12:00:00'，'2019-06-25 11:00:00‘等等。我知道如何按时间划分它，但我不知道如何按日期划分它。 spark = SparkSession.builder.getOrCreate()
df = spark.sparkContext.parallelize([
Row("2019-06-25 12:00:00", "2"),
浏览 103提问于2019-06-25得票数 2
回答已采纳
我在Scala上创建一个Session，它将大量数据从MongoDB中提取到DataFrame中。每当我试图只显示该DataFrame的一列时，就会得到以下错误：
(run-main-0) java.lang.IllegalStateException: SparkContext has been shutdown
我已经尝试将数据的大小缩小到只有10行，但是仍然会出现相同的错误。最终目标是将"Rev“列中的所有值求和并作为变量返回，但首先需要克服这个问题。
下面是我的代码片段，其中URI
val sparkMongo = SparkSession.builder() // Creat
浏览 3提问于2020-11-04得票数 0
关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。 我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。
浏览 27提问于2020-07-14得票数 0
回答已采纳
Scala2.10在这里使用Spark1.6.2。我有一个与类似的(但不是相同的)问题，然而，被接受的答案不是，它假定了关于火花的某种“预先知识”；因此我无法复制它或理解它。(更重要的是，)，这个问题也仅限于向现有的dataframe中添加一个新列，而我需要添加一个列以及数据中所有现有行的值。
因此，我希望向现有的DataFrame添加一列，然后将该新列的初始(“默认值”)值应用到所有行。
val json : String = """{ "x": true, "y": "not true" }""
浏览 4提问于2016-10-10得票数 7
回答已采纳
1回答
提取spark数据帧中列的值
、、、、
我有一个需求，我需要从spark dataframe中过滤出行，其中某一列的值(比如“价格”)需要与scala映射的scala map.The键中的值匹配，该值是另一列的值(比如"id")。我的数据框包含两列: id和price。我需要过滤掉价格与scala map中提到的价格不匹配的所有列。
我的代码类似于：
object obj1{
// This method returns value price for items as per their id
getPrice(id:String):String {
//lookup in a map and ret
浏览 1提问于2017-10-03得票数 0
我有一个数据框。该数据框给我提供了记录列表，然后我将迭代每一行并进行一些操作。
for (row <- dataframe.rdd.collect()) {
// var anyval= row.mkString(",").split(",")(take the column);
}
然后，我进行了一些检查，如果当前行符合要求，则尝试创建新的列表或集合来保存整个行。
你能帮我举例说明如何使用spark sql在新的数据框中保存此行吗？
浏览 14提问于2019-10-21得票数 0
我试图使用Scala中的foldLeft & regex_replace从Dataframe的字符串列中删除新的行字符。在读取了postgres上的关系数据库管理系统表: public.test_sid之后创建了数据。该表有4列：id, id1, id2, id3和id3中有一个新的行字符。我就是这样写逻辑的：
var conf = new SparkConf().setAppName("Spark-JDBC").set("spark.executor.heartbeatInterval","120s").set("spark.
浏览 0提问于2018-08-27得票数 1
回答已采纳
我正在使用Spark SQL从一个MySQL表中读入一个数据框，其中有一列的类型为MEDIUMTEXT。当我将数据框原封不动地写入新表中时，该列现在的类型为TEXT，并且我得到了一个MySQL MysqlDataTruncation异常。 我不知道我是不是运气不好，或者有什么方法可以告诉Spark SQL特定于MySQL的结果列类型是什么。 在座有人对这个问题有所了解吗？
浏览 141提问于2019-08-08得票数 2
1回答
我希望使用Spark对数据帧的每一列执行Group。Dataframe将有大约。1000列。
我已经尝试对数据帧中的所有列进行迭代，并对每一列执行groupBy。但是程序执行时间超过1.5小时
val df = sqlContext
.read
.format("org.apache.spark.sql.cassandra")
.options(Map( "table" -> "exp", "keyspace" -> "testdata"))
.load(
浏览 0提问于2019-08-12得票数 1
回答已采纳
1回答
我将df作为一个pyspark.sql.dataframe.DataFrame导入到Databricks中。在这个df中，我有3列(我已经证实它们是字符串)，我希望将它们连接起来。我试过先使用一个简单的"+“函数。
df["fullname"] = df["firstname"] + df["middlename"] + df["lastname"]
但是我一直收到错误"'DataFrame‘对象不支持项分配“。因此，我试图在每一列后面添加.astype(str)，但没有结果。最后，我尝试简单地添加另一列，
浏览 1提问于2022-12-02得票数 0
我对R非常陌生，我正在尝试根据另一个数据帧来重命名一个数据框的列。
基本上，我的数据看起来像这样
DataFrame1
A B C D
1 2 3 4
我还有另一张表，看起来像这样‘DataFrame2
Col1 Col2
A E
B Q
C R
D Z
我想根据这个表重命名我的第一个数据框的列，这样它就会显示出来：
E Q R Z
1 2 3 4
我正在尝试使用plyr库进行循环。这是我尝试过的命令：
library(plyr)
for (i in names(DataF
浏览 23提问于2016-07-28得票数 8
回答已采纳
我有一个包含日期时间列的csv文件："2011-05-02T04:52:09+00:00“。
我使用scala，文件被加载到spark DataFrame中，我可以使用jodas时间来解析日期：
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
val df = new SQLContext(sc).load("com.databricks.spark.csv", Map("path" -> "data.csv", "header" -
浏览 0提问于2015-04-28得票数 3
回答已采纳
我在一个名为“source_data”的相对文件夹中有两个JSON文件
"source_data/data1.json"
{
"name": "John Doe",
"age": 32,
"address": "ZYZ - Heaven"
}
"source_data/data2.json"
{
"userName": "jdoe",
"password": "passwor
浏览 1提问于2021-02-11得票数 0
回答已采纳
我有一个由两列组成的数据帧dataframe，一列是customer_id，另一列是created_at。 我希望为客户保留在客户群中的每个月添加另一行。 例如，如果customer_id是在7月份创建的，那么数据框会在"created_at“和"today”的范围之间为该客户添加4个额外的行。例如，对于customer1，我将有9行，对于customer2: 7行，对于customer3: 4行。我在想可能像我在下面复制的东西，合并df和seqDates的想法…… import pandas as pd
import numpy as np
df = pd.DataFra
浏览 14提问于2020-10-08得票数 1
我在Spark 1.3上
我想对数据帧的每一行应用一个函数。此函数对行的每一列进行散列处理，并返回散列列表。
dataframe.map(row => row.toSeq.map(col => col.hashCode))
当我运行这段代码时，我得到了一个NullPointerException。我假设这与有关。
如果不使用嵌套的map，我想不出一种方法来达到同样的效果。
浏览 1提问于2015-12-23得票数 9
回答已采纳
3回答
我有一个Spark Dataframe，其中有一些缺失值。我想通过用该列的平均值替换缺少的值来执行一个简单的补偿。我对Spark非常陌生，所以我一直在努力实现这个逻辑。到目前为止，我做到了以下几点：
A)要对单个列(假设是A列)执行此操作，可以使用下面这行代码：
df.withColumn("new_Col", when($"ColA".isNull, df.select(mean("ColA"))
.first()(0).asInstanceOf[Double])
.otherwise($"ColA"))
b)然而，我还
浏览 1提问于2016-10-15得票数 17
回答已采纳
1回答
(我是Spark的新手)我需要存储大量的数据行，然后处理这些数据的更新。对于这些行，我们有唯一的ID (DB )，并且我们希望通过uniqueID % numShards对数据集进行分片，以创建大小相等的可寻址分区。由于PKs (唯一it )同时存在于数据和更新文件中，因此很容易确定将更新哪个分区。我们打算按照相同的标准对数据和更新进行分片，并定期重写"shard S+ shard S => new shard S累积的所有更新“。(我们知道如何组合shard S+update= new shard S) 如果这就是我们的设计，我们需要(1)通过它的一列(比如:列K)将Data
浏览 19提问于2019-05-03得票数 2
回答已采纳
1回答
Spark:计算向量列中的NaN
、、、、
假设我有一个Spark DataFrame，如下所示
+-----------+------------------+
| id | features|
+-----------+------------------+
| 1|[57.0,1.0,0.0,0.0]|
| 2|[63.0,NaN,0.0,0.0]|
| 3|[74.0,1.0,3.0,NaN]|
| 4|[67.0,NaN,0.0,0.0]|
| 5|[NaN,1.0,NaN,NaN] |
其中，featur
浏览 11提问于2017-01-26得票数 0
回答已采纳
我正在寻找一种方法来将列spark DF附加到现有的Hive表中，我正在使用下面的代码来覆盖该表，但只有当df模式和hive表模式相等时才有效，但有时我需要添加一列，因为模式不匹配，所以它不起作用。有没有一种方法可以将df附加为列？ 或者我必须让ALTER TABLE在spark.sql()中添加列？ temp = spark.table('temp')
temp.write.mode('overwrite').insertInto(datalab + '.' + table,overwrite=True) 希望我的问题是可以理解的，谢谢。
浏览 21提问于2021-10-25得票数 0
我有一个scala对象，如下所示-
scala> f1.getClass
res20: Class[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame
scala> f1.printSchema
root
|-- features: vector (nullable = true)
scala> f1.take(1)
res23: Array[org.apache.spark.sql.Row] = Array([[264960.0,0.177987935285829
浏览 0提问于2017-03-24得票数 0
2回答
(Scala特有的问题。)
虽然Spark鼓励在可能的情况下使用DataFrame API，但如果DataFrame API不够，通常是选择回到RDD还是使用UDF。这两种选择之间是否存在内在的性能差异？
RDD和UDF相似，因为它们都不能从催化剂和钨的优化中获益。是否还有其他开销，如果存在，这两种方法之间是否有区别？
为了给出一个具体的例子，假设我有一个DataFrame，它包含一列具有自定义格式的文本数据(不适于regexp匹配)。我需要解析该列并添加一个新的向量列，该列包含结果标记。
浏览 2提问于2016-08-09得票数 9
我有一个spark数据框，其中的" text“列有一些文本。我想要计算出现各种单词的行数-本质上是出现“术语”的“文档”的数量-以及相关的计数，如最频繁的单词，具有最频繁单词的行(或称为文档)。 我正在使用来自pyspark.ml.feature的HashingTF。但是似乎找不到一种有效的方法来从输出中提取这些信息。 # As an example create a Pandas-df
import pandas as pd
pandas_df = pd.DataFrame({"text": ["The cat jumped over the lazy do
浏览 25提问于2021-08-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
