在spark中创建数据帧时遇到问题
在Spark中创建数据帧时遇到问题可能有多种原因。以下是一些常见的问题和解决方法：
- 数据格式不匹配：Spark数据帧需要具有结构化的数据格式，如CSV、JSON、Parquet等。如果数据格式不正确，可以尝试使用Spark提供的读取函数，如
spark.read.csv()、spark.read.json()等，来正确读取数据。 - 数据分隔符错误：如果数据使用了不同于默认分隔符的分隔符，可以在读取数据时指定分隔符参数，例如
spark.read.csv(path, sep=',')。 - 列名不匹配：如果数据中的列名与期望的列名不匹配，可以使用
spark.read.option("header", "true").csv(path)来读取数据，并将第一行作为列名。 - 缺失值处理：如果数据中存在缺失值，可以使用
na.drop()或na.fill()函数来处理缺失值。na.drop()将删除包含缺失值的行，而na.fill()将用指定的值填充缺失值。 - 数据类型转换：如果数据中的某些列的数据类型不正确，可以使用
withColumn()函数将其转换为正确的数据类型。例如，使用withColumn("age", col("age").cast(IntegerType()))将"age"列转换为整数类型。 - 内存不足：如果数据量较大，可能会导致内存不足的问题。可以通过增加Spark的内存配置参数来解决，如
--executor-memory和--driver-memory。 - 数据分区不均衡：如果数据分区不均衡，可能会导致性能下降。可以使用
repartition()或coalesce()函数来重新分区数据，以实现更好的负载均衡。 - 其他问题：如果以上方法仍然无法解决问题，可以尝试查看Spark的日志文件，以获取更详细的错误信息。此外，还可以参考Spark官方文档和社区论坛，寻求更多的帮助和解决方案。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark计算引擎：https://cloud.tencent.com/product/spark
- 腾讯云数据仓库（TencentDB）：https://cloud.tencent.com/product/tcdb
- 腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr
- 腾讯云数据湖分析（DLA）：https://cloud.tencent.com/product/dla
- 腾讯云数据集成服务（DIS）：https://cloud.tencent.com/product/dis
相关·内容
将过滤后的数据写入文件时遇到问题。在本地文件系统中创建了大约27个文件，但没有输出。
下面是使用的代码：
我正在以数据帧的形式读取文件
val in_df=spark.read.csv("file:///home/Desktop/Project/inputdata.csv").selectExpr("_c0 as Id"，“val as name"，"_c2 as dept")
然后将此数据帧注册为临时表
in_df.registerTempTable("employeeDetails")
现在需要计算每个部门的员工数量，
浏览 0提问于2020-07-07得票数 0
在关闭连接时，以以下方式复制到spark的数据帧会发生什么情况？
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
iris_tbl <- copy_to(sc, iris)
spark_disconnect(sc)
如果它们不是自动删除的，除了通过下面的方法删除每个数据帧之外，有什么简单的方法可以删除在会话期间创建的所有数据帧吗？
sc %>% spark_session() %>% invoke("catalog") %>% invoke
浏览 5提问于2018-08-24得票数 0
回答已采纳
1回答
我在读取spark数据帧时发现了这个奇怪的问题。我将数据帧重新划分为50k个分区。但是，当我读取数据帧并对其执行计数操作时，我发现当我使用spark 2.0时，底层rdd只有2143个分区。
因此，我转到保存重新分区的数据的路径，发现
hfs -ls /repartitionedData/ | wc -l
50476
因此，它在保存数据的同时创建了50k个paritions。
然而，在spark 2.0中，
val d = spark.read.parquet("repartitionedData")
d.rdd.getNumPartitions
res4: Int = 214
浏览 11提问于2017-08-11得票数 4
回答已采纳
1回答
我是这个领域的新手。我正在尝试将数据从spark推送到phoenix。数据的大小超过100万。spark作业在10万条记录的情况下运行良好，但当记录数超过100万条时就会卡住。我正在从hive加载数据 val hive_data = spark.sql(query) 把它推向凤凰城 hive_data.write.format("org.apache.phoenix.spark").mode(SaveMode.Overwrite).options(collection.immutable.Map(
"zkUrl" -> zkUrl,
浏览 26提问于2021-06-26得票数 0
CreateDataFrame有两个参数，一个rdd和一个模式。
我的模式是这样的
val schemas= StructType( Seq( StructField("number",IntegerType,false), StructField("notation", StringType,false) ) )
在一种情况下，我可以从RDD创建数据帧，如下所示：
`val data1=Seq(Row(1,"one"),Row(2,"two"))
val rdd=spark.sparkContext.parallelize(d
浏览 16提问于2019-08-19得票数 0
回答已采纳
1回答
目前我正在开发Spark版本2.1.0，作为我的数据摄取工作的一部分，我必须使用ingest方法将数据摄取到hive表中。但是Spark 2.1版本有一个bug，当插入数据到hive表中时，insertinto方法不会保持列顺序。 我已经尝试在append模式下使用saveAsTable方法，但它不会起作用，因为在数据摄取之前，我首先使用正确的数据类型手动创建表。 我尝试从现有的hive表中创建spark数据帧，并尝试从其中获取列序列，并传递此列表结果以确保列序列，但每次都在hive表的顶部创建数据帧以获取列序列。每次加载hive表来创建数据帧都会占用内存吗？ 有没有人知道，如何用更好的方法
浏览 15提问于2019-02-26得票数 0
我在AWS Glue脚本中使用Spark SQL来转换S3中的一些数据。下面是脚本逻辑 数据格式CSV 编程语言: Python 1)使用胶水的目录将数据从S3拉取到胶水的DynamicDataFrame中 2)使用toDF()从Glue的数据帧中提取火花数据帧 3)制作Spark数据帧Spark SQL表 createOrReplaceTempView() 4)使用SQL查询进行转换(这就是我遇到问题的地方) 5)将最终数据帧转换为粘合动态数据帧 6)使用glueContext.write_dynamic_frame.from_options()将最终数据帧存储到S3中 问题 当我在SQ
浏览 125提问于2019-04-18得票数 1
我正在尝试从csv文件创建spark数据帧，但是我不想在数据帧中包含原始数据中的特定列。在设置架构或读取csv文件时，是否可以这样做？
浏览 35提问于2018-08-01得票数 0
在熊猫中，这可以通过column.name来完成。
但是，当它的spark数据帧列时如何做同样的事情呢？
例如，调用程序有一个spark数据帧: spark_df
>>> spark_df.columns
['admit', 'gre', 'gpa', 'rank']
此程序调用我的函数: my_function(spark_df 'rank‘)在my_function中，我需要列的名称，即’rank‘
如果是pandas数据帧，我们可以在my_function内部使用
>>> pand
浏览 1提问于2016-09-28得票数 55
您将需要执行相当多的计算，从源数据帧，一个Spark表，不是吗？或者，dataframe和table都是指向相同数据的指针(即，在创建表时，不是在创建重复数据)？ 我猜我想要弄清楚的是，你是否可以从一个Spark数据帧到一个表‘开关开关’，或者这样做的计算量是否(非常)昂贵(毕竟这是大数据...)
浏览 26提问于2021-04-26得票数 0
2回答
我要把数据帧保存到拼图文件中。生成的模式如下所示：
org.apache.spark.sql.parquet.row.metadata{
"type":"struct",
"fields":[
{
"name":"DCN",
"type":"string",
"nullable":true,
"metadata":{}
},
{
"name":"EDW
浏览 0提问于2017-11-08得票数 0
Spark用于从SQL server DB中获取表的模式。由于数据类型不匹配，我在使用此模式创建配置单元表时遇到问题。如何在Spark Scala中将SQL Server数据类型转换为Hive数据类型。
val df = sqlContext.read.format("jdbc")
.option("url", "jdbc:sqlserver://host:port;databaseName=DB")
.option("driver", "com.microsoft.sqlserver.jdbc.SQLServer
浏览 48提问于2019-07-19得票数 1
正在尝试创建spark数据流writeStream函数的测试，如下所示：
SparkSession spark = SparkSession.builder().master("local").appName("spark
session").getOrCreate()
val lakeDF = spark.createDF(List(("hi")), List(("word", StringType, true)))
lakeDF.writeStream
.trigger(Trigger.Once)
.format
浏览 0提问于2018-07-19得票数 8
Pandas有一个包含assert_frames_equal的测试模块。考拉也有类似的东西吗？ 我正在编写一系列到考拉数据帧的转换测试。首先，由于我的测试csv文件只有几行(<10行)，我考虑只使用pandas。不幸的是，这些文件非常宽(接近200列)，并且具有在spark读取文件时指定的各种数据类型。由于熊猫的类型规范与考拉的类型规范非常不同，除了我们已经为spark编写的类型模式之外，我还必须编写大约200个完整的dtype列表。这就是为什么我们决定使用spark和koalas为测试创建数据帧会更有效率。但是，我在文档中找不到一种方法来比较数据帧，以查看转换的结果是否与我们创建的预
浏览 27提问于2020-12-12得票数 0
回答已采纳
我正在将spark数据帧保存到hive表中。spark dataframe是一个嵌套的json数据结构。我可以将数据帧另存为文件，但它在上面创建了一个配置单元表时失败了，上面写着org.apache.spark.SparkException: Cannot recognize hive type string
我不能先创建一个hive表模式，然后再将其插入其中，因为数据框由数百个嵌套列组成。
因此，我将其保存为：
df.write.partitionBy("dt","file_dt").saveAsTable("df")
我不能调试这个问题。
浏览 1提问于2018-08-11得票数 2
1回答
我有一个csv数据文件，可以加载到pyspark中：
spark = SparkSession.builder.master("local").appName("MYAPP").getOrCreate()```
df = spark.read.csv( path = csvfilepath, sep="|", schema=my_schema, nullValue="NULL", mode="DROPMALFORMED")```
检查数据帧的行数得到大约2000万行。
df.count()
我在拼图中重新存储了我
浏览 7提问于2020-05-06得票数 0
我有一个只有数据但没有列名的CSV文件，现在我想用这个CSV文件的数据在Spark中创建一个数据帧，并为它创建模式(列名和数据类型)。我的代码如下： import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val employee = sqlContext.read.format("com.databricks.spark.csv")
.option("header", "false")
.option("inferSchema",
浏览 52提问于2019-02-26得票数 0
1回答
我正在修改一些现有的代码来使用Spark。我有多个包含不同数据集的数据帧。在转换主数据帧(或主数据集)时，我需要使用来自其他数据帧的数据来完成转换。我还有一种情况(至少在当前结构中)，我需要在另一个数据帧的转换函数中创建新的数据帧。
我试图确定以下几点：
我能否访问另一个数据帧的转换函数中的数据帧？
数据帧是否可以在dataframe的转换函数中在执行器上创建？
关于如何处理这种情况的建议将是非常有用的。
浏览 1提问于2017-09-01得票数 7
回答已采纳
我想使用spark和hadoop并行处理mp4视频帧。我不想在处理之前提取所有帧。我正在寻找的是一种顺序读取帧数据w.r.t的方法。视频时间，然后在帧到达使用yarn的hadoop集群上的spark executors时馈送帧。mp4视频文件可以在本地文件系统上，也可以在HDFS上。
我可以使用ffmpeg创建一个管道，然后读取原始帧字节(例如，image =np.fromstring(pipe.stdout.read(1920x1080x3)，dtype='uint8'))。有没有办法将数据(即，流，因为帧作为可变解码时间的函数进入)馈送到spark RDD，并具有执行某些操
浏览 11提问于2019-07-13得票数 2
2回答
有人能解释一下为Spark Dataframe创建的分区数量吗？
我知道，对于RDD，在创建它的时候，我们可以像下面这样提到分区的数量。
val RDD1 = sc.textFile("path" , 6)
但是对于Spark dataframe，在创建时，我们看起来没有像RDD那样指定分区数量的选项。
我认为唯一的可能性是，在创建数据帧之后，我们可以使用重新分区API。
df.repartition(4)
所以谁能让我知道我们是否可以在创建数据帧时指定分区的数量。
浏览 1提问于2016-09-07得票数 9
回答已采纳
1回答
我将此推文数据集与Pyspark一起使用，以便对其进行处理，并根据推文的位置获取一些趋势。但我在尝试创建数据帧时遇到了一个问题。我使用spark.read.options(header="True").csv("hashtag_donaldtrump.csv")创建数据帧，但是如果我查看tweets列，我会得到以下结果： ? 你知道如何清理CSV文件，以便它可以被Spark处理吗？提前谢谢你！
浏览 14提问于2021-01-15得票数 0
回答已采纳
以前我的理解是，一个动作会在spark应用程序中创建一个职位。但是让我们看看下面的场景，其中我只是使用.range()方法创建一个数据帧
df=spark.range(10)
因为我的spark.default.parallelism是10，所以结果数据帧是10个分区。现在我只是在数据帧上执行.show()和.count()操作
df.show()
df.count()
现在，当我检查了spark历史记录时，我可以看到.show()的3个作业和.count()的1个作业。
为什么.show()方法有3个任务？
我读过一些文章，其中.show()最终将在内部调用.take()，它将遍历
浏览 1提问于2021-03-24得票数 0
我在spark数据帧上使用缓存时遇到了一些问题。我的期望是在对数据帧进行缓存之后，会在第一次需要数据帧时创建并缓存数据帧。对dataframe的任何进一步调用都应来自缓存
下面是我的代码：
val mydf = spark.sql("read about 400 columns from a hive table").
withColumn ("newcol", someudf("existingcol")).
cache()
为了测试，我运行了两次mydf.count()。我预计第一次需要一些时间，因为数据正在缓存中。但是第二次应该是瞬
浏览 0提问于2019-10-05得票数 1
我正在试用databricks平台，我有兴趣将前6个文件加载到数据框架中。 数据存储在dbfs:/mystore中，并以文本/csv文件的形式存在。 part-00000
part-00001
part-00002
part-00003
part-00004
part-00005
part-00006
part-00007
part-00008
part-00009
part-00010 我所做的是创建一个spark会话： spark = SparkSession.builder.appName("tester").master("local[*]").get
浏览 13提问于2021-05-03得票数 1
我有一个可以收听Kafka主题的Spark流媒体应用程序。当获得数据时，我需要对其进行处理，并将其发送到Kudu。目前，我正在使用org.apache.kudu.spark.kudu.KuduContext API，并对数据框调用插入操作。为了从我的数据创建数据框，我需要调用collect()，以便可以使用sqlContext创建数据框。
有没有一种方法可以在不调用collect()的情况下创建数据帧/将数据插入到Kudu中？
我们使用的是Spark 1.6
浏览 7提问于2018-08-08得票数 1
2回答
在Spark中创建数据帧列表是否可取？
List<Dataset<Row>> list = some method
方法读取x个文件以从中创建x个数据帧。这些数据帧被推送到列表中。
此方法从驱动程序调用，并返回通过在列表中联接数据集而创建的单个数据框。
我搞不懂这个列表将在哪里形成，是在驱动程序节点上还是在工作节点上？
创建数据帧列表是否可取？
浏览 11提问于2019-07-13得票数 1
1回答
火花RDD循环容错
、、、、
RDD通过谱系图提供容错功能，这就是星火成为容错的方式
那么，在使用spark数据帧时，spark是否会在后台创建RDDs以实现容错呢？
一般来说，如果我在星火集群上执行任何活动/转换，那么spark是否使用RDD？
浏览 3提问于2022-11-17得票数 0
我是Spark的新手，我正在尝试弄清楚使用它进行数据科学的程序是什么。具体地说，我知道如何从现有数据中创建数据帧，然后执行一些分析。
现在我正在尝试理解如何在数据帧中已经存在的数据上运行ML算法。当我查看ML文档时，我发现dataframes是从Vectors (密集或稀疏)创建的，但我现有的Dataframes并非如此。我想知道如何将具有多个列的现有数据帧转换为将单个列放置在向量中的数据帧？
当尝试先执行探索性分析和一些绘图，然后在相同的数据帧上执行ML时，通常的程序是什么？
浏览 0提问于2016-12-29得票数 0
1回答
我有一个非常大的csv文件，所以我使用spark并将其加载到spark数据帧中。
我需要从csv上的每一行提取纬度和经度，以便创建folium地图。
使用pandas，我可以用一个循环解决我的问题：
for index, row in locations.iterrows():
folium.CircleMarker(location=(row["Pickup_latitude"],
row["Pickup_longitude"]),
radiu
浏览 27提问于2018-05-30得票数 0
1回答
我在spark数据帧中有非常大的数据集，它们分布在节点上。我可以使用spark库pyspark.sql.functions进行简单的统计，如mean、stdev、skewness、kurtosis等。 如果我想使用像Jarque-Bera (JB)或Shapiro Wilk(SW)等高级统计测试，我会使用像scipy这样的python库，因为标准的apache pyspark库没有它们。但为了做到这一点，我必须将spark数据帧转换为pandas，这意味着将数据强制到主节点中，如下所示： import scipy.stats as stats
pandas_df=spark_df.toPan
浏览 30提问于2020-09-13得票数 0
我试图通过在spark dataframe上添加ignite来提高它的性能。下面的代码是我们当前读取数据帧的方式
val df = sparksession.read.parquet(path).cache()
我通过这里的示例成功地保存并加载了ignite中的spark数据帧：。下面的代码是我现在使用ignite的方式
val df = spark.read()
.format(IgniteDataFrameSettings.FORMAT_IGNITE()) //Data source
.option(IgniteDataFrameSetting
浏览 1提问于2018-10-10得票数 1
1回答
我有一个关于使用Spark DataFrame的基本问题。 考虑下面这段伪代码： val df1 = // Lazy Read from csv and create dataframe
val df2 = // Filter df1 on some condition
val df3 = // Group by on df2 on certain columns
val df4 = // Join df3 with some other df
val subdf1 = // All records from df4 where id < 0
val subdf2 = // All
浏览 23提问于2021-02-12得票数 1
回答已采纳
1回答
我有一段pyspark代码，用于将数据帧转换为物理表：
df.write.mode('overwrite).saveAsTable('sometablename')
如果数据帧df包含名称中包含空格的列，则会失败，并显示以下错误：
18/03/08 10:33:29 ERROR CreateDataSourceTableAsSelectCommand: Failed to write to table pivot_up_spaces_Export_Data_4
org.apache.spark.sql.AnalysisException: Attribute name
浏览 4提问于2018-03-08得票数 1
1回答
我的问题是，在使用Spark将表还原为更大的表时，任务大小太大了。
在人们指出其他答案之前，说要使用、广播或避免结束整个类；让我说一下，我已经读过这些内容，而且在使用Spark时仍然很困惑。
当使用Spark时，任务大小可达到推荐大小的10倍。
这里是情况：
我有10+表/数据帧连接到一个uber表中。
我创建了一个scala对象，并在主体中从它们的CSV中填充了这10个表。
我在其他对象中导入该对象的成员(只是表)，这些对象的计算形式是uber-table。
当Spark连接在这10个表之间运行时，比如说，将结果表写到一个parquet文件中时，我会得到任务大小警告。
浏览 0提问于2017-03-06得票数 2
1回答
我正在从事SQL Server到Databricks的迁移工作。 我有一些TSQL程序，最少有100行代码。 我想把这些程序转换成Spark代码。 对于POC (在1个TSQL proc上工作)，所有的源文件都被导入并创建为GlobalTempView的，并将TSQL转换为Spark SQL。 并使用作为文件导出的最终globalTempView。 现在，我在这里有一个问题，创建GlobalTempView并将TSQL proc转换为Spark SQL是最好的方法吗?或者将所有文件加载到数据帧中并将TSQL proc重写为Spark数据帧逻辑是最好的方法。 请告诉我TSQL procs转换成
浏览 10提问于2021-10-29得票数 1
1回答
我知道Hive Metastore用于存储我们在HIVE中创建的表的元数据，但是为什么spark需要Metastore，Metastore和Spark之间的默认关系是什么
spark SQL是否正在使用元存储?如果是，这是否用于存储数据帧元数据？
为什么即使iam没有使用任何sql库，spark by defaults也会检查元存储区连接？
浏览 8提问于2017-09-21得票数 4
我在EMR上有Spark作业，并且EMR被配置为对Hive和Spark元数据使用Glue目录。 我创建了Hive外部表，它们出现在Glue目录中，我的Spark作业可以在Spark SQL中引用它们，比如spark.sql("select * from hive_table ...") 现在，当我尝试在Glue作业中运行相同的代码时，它失败了，并出现"table not found“错误。看起来Glue作业不像在EMR中运行Spark SQL那样使用Glue目录。 我可以通过使用Glue API并将数据帧注册为临时视图来解决此问题： create_dynamic_fr
浏览 29提问于2019-02-09得票数 1
我使用Spark 2.4.3和Kafka 2.3.0。我想用从Kafka到Spark的数据做Spark结构化流媒体。一般来说，它可以在测试模式下工作，但由于我必须对数据进行一些处理(并且不知道另一种方法)，Spark数据帧不再具有流式传输功能。 #!/usr/bin/env python3
from pyspark.sql import SparkSession
from pyspark.sql.functions import from_json
from pyspark.sql.types import StructField, StructType, StringType, Doub
浏览 22提问于2019-09-10得票数 0
回答已采纳
我使用的是spark API spark.read.jdbc(String url,String table,java.util.Properties properties)。它使用从数据库表返回的模式创建数据帧。 每次我调用上述API时，它都会创建一个到DB集群的连接请求。有没有办法在上面的API中传递或创建单例类的东西？
浏览 15提问于2020-04-27得票数 0
3回答
我是一个spark应用程序，有几个点我想要持久化当前状态。这通常是在一个大的步骤之后，或者缓存一个我想要多次使用的状态之后。似乎当我第二次对我的数据帧调用cache时，一个新的副本被缓存到内存中。在我的应用程序中，这会导致在扩展时出现内存问题。尽管在我当前的测试中，给定的数据帧最大大约为100MB，但中间结果的累积大小超出了executor上分配的内存。请参见下面的小示例，该示例演示了此行为。
cache_test.py：
from pyspark import SparkContext, HiveContext
spark_context = SparkContext(appName=&#
浏览 9提问于2016-04-28得票数 39
回答已采纳
如何将RDD (org.apache.spark.rdd.RDD[org.apache.spark.sql.Row])转换为数据帧org.apache.spark.sql.DataFrame。我使用.rdd将数据帧转换为rdd。在处理之后，我想把它放回数据帧中。我该怎么做呢？
浏览 56提问于2015-04-01得票数 150
回答已采纳
我正在尝试处理包含810个独立tif文件的多个文件夹。 文件夹结构： ? 在尝试为此创建数据帧时，我遇到了加载的bytearray为空的问题。很明显我需要这些来处理。 数据帧创建： spark = SparkSession \
.builder \
.appName(name) \
.config("spark.executor.memory", "2g") \
.config("spark.driver.memory", "2g") \
.config("spark.ex
浏览 40提问于2020-04-22得票数 0
回答已采纳
我在pyspark中有所有这些支持库，并且我能够为parent创建数据帧- def xmlReader(root, row, filename):
df = spark.read.format("com.databricks.spark.xml").options(rowTag=row,rootTag=root).load(filename)
xref = df.select("genericEntity.entityId", "genericEntity.entityName","genericEntity.entityTy
浏览 11提问于2019-03-15得票数 0
我有一个Spark结构的流媒体应用程序。应用程序从kafka接收数据，并且应该使用这些值作为参数来处理来自cassandra数据库的数据。我的问题是，我如何使用输入数据帧(kafka)中的数据，作为cassandra中的"where“参数"select”，而不会出现以下错误：
Exception in thread "main" org.apache.spark.sql.AnalysisException: Queries with streaming sources must be executed with writeStream.start();
这是
浏览 25提问于2021-05-24得票数 0
回答已采纳
我在使用制表符分隔值(TSV)和逗号分隔值(CSV)文件时使用Spark 2.0。我希望将数据加载到Spark-SQL数据帧中，在读取文件时，我希望完全控制模式。我不希望Spark从文件中的数据中猜测模式。
如何将TSV或CSV文件加载到Spark SQL Dataframe中，并对其应用模式？
浏览 2提问于2017-04-20得票数 6
我正在尝试从亚马逊离子格式文件创建数据帧。但在spark中，我没有找到任何离子类型的格式。所以，我使用json格式来加载ion文件，但是它抛出了错误。有没有办法从ion文件中创建数据帧。
我试着用下面的代码
val df = spark.read .format("json") .load("file:/home/mohan/Downloads/test_journal.ion")
浏览 0提问于2019-12-27得票数 0
尝试使用spark-connector for olp发布到索引层时，在创建数据帧时出现错误，因为这不是一个术语。
如何解决此错误？
浏览 12提问于2020-05-17得票数 1
我正在使用SparkR来处理一些在其技术堆栈中包含R和spark的项目。
我必须使用从验证函数返回的布尔值创建新列。我可以使用spark数据帧和一个表达式轻松地完成这项工作：
sdf1$result <- sdf1$value == sdf2$value
问题是当我必须比较两个不同长度的数据帧时。
使用函数操作sdf1和sdf2数据帧并将值赋给sdf1的新列的最佳方式是什么？假设我想生成一个长度介于sdf1和sdf2之间的列。
浏览 3提问于2017-05-18得票数 0
1回答
我有一个包含两列的spark dataframe : Stars (数值)和categories (标签字符串，例如："Restaurant，Italien，High-end")。我希望重新创建数据帧，这样类别就变成了标签的计数。在上面的示例中，类别将变为3。 我曾尝试将数据帧视为熊猫数据帧，但似乎不起作用。我是Spark的新手，所以可能是因为我不太理解RDD的概念。
浏览 22提问于2020-04-13得票数 0
我正在尝试从spark2中的rdd创建一个数据框。当我尝试将rdd转换为数据帧时，我得到一个错误，说明以下内容
error reading Scala signature of org.apache.spark.sql.package: assertion failed: unsafe symbol Unstable (child of package InterfaceStability) in runtime reflection universe
以下是我的代码
import org.apache.spark.sql.{ SparkSession}
object TestLoad ext
浏览 2提问于2019-07-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
