Apache Spark中的高效数据帧查找
Apache Spark是一个开源的大数据处理框架，它提供了高效的数据处理和分析能力。在Spark中，数据帧（DataFrame）是一种基于分布式数据集的数据结构，类似于关系型数据库中的表，它具有高效的数据查询和转换能力。
数据帧是Spark SQL的核心概念之一，它提供了一种结构化的数据表示方式，可以方便地进行数据的筛选、过滤、聚合等操作。数据帧可以看作是由多个命名列组成的分布式数据集，每个列都有自己的数据类型。数据帧还支持类似于SQL的查询语言，可以使用SQL语句进行数据查询和分析。
优势：
- 高效性：Spark使用内存计算和分布式计算的方式，可以快速处理大规模数据集，提供了比传统批处理框架更高的性能。
- 灵活性：数据帧提供了丰富的操作接口和函数，可以进行复杂的数据处理和转换操作，支持多种数据格式。
- 可扩展性：Spark可以在集群中运行，可以根据数据量的增加自动扩展计算资源，保证处理大规模数据的能力。
- 兼容性：Spark可以与其他大数据生态系统进行集成，如Hadoop、Hive、HBase等，可以方便地与现有的数据处理工具和系统进行整合。
应用场景：
- 数据分析和挖掘：Spark的高性能和灵活性使其成为大规模数据分析和挖掘的理想选择，可以处理结构化和非结构化数据，进行数据清洗、特征提取、模型训练等操作。
- 实时数据处理：Spark支持流式数据处理，可以实时处理数据流，如实时监控、实时推荐、实时风控等场景。
- 批处理任务：Spark可以处理大规模的批处理任务，如数据导入、ETL（Extract-Transform-Load）处理、数据仓库构建等。
推荐的腾讯云相关产品：
腾讯云提供了一系列与Spark相关的产品和服务，包括：
- 腾讯云EMR：腾讯云弹性MapReduce（EMR）是一种大数据处理服务，支持Spark等多种计算框架，提供了高性能的集群计算能力。
- 腾讯云COS：腾讯云对象存储（COS）是一种高可用、高可靠的云存储服务，可以方便地存储和管理Spark处理的数据。
- 腾讯云CDN：腾讯云内容分发网络（CDN）可以加速Spark处理结果的传输，提高数据的访问速度和用户体验。
更多关于腾讯云相关产品的介绍和详细信息，可以参考腾讯云官方网站：https://cloud.tencent.com/
相关·内容
如何将RDD (org.apache.spark.rdd.RDD[org.apache.spark.sql.Row])转换为数据帧org.apache.spark.sql.DataFrame。我使用.rdd将数据帧转换为rdd。在处理之后，我想把它放回数据帧中。我该怎么做呢？
浏览 56提问于2015-04-01得票数 150
回答已采纳
1回答
我使用星火在本地模式和一个简单的连接是太长。我获取了两个数据文件:a (8列和230万行)和B(8列和120万行)，并使用A.join(B,condition,'left')连接它们，最后调用了一个操作。它创建一个包含三个阶段的单个作业，每个阶段用于两个数据文件提取，另一个用于加入。令人惊讶的是，提取数据的阶段A大约需要8分钟，而数据B则需要1分钟。几秒钟之内就会加入。我的重要配置设置是：
spark.master本地的*
spark.driver.cores 8
spark.executor.memory 30g
spark.driver.memory 30g
浏览 0提问于2016-12-25得票数 5
回答已采纳
我有一个包含双type.When的csv文件，我加载到一个数据帧中，我收到这个消息，告诉我类型字符串是java.lang.String，不能转换为java.lang.Double，尽管我的数据是numeric.How，我是否应该修改代码，从这个包含双type.how的csv文件中获得数据帧？
import org.apache.spark.sql._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.{ArrayTy
浏览 2提问于2017-01-02得票数 4
假设我有一个名为df的熊猫数据帧
id value1 value2
1 2 1
2 2 1
3 4 5
在普通的Python中，我编写了一个函数来处理此数据帧并返回字典：
d = dict()
for row in df.itertuples()
x = do_something (row)
d[x[0]] = x[1:]
我正在尝试使用Spark重新实现这个函数。
d = dict() # define a global var
def do_something (id, value1, value2):
# business logic
d[x0] = [x1,x2
浏览 4提问于2017-08-25得票数 0
我指的是下面的链接，它使用火花流处理azure中的增量文件。我想知道带有数据池存储的HD集群Gen2是否支持增量文件。我尝试了HD星系团中的示例，我得到了以下错误
示例代码：
input_df = spark.readStream \
.format("cloudFiles") \
.option("cloudFiles.format","json") \
.option("cloudFiles.connectionString", connection_st
浏览 9提问于2020-09-30得票数 0
回答已采纳
我有多个数据帧需要将它们存储在MapString中，数据帧数据结构。下一步，我们的目标是访问它们以进行连接操作。以下是输入数据帧： names_df:
+-----+----------+----------+
|Id |FirstName | LastName |
+-----+----------+----------+
|1000 | Bob | B |
|1001 | Alice | A |
+-----+----------+----------+
addresses_df
+----+----+----+
|I
浏览 27提问于2019-08-27得票数 0
我尝试通过从数据帧中选择小时+分钟/60和其他列来创建新的数据帧，如下所示：
val logon11 = logon1.select("User","PC","Year","Month","Day","Hour","Minute",$"Hour"+$"Minute"/60)
我得到的错误如下：
<console>:38: error: overloaded method value select with alternatives:
(
浏览 0提问于2017-02-12得票数 2
回答已采纳
1回答
我的程序使用Spark.ML，我对数据帧使用逻辑回归。然而，我也想使用LogisticRegressionWithLBFGS，所以我想把我的数据帧转换成LabeledPoint。
下面的代码显示了一个错误
val model = new LogisticRegressionWithLBFGS().run(dff3.rdd.map(row=>LabeledPoint(row.getAs[Double]("label"),org.apache.spark.mllib.linalg.SparseVector.fromML(row.getAs[org.apache.spark.m
浏览 6提问于2017-08-25得票数 0
回答已采纳
1回答
您好，我正在尝试连接spark中的两个数据帧，并收到以下错误：
org.apache.spark.sql.AnalysisException: Reference 'Adapazari' is ambiguous,
could be: Adapazari#100064, Adapazari#100065.;
根据几个消息来源的说法，当您尝试将两个不同的数据帧连接在一起时，可能会发生这种情况，这两个数据帧都具有相同的名称(、、)。然而，在我的例子中，这并不是错误的来源。我之所以能说出来，是因为(1)我的列都有不同的名称，(2)错误中指示的reference是包含在join列中的
浏览 8提问于2017-02-14得票数 1
回答已采纳
3回答
我有一个由sql查询产生的数据帧
df1 = sqlContext.sql("select * from table_test")
我需要将此数据帧转换为libsvm格式，以便将其作为输入提供给
pyspark.ml.classification.LogisticRegression
我试着做了以下事情。然而，当我使用spark 1.5.2时，这导致了以下错误
df1.write.format("libsvm").save("data/foo")
Failed to load class for data source: libsvm
我想用ML
浏览 0提问于2017-05-11得票数 8
回答已采纳
2回答
使用Spark 2.0，我发现可以将row的数据帧转换为case类的数据帧。当我尝试这样做时，我收到一条消息，声明要导入spark.implicits._。我的问题是，Intellij没有认识到这是一个有效的导入语句，我想知道它是否已经移动而消息没有更新，或者如果我的构建设置中没有正确的包，这是我的build.sbt
libraryDependencies ++= Seq(
"org.mongodb.spark" % "mongo-spark-connector_2.11" % "2.0.0-rc0",
"org.apache.s
浏览 1提问于2016-10-11得票数 32
回答已采纳
我正在尝试使用databrick connect在IDE中运行我的databricks笔记本中的一些代码。我似乎想不出如何创建一个简单的数据帧。 使用： import spark.implicits._
var Table_Count = Seq((cdpos_df.count(),I_count,D_count,U_count)).toDF("Table_Count","I_Count","D_Count","U_Count") 给出错误消息value toDF is not a member of Seq[(Long, L
浏览 69提问于2021-09-14得票数 0
我有一个有一百万行和两列(ID (long int)和description(String))的dataframe(df)。在将它们转换成tfidf (使用Tokenizer、HashingTF和IDF)之后，数据帧df有两列(ID和特征(稀疏向量)。
使用udf和点函数计算项目-项目相似度矩阵。
相似度计算成功完成。
但是，当我调用show()函数时，
“提升EOFError”
我读了很多关于这个问题的问题，但还没有得到正确的答案。
请记住，如果我将我的解决方案应用于一个小的数据集(例如100行)，一切都将成功。
是否与内存不足问题有关？
我检查了我的数据集和描述信息，没有看到任何包含空或不
浏览 84提问于2019-07-06得票数 0
我正在使用Datastax spark- Cassandra -connector来访问Cassandra中的一些数据。我的需求是将RDD与Cassandra表连接起来，获取结果并将其存储在hive表中。 我正在使用joinWithCassandraTable加入cassadra表。加入后，生成的RDD如下所示 com.datastax.spark.connector.rdd.CassandraJoinRDD[org.apache.spark.sql.Row,
com.datastax.spark.connector.CassandraRow] =
CassandraJoinRDD[17
浏览 20提问于2020-07-17得票数 0
3回答
在spark (如 )中，有许多方法来验证两个数据帧的架构。但是我只想在SQL中验证两个数据帧的模式，我指的是SparkSQL。
示例查询1:
SELECT DISTINCT target_person FROM INFORMATION_SCHEMA.COLUMNS WHERE COLUMN_NAME IN ('columnA','ColumnB') AND TABLE_SCHEMA='ad_facebook'
示例查询2:
SELECT count(*) FROM information_schema.columns WHERE table_n
浏览 6提问于2018-09-04得票数 1
正在尝试创建spark数据流writeStream函数的测试，如下所示：
SparkSession spark = SparkSession.builder().master("local").appName("spark
session").getOrCreate()
val lakeDF = spark.createDF(List(("hi")), List(("word", StringType, true)))
lakeDF.writeStream
.trigger(Trigger.Once)
.format
浏览 0提问于2018-07-19得票数 8
1回答
我将spark数据帧的列移动到同一数据帧中的嵌套列的方法如下所示： .appName("SparkByExamples.com")
.master("local")
.getOrCreate()
import spark.sqlContext.implicits._
val data = Seq(("Adam", "111", "50000"),
("Abe", "222", "60000"),
浏览 19提问于2021-02-05得票数 0
回答已采纳
我希望将数据帧转换为json对象，并将其加载到json表中。
下面是代码
创建表
spark.sql("""create table IF NOT EXISTS user_tech.tests (
Z struct<A:string,
B:string,
C:string>
)
stored as orc """)
import org.apache.spark.sql._
初始数据帧
val df = Seq((1,2,3),(2,3,4)).toDF("A", "B", "C"
浏览 1提问于2018-02-17得票数 0
回答已采纳
1回答
如何在scala中将具有以下结构的RDD转换为dataframe
org.apache.spark.rdd.RDD[(Long, org.apache.spark.mllib.linalg.Vector)] = MapPartitionsRDD[42]
这里，RDD的每一行都包含一个索引Long和一个向量org.apache.spark.mllib.linalg.Vector。
我希望将org.apache.spark.mllib.linalg.Vector的每个组件放在一行数据帧中的单独列中。
浏览 2提问于2017-02-26得票数 2
如何联合包含不同列数的两个数据帧A和B，并为数据帧A和B中不常见的列获取空值？
我可以看到spark的unionAll不支持此操作，并抛出以下错误
org.apache.spark.sql.AnalysisException: Union can only be performed on tables with the same number of columns, but the left table has 11 columns and the right has 10;
Spark版本: 1.6.1
浏览 0提问于2016-08-04得票数 0
3回答
如何使用作为查询引擎？
、、、
我正在使用Apache进行大数据处理。数据从平面文件源或JDBC源加载到数据帧。任务是使用spark sql从数据框架中搜索特定的记录。
因此，我不得不一次又一次地运行这项工作，以获得新的搜索条件。每次我必须提交的Jar文件使用火花提交，以获得结果。当数据大小为40.5GB时，每次将相同的数据重新加载到数据帧以获得不同查询的结果()就变得繁琐了。
所以我需要的是
如果我可以在数据帧中加载数据一次，并在不提交jar多次的情况下多次查询数据的话？
如果我们可以用spark作为搜索引擎/查询引擎呢？
如果我们可以将数据加载到数据帧中一次，然后使用RestAP远程查询数据帧
浏览 6提问于2016-09-14得票数 3
回答已采纳
我正在使用pyspark随机森林分类器，并喜欢在得到预测后根据它们创建一个熊猫数据帧。最奇怪的异常发生在我尝试这样做的时候。下面是我的代码：
random_forest = RandomForestClassifier(labelCol = 'label', featuresCol = 'features', maxDepth = 4, impurity = 'entropy', numTrees = 10, maxBins = 250)
rf_model = random_forest.fit(training_data)
prediction
浏览 2提问于2019-01-29得票数 0
我有一个Spark结构的流媒体应用程序。应用程序从kafka接收数据，并且应该使用这些值作为参数来处理来自cassandra数据库的数据。我的问题是，我如何使用输入数据帧(kafka)中的数据，作为cassandra中的"where“参数"select”，而不会出现以下错误：
Exception in thread "main" org.apache.spark.sql.AnalysisException: Queries with streaming sources must be executed with writeStream.start();
这是
浏览 25提问于2021-05-24得票数 0
回答已采纳
我正在使用spark structured来编写一些使用function的转换数据帧：
def parquetStreamWriter(dataPath: String, checkpointPath: String)(df: DataFrame): Unit = {
df.writeStream
.trigger(Trigger.Once)
.format("parquet")
.option("checkpointLocation", checkpointPath)
.start(dataPath)
}
当我在代码中调用这个函数的次
浏览 7提问于2018-07-26得票数 1
我刚接触Apache Kudu，我在我的Ubuntu系统上安装了它，后来使用Apache Spark shell在其中创建了一个表。现在，我正在尝试使用insertRows()将数据插入到该表中，我使用的是下面给出的命令，
kuduContext.insertRows(customersDF, "spark_kudu_tbl")
其中customersDF是数据帧，spark_kudu_tbl是Kudu数据库中的表。我正处于错误之下，
java.lang.NoSuchMethodError: org.apache.kudu.spark.kudu.KuduContext.inse
浏览 2提问于2017-04-18得票数 0
1回答
给定一个数据帧"df“和一个列列表"colStr"，在Spark dataframe中是否有一种方法可以从数据帧中提取或引用这些列。
下面是一个例子-
val in = sc.parallelize(List(0, 1, 2, 3, 4, 5))
val df = in.map(x => (x, x+1, x+2)).toDF("c1", "c2", "c3")
val keyColumn = "c2" // this is either a single column name or a strin
浏览 2提问于2017-01-28得票数 1
回答已采纳
1回答
我是这个领域的新手。我正在尝试将数据从spark推送到phoenix。数据的大小超过100万。spark作业在10万条记录的情况下运行良好，但当记录数超过100万条时就会卡住。我正在从hive加载数据 val hive_data = spark.sql(query) 把它推向凤凰城 hive_data.write.format("org.apache.phoenix.spark").mode(SaveMode.Overwrite).options(collection.immutable.Map(
"zkUrl" -> zkUrl,
浏览 26提问于2021-06-26得票数 0
我的学生数据库在表Student中有每个学生的多条记录。
我正在将数据读取到Spark数据帧中，然后迭代Spark数据帧，隔离每个学生的记录，并对每个学生记录进行一些处理。
到目前为止我的代码如下：
from pyspark.sql import SparkSession
spark_session = SparkSession \
.builder \
.appName("app") \
.config("spark.jars.packages", "org.apache.hadoop:hadoop-aws:2.7.2"
浏览 48提问于2019-10-23得票数 0
1回答
我正在编写一个要应用于向量(spark.ml.linalg.Vector)类型的Spark数据帧列的UDAF。我依赖于spark.ml.linalg包，因此我不必在数据帧和RDD之间来回切换。
在UDAF中，我必须为输入、缓冲区和输出模式指定数据类型：
def inputSchema = new StructType().add("features", new VectorUDT())
def bufferSchema: StructType =
StructType(StructField("list_of_similarities", ArrayTy
浏览 1提问于2016-08-17得票数 8
回答已采纳
我正在尝试使用Spark与Kryo序列化程序来存储一些数据，而内存成本更低。现在我遇到了一个麻烦，我不能用Kryo序列化程序在内存中保存一个DataFram e(类型为DatasetRow)。我认为我所需要做的就是添加org.apache.spark.sql.Row to classesToRegister，但是错误仍然出现：
spark-shell --conf spark.kryo.classesToRegister=org.apache.spark.sql.Row --conf spark.serializer=org.apache.spark.serializer.KryoSerial
浏览 3提问于2017-02-24得票数 0
1回答
如何在没有方括号的情况下获得值
、、、、
我已经使用Scala和Spark SQL创建了一个数据帧。我想要表中的第一个值，但我将它放在方括号[]中。我能不能只得到没有括号的值？
代码：
val sigh = sqlContext.sql("""SELECT DISTINCT accountId FROM table""")
sigh.show()
sigh.select("accountId").first()
结果：
sigh: org.apache.spark.sql.DataFrame = [accountId: string]
+----------+
| acc
浏览 21提问于2018-08-22得票数 0
回答已采纳
我正在使用hadoop 3.0.0和spark 2.2.0中的以下scala代码处理数据帧。BAQ是ID列，AAA是日期YYMMDD的字符串列。 scala> val dtfAbnoFirs=dtfAbno.filter("AAA>='20201201' and BAQ<>'0'").
| groupBy("BAQ").agg("AAA"->"min");
dtfAbnoFirs: org.apache.spark.sql.DataFrame = [BA
浏览 34提问于2021-04-08得票数 0
回答已采纳
我正在开发一个spark程序，该程序将数据帧插入到Hive Table中，如下所示。
import org.apache.spark.sql.SaveMode
import org.apache.spark.sql._
val hiveCont = val hiveCont = new org.apache.spark.sql.hive.HiveContext(sc)
val partfile = sc.textFile("partfile")
val partdata = partfile.map(p => p.split(","))
case cla
浏览 0提问于2017-07-03得票数 1
回答已采纳
1回答
我有一段pyspark代码，用于将数据帧转换为物理表：
df.write.mode('overwrite).saveAsTable('sometablename')
如果数据帧df包含名称中包含空格的列，则会失败，并显示以下错误：
18/03/08 10:33:29 ERROR CreateDataSourceTableAsSelectCommand: Failed to write to table pivot_up_spaces_Export_Data_4
org.apache.spark.sql.AnalysisException: Attribute name
浏览 4提问于2018-03-08得票数 1
我使用的是Spark 1.6，正在尝试将csv (或tsv)文件读取为数据帧。以下是我采取的步骤：
scala> val sqlContext= new org.apache.spark.sql.SQLContext(sc)
scala> import sqlContext.implicits._
scala> val df = sqlContext.read
scala> .format("com.databricks.spark.csv")
scala> .option("header", "true")
sc
浏览 12提问于2016-07-27得票数 2
在我们的一个Pyspark作业中，我们有一个场景，我们在一个大的数据帧和相对较小的数据帧之间进行连接，我相信spark正在使用广播连接，我们遇到了以下错误 org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 8 GB
at org.apache.spark.sql.execution.exchange.BroadcastExchangeExec$$anonfun$relationFuture$1$$anonfun$apply$1.apply(BroadcastExch
浏览 752提问于2020-04-22得票数 0
我有一个只有数据但没有列名的CSV文件，现在我想用这个CSV文件的数据在Spark中创建一个数据帧，并为它创建模式(列名和数据类型)。我的代码如下： import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val employee = sqlContext.read.format("com.databricks.spark.csv")
.option("header", "false")
.option("inferSchema",
浏览 52提问于2019-02-26得票数 0
我在Java8中使用Spark。我有一个数据帧，其中一列包含一个mllib.linalg.Vector。我希望将数据帧中的另一列(例如ID列) groupBy，并将特征向量"collect_list“到列表中。我得到了下面的错误。我不明白为什么。这是一个泛型操作，为什么它关心列中数据的类型？它适用于标量数字或字符串等，但似乎不适用于mllib Vector。有没有解决这个问题的办法？，也许是collect_list()之外的另一个函数？
No handler for Hive udf class org.apache.hadoop.hive.ql.udf.generic.Generic
浏览 13提问于2017-01-12得票数 2
回答已采纳
1回答
我已经创建了胶水作业转换avro文件为拼图。为此，我正在导入
--conf spark.jars.packages=org.apache.spark:spark-avro_2.11:2.4.4
在yaml文件中。但是，由于未创建数据帧，作业仍在失败。显示以下错误:AnalysisException(‘找不到数据源: org.apache.spark.sql.avro。Avro是内置的，但从Spark2.4开始是外部数据源模块。’)
我的yml模板如下：
DefaultArguments:
'--job-language': 'python'
浏览 0提问于2020-02-07得票数 2
我正在尝试从spark2中的rdd创建一个数据框。当我尝试将rdd转换为数据帧时，我得到一个错误，说明以下内容
error reading Scala signature of org.apache.spark.sql.package: assertion failed: unsafe symbol Unstable (child of package InterfaceStability) in runtime reflection universe
以下是我的代码
import org.apache.spark.sql.{ SparkSession}
object TestLoad ext
浏览 2提问于2019-07-25得票数 0
我需要对dataframe行进行有状态处理。为此，我需要创建一个bean或case类，对有状态处理所需的数据进行建模。我希望保留数据帧中的其他数据，以便在有状态处理之后使用，而不是在case类中对其进行建模。如何做到这一点？ 在无状态处理中，我们可以通过使用UDF在某种程度上停留在DataFrame领域，但我们在这里没有这样的选择。 这是我尝试过的： package com.example.so
import org.apache.spark.sql.{Row, SparkSession}
import org.apache.spark.sql.functions._
import org
浏览 18提问于2018-12-25得票数 0
1回答
我设置了一个运行Apache Spark的小型Hadoop Yarn集群。我有一些数据(JSON，CSV)，我上传到Spark (数据帧)进行一些分析。稍后，我必须将所有数据帧数据索引到Apache SOlr中。我使用的是Spark 3和Solr 8.8版本。 在我的探索中，我找到了一个解决方案here但它是针对不同版本的Spark的。因此，我决定向别人请教这件事。 此任务是否有任何内置选项。我可以使用SolrJ和pySpark (不是scal shell)。
浏览 46提问于2021-02-22得票数 0
回答已采纳
我在将spark数据帧写入csv和parquet时出错。我已经尝试安装winutil，但是仍然不能解决这个错误。
我的代码
INVALID_IMEI <- c("012345678901230","000000000000000")
setwd("D:/Revas/Jatim Old")
fileList <- list.files()
cdrSchema <- structType(structField("date","string"),
浏览 0提问于2017-09-23得票数 0
我正在尝试从我的Spark作业中写出一些元数据到postgres数据库。继续输入以下错误：
2018-03-13 15:23:40,599 root ERROR An error occurred while calling o1315.jdbc.
: scala.MatchError: null
at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:62)
at org.apache.spark.sql.
浏览 1提问于2018-03-14得票数 0
我正在准备我的数据(52 my )，以便在我的本地机器上执行一些范围查询。
我的数据在BSON文件中。我正在将它转换为spark rdd/dataFrame，并编写Cassandra用于快速范围查询。
我拥有的数据没有任何唯一的范围选择方法，所以我通过调用monotically_increase()并将其写入Cassandra，在rdd数据帧中添加了一个唯一的column(idx)。
但是Cassandra，正在将idx的值改写为非常大的值。
train_df = train_df.withColumn("idx", monotonically_increasing_id())
浏览 0提问于2017-11-19得票数 0
1回答
你能帮帮我吗？我有一个80个CSV文件的数据集和一个由1个主服务器和4个从服务器组成的集群。我想读取数据帧中的CSV文件，并在四个从机上并行化它。在那之后，我想用group by来过滤数据帧。在我的spark查询中，结果包含按( "code_ccam“，”code_ccam“)分组的”档案“和”档案“列。我想用FP-Growth算法来检测被"code_ccam“重复的"folder”序列。但是当我使用FPGrowth.fit()命令时，我得到了以下错误：
"error: type mismatch;
found : org.apache.spark.rdd.RD
浏览 3提问于2019-02-20得票数 0
0回答
我们正在使用apache spark，我们将json文件保存为hdfs中的gzip压缩拼图文件。但是，在回读它们以生成数据帧时，某些文件(但不是所有文件)会导致以下异常：
ERROR Executor: Exception in task 2.0 in stage 72.0 (TID 88)
org.apache.parquet.io.ParquetDecodingException: Can not read value at 351 in
block 0 in file file:/path/to/file [...]
Caused by: java.lang.ClassCastExce
浏览 0提问于2018-07-12得票数 3
回答已采纳
我在Apache Spark上运行"join“操作，发现没有弱可伸缩性。如果有人能解释这一点，我将不胜感激。
我创建了两个数据帧("a"，"b")和("a"，"c")，并通过第一列连接这两个数据帧。我为“一对一”连接生成数据帧值。此外，我使用相同的分割器来避免混洗。
数据帧中的行数- 1024 * 1024 * 16 * cores_total (cores_total -在其上启动程序的核心总数)。列"a“由随机Int值组成，"b”列的所有值等于1，"c“列的所有值等于2。
理论上，随着数据大小和
浏览 0提问于2017-10-04得票数 3
我正在尝试将Spark数据帧写入Hbase，但当我在同一数据帧上执行任何操作或写入/保存方法时，它会给出以下异常： {
java.lang.AbstractMethodError
at org.apache.spark.Logging$class.log(Logging.scala:50)
at org.apache.spark.sql.execution.datasources.hbase.HBaseFilter$.log(HBaseFilter.scala:121)
at org.apache.spark.sql.execution.dat
浏览 11提问于2019-02-21得票数 1
我一直在尝试使用databricks库来读取CSV。我正在尝试使用scala api将hive创建的TSV读取到spark数据帧中。
下面是一个可以在spark shell中运行的示例(我公开了示例数据，以便它可以为您工作)
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType};
val sqlContext = new SQLContext(sc)
val segments = sqlContext
浏览 0提问于2015-11-24得票数 29
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
