我用的是spark 2.4和scala 2.11.12，在spark shell中，我碰到了一个非常奇怪的问题，那就是它不能识别导入的类。它是scala 2.11.12的bug吗?因为它可以在scala 2.12和2.11.8中工作 scala> import java.util.Arr
浏览 7提问于2019-05-16得票数 0
<spark.version>2.3.4</spark.version>我们刚刚用Spark2.4(1.5.23-debian10映像版本)创建了一个新的dataproc集群，我升级了Spark和scala依赖项，使其低于spark和scala版本，并开始
浏览 5提问于2020-11-17得票数 2
回答已采纳
我用自制的方式在我的Mac上安装了Scala(2.12.8版)和Spark(2.4.3)。我已经在我的机器上安装了Java1.8。当我发射火花壳时，我看到徽标上写着：为什么说ScalaVersion2.11.12而不是安装在我的计算机上的Scal
浏览 2提问于2019-05-18得票数 4
回答已采纳
(SparkApplication.scala:52) at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala(SparkSubmit.scala
浏览 0提问于2019-01-29得票数 2
3回答
我无法为scala项目在Intellij中导入spark mllib库。我得到了一个决议例外。下面是我的sbt.build
libraryDependencies+= "org.apache.spark" %% "spar
浏览 0提问于2018-07-16得票数 0
我试图使用spark-submit运行一个简单的单词计数程序，并得到一个异常。线程"main“中的异常java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/collection/mutable/ArraySeq$ofRef at SparkWordCount$.main(SparkWordCount.scala:18)
val count
浏览 3提问于2019-09-27得票数 1
回答已采纳
在bash shell中运行spark-shell --packages "graphframes:graphframes:0.7.0-spark2.4-s_2.11"可以正常工作，我可以成功地导入GraphFrames0.7，但是当我尝试在scala jupyter笔记本中使用它时，如下所示： import scala.sys.process._
"spark-shell --pack
浏览 24提问于2019-02-13得票数 0
我无法使用Python语言中的以下代码从spark_2.4.4结构化流连接到kafka_2.12-2.3.0。我的scala版本是2.11.12，OpenJDK是1.8.0_222spark = SparkSession\ .option("subscribe", "test")\
.option(&qu
浏览 17提问于2019-10-23得票数 0
回答已采纳
2回答
-2.4.1.jar 下面是我用来打开正在运行的shell脚本的脚本。shell-script --master local --jars eventHub_Jars/azure-cosmosdb-spark_2.3.0_2.11-1.3.3.jar 当我将shell脚本与_2.11:2.3.13 --jars eventHub_Jars/scala-library-2.11.12.jar, azure-eventhubs-
浏览 37提问于2019-10-17得票数 0
1回答
正如所解释的，我在Windows上安装了一个本地spark 1.5.2 (Hadoop2.4)。
我在"E:/installprogram/spark-1.5.2-bin-hadoop2.4/lib/jmatrw-v0.1-beta.jar“中复制了这
浏览 5提问于2015-12-29得票数 1
回答已采纳
我正在尝试使用spark-avro包，如中所描述的。) at org.apache.spark.sql.DataFrameReader.loadat java.util.ServiceLoader$LazyIterator.nextService(ServiceLoader.java:380)我尝试过不同版本的</em
浏览 0提问于2019-04-26得票数 9
回答已采纳
我们在Spark2.4中在spark2-shell中读取avro文件时遇到了问题，任何指针都会有很大帮助。我们使用以下方法读取Spark2.4 2.3中的avro文件，但这种支持在Spark2.4中已被删除：
spark2-shell --jars /tmp/spark/spark-avro_2.11-4.0.0("mode
浏览 4提问于2020-01-24得票数 2
回答已采纳
1回答
火花壳错配
、、
我试图使用以下方法从Shell中的特定字段中计数一些数据：但我知道这个错误dfEquipmenttorecover.where($"key_number"==="12884612884").count
我使用的是Scala版本2.11.12 (Java HotSpot(TM)64位服务器VM，Jav
浏览 10提问于2022-06-16得票数 0
已安装:已安装Spark 2.1.1 Scala 2.11.12 Java 8 JRE和JDK。环境：我尝试了以下方法来解决此问题，但未能解决此问题：已验证是否正确配置
浏览 3提问于2019-05-16得票数 0
object PopularTwitterHashtags {
import scala.io.Source
我使用sbt作为依赖项。_2.11" % "1.6.3",更新：
人们告诉我，问题是在Scala2.12中使用spark-streaming-twitter_
浏览 3提问于2021-04-28得票数 0
回答已采纳
1回答
Spark session available as 'spark'..__/\_,_/_/ /_/\_\ version 2.3.0.2.6.5.0-292// Entering paste mode (ctrl-D to finish)
import org.ap
浏览 2提问于2018-09-17得票数 0
我使用的是neo4j-connector-apache-spark_2.11-4.0.2_for_spark_2.4.jar这个连接器，它的spark版本为2.4.4、Scala2.11.12和neo4j3.3.x
抛出此org.neo4j.driver.exceptions.ClientException:服务器不支持此驱动程序支持的任何协议版本。确保您使用的是相互兼容的驱动程序和服务器版本，同时
浏览 6提问于2022-10-12得票数 0
回答已采纳
我已经安装了Java-11-openjdk-amd64，并在usr/lib/jvm/Java-11-openjdk-amd64/bin/java、Scala 2.11.12和spark 2.2.0和hadoop打开spark-shell时出现错误： Failed to initialize compiler: object java.lang.Object in compiler mirror not found我还定义了主目录中.bashrc文件中<em
浏览 61提问于2019-12-23得票数 0
回答已采纳
我是很新的火花流。我有一个火花独立2.2运行与一名工人。我正在使用一个套接字源，并试图将传入的流读取到一个名为MicroserviceMessage的对象中。val message = spark.readStream .option("host", host)Exception in thread "main" org.apache.spa
浏览 4提问于2017-12-08得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
