我试图使用Scala上的Spark读取一个zst压缩文件。1次，最近一次失败:阶段0.0中丢失的任务0.0 (TID 0) (192.168.0.101执行器驱动程序)：java.lang.RuntimeException:本机zStandard库不可用:此版本的我的hadoop检查看起来如下所示，但我从了解到Apache有自己的ZStandardCodec。.1
snappy: true &
浏览 8提问于2021-04-14得票数 2
回答已采纳
1回答
为文本找到多个源
、、、
使用spark-submit运行时的错误消息如下所示： at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit在以spark-submit的形式运行时，this.source()似乎是text，而scala
浏览 14提问于2021-03-16得票数 1
回答已采纳
5回答
我在我的hortonworks集群上安装了Spark1.6.2和Spark2.0。$ spark-shellSpark1 will be picked by default
当我查看
浏览 4提问于2016-12-14得票数 13
回答已采纳
1回答
在本地模式下运行spark作业时，我的Spark有一个sql选项卡。当在AWS EMR上运行相同的作业时，Spark的SQL作业不再存在？
在亚马逊的EMR版本的Spark中，是否有这样的代码原因呢？
浏览 3提问于2016-03-03得票数 0
回答已采纳
在Spark中使用示例部署应用程序时，在sbt中执行“编译”时，我一直收到下面的错误消息。[info] Updating {file:/home/sankalp/Desktop/spark/SVMexample/}svmexample...[info] Compiling 1 Scala source to /home/sankalp/Desktop/spark/SVMexample/target/scala-2
浏览 1提问于2015-08-16得票数 0
问题： spark on k8s 配置 --conf spark.kubernetes.driver.podTemplateFile 参数不生效，但是指定spark.kubernetes.executor.podTemplateFile生效
k8s版本1.16
--master k8s://https://10.x.x.x:6443 \
浏览 390提问于2021-12-24
Spark问题:我在spark-sql和spark-shell中进行完全相同的Spark查询。spark-shell版本大约需要10秒，而spark-sql版本大约需要20秒。星星之火-sql REPL直接获取查询：
spark-sql> SELECT .... FROM ....如果这有帮助的话，我正在运行Hortonworks沙箱VM (Linux )。
浏览 1提问于2016-02-11得票数 6
3回答
我是spark的新手。我已经下载了为hadoop版本2.6预建的spark版本1.3.1。我解压并导航到该文件夹，然后键入以下命令：./bin/spark-shell，对于该命令，我得到一个错误，指出没有找到spark-shell命令。我使用git bash在windows上做了同样的事情，我得到了一个错误消息：在尝试运行spark之前，我还需要做什么吗？
浏览 1提问于2015-05-09得票数 4
回答已采纳
我已经在linux和windows机器上测试了示例SparkPi，发现linux spark-submit运行正常，并且给出了正确的结果(剧透: Pi大约是3.1402157010785055)我注意到当从linux运行spark-submit时，类路径是这样的：
-cp '
浏览 0提问于2018-04-09得票数 0
我在linux操作系统上有2.2.0版本的Spark。今天我使用spark-shell启动它，并一个接一个地输入以下代码：import org.apache.spark.rdd.RDDval file:String = s"${rootPath}/mytext.txt"
val lineRDD: RDD[String] = spark.sparkContext.textFile(file)，并抛出以下错误：
浏览 0提问于2021-09-27得票数 0
2回答
我的代码是：import org.apache.spark.SparkContext._import org.apache.spark.streaming.twitter._import(ReceiverSupervisorImpl.scala:79)
at org
浏览 6提问于2015-09-29得票数 2
有没有办法通过Powershell在HDInsight上提交Spark作业？
浏览 3提问于2017-06-22得票数 0
我把我的Laravel Spark升级到了版本6，现在我得到了错误...Class App\Http\Controllers\TeamController does not exist$router->get('/'.$pluralTea
浏览 2提问于2018-03-28得票数 0
1回答
PySpark安装错误
、、、、
-0he7:~> java -versionScalakhurram@linux-0he7:~> echo $HADOOP_HOMEPy4J我已经为hadoop和spark
浏览 0提问于2018-01-20得票数 2
回答已采纳
不幸的是，这个轮子有这样的要求：在Databricks集群上，使用了3.7.3版本，因此轮的安装失败了。如何在这些集群上安装较低的python版本？我试过的是：
切换到一个支持anaconda的集群，并在init脚本中创建一个具有特定版本的虚拟服务器->这会遇到一个错误，从而阻止集群启动(基于这个)。
浏览 1提问于2020-04-20得票数 0
如何在bitnami星火对接器映像中安装其他软件包:最新版本，附带一个小型版本，I have no name!@83b7ecb6a567:/opt/bitnami/spark$ uname -aI have no name!@83b7ecb6a567:
浏览 3提问于2020-04-20得票数 2
回答已采纳
1回答
现在，我有一个测试数据，其中有一个分区，在该分区中有两个parquet文件val df = spark.read.format("delta").load("./test1510/table@v1")val df = spark.read.format("delta").load("./test1510/table@v0")
然后我得到了612行，现在我的问题是:
浏览 12提问于2020-02-03得票数 2
1回答
我正在尝试使用Databricks Spark包将XML文件读入到一个。但是，当遇到处理指令时，Spark会引发一个错误，声称发生了意外事件。数据集足够大，我们需要某种处理程序，比如Spark。我已经翻阅了spark文档，没有发现任何关于处理指令的内容。").option("rowTag", "row").load("example.xml")spar
浏览 0提问于2019-08-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
