当我试图向Mesos集群提交一个Spark应用程序时，我得到了以下异常：
17/01/31 17:04:21警告NativeCodeLoader:无法为平台加载本机-hadoop库.在适用的情况下使用内置java类17/01/31 17:04:22错误SparkContext: SparkContext初始化错误。org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskSche
浏览 0提问于2017-01-31得票数 4
回答已采纳
当使用findspark.find()时，我会得到安装了spark的路径，但是当尝试findspark.init( path )时，我会使用jupyter笔记本获得超出范围的列表索引。我确保了我的SPARK_HOME和路径变量也被正确设置。下面的代码输出触发主路径
findspark.find()
findspark.init(path)
133 # add pyspark to sy
浏览 0提问于2019-06-18得票数 1
1回答
我试图在Spyder (IDE)中使用pyspark初始化spark，但总是出错。(OS - Ubuntu 16.04 LTS) from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate
浏览 27提问于2019-10-14得票数 1
2回答
我已经为我的Spark流媒体应用程序编写了我的自定义指标源/接收器，我正在尝试从metrics.properties初始化它-但这在executors中不起作用。我无法控制Spark集群中的机器，因此无法复制集群中$SPARK_HOME/conf/中的属性文件。，它们的度量系统已经初始化了。如果我初始化自己的指标系统，它会提取我的文件，但是我会丢失主/执行器级别的指标/属性(例如：executor.si
浏览 21提问于2016-09-06得票数 9
1回答
在运行eclipse时，我必须在vmargs中初始化javaagent，如下所示：现在我想把生产出来的罐子交给一个火花工人我能够运行，但无法初始化javaagent。export SPARK_PATH=/xyzexport JAVA_OPTS="$JAVA_OPTS -javaage
浏览 0提问于2018-10-03得票数 0
回答已采纳
这是我的密码：from pyspark.sql import SparkSession
df = spark.read.csv<ipython-input-6-740a82943c15> in <module>----> 2 df = spark.read.csvclass="ansi-blue-fg">%p
浏览 13提问于2022-03-27得票数 0
回答已采纳
我有一个pyspark脚本，在其中我启动了一个spark会话，但是我无法使用spark.read.format('json').load("my_blob_path")从blob商店读取。下面是我的会话初始化。请帮助我在环境中设置我的blob凭证。SparkConf().setAppName("session1")from pyspark.sql import SparkSession
spark
浏览 0提问于2020-02-26得票数 2
回答已采纳
也许这个问题很琐碎，但是我在从Pyspark的本地目录中读取csv时遇到了一些问题。from pyspark.sql.types import *from pyspark import SparkContext as scnewdata = mydata.map(lambda line: line.split(","))Traceback (most recent ca
浏览 11提问于2017-11-28得票数 0
回答已采纳
--class org.apache.spark.examples.SparkPi --conf spark.executor.instances=5 --conf spark.kubernetes.container.image=spark local:///opt/spark/examples/jars/spark-examples_2.11-2.4.0.jar
2019-03-13 18:2
浏览 0提问于2019-03-13得票数 1
2回答
Java火花微框架的单元测试
、、、、
我试图将restful添加到java微服务中。为此，我用的是火花：
public class Routes { get("/test", (req, res) -> "Hello World"); res.type("application/json");
except
浏览 9提问于2016-10-14得票数 6
回答已采纳
在spark集群上运行spark程序时，我收到消息说初始化spark context时出错，然后错误地说无法在停止的spark context上调用方法。/start-all.sh命令重新启动spark。我试着检查了日志，上面写着spark启动成功。这种偶尔出现的错误消息会有什么问题呢？这是否与磁盘空间或任何其他原因有关？
谢谢..。
浏览 0提问于2016-04-08得票数 0
2回答
鼓励我尝试使用spark-csv来读取PySpark中的.csv文件。我发现有几篇文章描述了如何使用，比如我试过了
ipython notebook --profile=pyspark --packages com.databricks:spark-csv
浏览 1提问于2015-11-25得票数 8
<spark.version>2.3.4</spark.version>我们刚刚用Spark2.4(1.5.23-debian10映像版本)创建了一个新的dataproc集群，我升级了Spark和scala依赖项，使其低于spark和scala版本，并开始出现如下所示的问题。<spark.version>2.4.7</
浏览 5提问于2020-11-17得票数 2
回答已采纳
我似乎无法为应用程序分配核心。我在这三种情况下几乎都保留了spark-env.sh，只是指定了主机的IP地址。nohup ./bin/spark-submit我怀疑我将代码中的sparkConf初始化与spark-submit混为一谈。我需要这个，因为应用程序涉及到SparkStreaming，这可能需要重新初始化SparkCo
浏览 1提问于2018-07-13得票数 1
回答已采纳
1回答
如何设置火花源初始中心
、、、、
我用Spark来运行Kmeans。我有大量的数据和三个现有的中心，例如，三个中心是：[1.0,1.0,1.0],[5.0,5.0,5.0],[9.0,9.0,9.0].那么，我如何告诉Spark只使用现有的中心进行聚类。
或者说，我不明白种子在星火中意味着什么，我认为种子应该是一个向量数组，它在运行聚类之前代表指定的中心。
浏览 0提问于2017-04-18得票数 3
回答已采纳
1回答
我想在Databricks的spark上下文中注册自定义SparkListener。 .builder \ .con
浏览 14提问于2022-02-03得票数 2
2回答
我在java中有一个类，它构建了一些复杂的星火DataFrame。 public DataFrame build() { return dataframe;}b = sc._jvm.companyX.DFBuilder()#prints: py4j.java_gateway.JavaObject
浏览 0提问于2018-03-14得票数 1
回答已采纳
1回答
每个任务都有一个执行一些spark操作的PySpark模块。第二个模块使用在前一个会话中创建的数据帧并继续其操作。同样的SparkSession初始化，如何实现同样的效果？我尝试使用getActiveSession()，但由于任务1作业已完成，因此无法工作，因此当任务2运行时，会创建一个新的spark会话。- [root@ ..dags]# cat tmp_spark_1.py
spark = Spark
浏览 32提问于2021-11-23得票数 0
1回答
我正在为火花流作业构建度量系统，在系统中，每个执行者收集度量，因此需要在每个执行器中初始化度量源(用于收集度量的类)。度量源打包在jar中，当提交作业时，jar将使用参数“- jar”从本地发送到每个执行器，然而，执行器在jar到达之前开始初始化度量源类，因此它抛出类没有发现异常。下面是日志，您可以看到jar在2016-01-15 18:08:07被添加到类路径，但是初始化从2016-01-15 18:07:26开始。信息2016-01-15 18:08:07 org.apache.spark.executor.Execu
浏览 4提问于2016-01-15得票数 5
3回答
我试图在Python中初始化Spark上下文变量。SparkConf().setAppName("test").setMaster("local")但是我得到了以下错误：
None.org.apache.spark.api.java.JavaSparkContext：调用py4j.protocol.Py4JJavaError时出错：java.lang.NoClassDefFoundError:无法初始化类
浏览 0提问于2018-01-31得票数 8
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号