我想在Juptyer (Scala)中动态加载一个jar文件到Spark driver中。sparkContext.addJar方法似乎将其加载到executors中。有没有办法把它加载到驱动程序中？ 谢谢，奎师那
浏览 54提问于2019-03-03得票数 3
我一直在尝试设置Spark (Scala)和Jupyter notebook。除非你想添加像数据库驱动程序这样的东西，特别是在我的例子中，这是一个复杂的JAR相互依赖的网络，我花了一天的时间来尝试正确的setup is easy。我也在本地安装了spark (Ubuntu18.04)，也遇到了同样的问题，找到了/jar文件夹，然后找出了我需要哪些版本的驱动程序、库等来使用
浏览 14提问于2019-02-11得票数 0
"已检查浏览器控制台，以确保在重新启动内核后加载此库kernel.js:978 ui-logs-1452> [Tue Aug 22 2017 09:46:26 GMT+0530 (IST)] [notebook.util.CoursierDeps/v1/http/
浏览 7提问于2017-08-23得票数 0
我已经创建了一个Spark EMR集群。我希望在本地主机或EMR集群上执行作业。假设我在本地计算机上运行spark-shell，我如何告诉它连接到Spark EMR集群，要运行的确切配置选项和/或命令是什么？
浏览 2提问于2016-06-06得票数 5
我能够在一个ipython笔记本上启动pyspark，SparkContext作为'sc‘加载。在我的.bash_profile中，我有以下几个用于查找Postgres驱动程序的内容：下面是我在ipython我知道找到我下载的驱动程序是个错误，但是当我在.bash_prof
浏览 8提问于2017-10-24得票数 4
回答已采纳
3回答
我正在尝试使用jupyter notebook中的spark deep learning library()。当我尝试在jupyter notebook中“导入sparkdl”时，我得到了错误“找不到模块”。当我在cli中运行以下命令时我
浏览 0提问于2019-03-27得票数 2
2回答
我已经设置了一个码头容器，正在启动一个jupyter笔记本使用火花。为了能够访问S3文件系统，我已经将必要的jars集成到spark的目录中。我的Dockerfile：
RUN conda install -y --prefix /opt但是，每次我在jupyter中创建内核会话时，都需要手动设置Enviro
浏览 8提问于2022-05-08得票数 0
回答已采纳
我正在用一个脚本启动一个pyspark jupyter笔记本：ipaddres=...{#Spark path (based on your computer)
SPARK_PATH=/home/.../software/spark-2.3.1-b
浏览 0提问于2018-12-13得票数 0
我们在Openshift中使用Open Data Hub pods框架，其中我们有我们的jupyterhub和spark。 目标是使用spark读取一堆csv文件并将其加载到mysql中。我得到的错误是在这个踏步How to set up JDBC driver for MySQL in Jupyter notebook for pyspark?中提到的。一种解决方案是复制spark主节点中的jar文件。但是我不能以root用户的身份
浏览 29提问于2020-09-03得票数 1
当我试图从朱庇特笔记本中编写PySpark代码与雪花连接时，我遇到了一个错误。这是我遇到的错误：from pyspark.sql.types import *
spark= SparkSession
浏览 8提问于2020-06-25得票数 5
回答已采纳
如图所示，当我导入Spark包时，它给出了错误。请帮帮忙。当我将鼠标悬停在那里时，它显示"object apache is not a member of package org“。我搜索了这个错误，它显示spark jars没有被导入。所以，我也导入了"spark-assembly-1.4.1-hadoop2.2.0.jar“。但同样的error.Below是我真正想要运行的：
import org.apache.spark.SparkConf, SparkContext
浏览 0提问于2016-04-19得票数 3
我在我的机器中安装了gettyimages/spark docker映像和jupyter/pyspark-notebook。但是，由于gettyimage/spark python版本为3.5.3，而jupyter/pyspark-notebook python版本为3.7，因此出现以下错误：
例外情况: worker中的Python版本与驱动程序3.7中的
浏览 1提问于2019-08-16得票数 4
回答已采纳
在本例中，它是postgresql驱动程序。我的问题非常类似于。但是，我用的是码头写作而不是普通的码头。这里是所有火花笔记本图像的对接-撰写部分： spark: ports::spark-sql-kafka-0-10_2.12:3.1.1 --jars /usr/share/java/
浏览 9提问于2021-04-12得票数 2
1回答
当我在Ubuntu上的Jupyter Notebook中运行PySpark时，我有时会遇到Java失败的问题。我为什么需要这些日志的例子是，例如，我试图在DGX-1机器上的PySpark上运行Rapids，但它在初始化Spark Context时以类似abo的Java崩溃而结束。这不是导致这些错误的唯一原因，但这段代码很容易在我这边导致这些错误。import pysparkcudf = "cudf-0.17-cuda10-1.ja
浏览 7提问于2021-02-02得票数 0
我想寻求与巨蟒Jupyter笔记本相关的帮助。我想在Jupyter notebook中编写PySpark和SparkR，我遵循了在线教程，该教程教您如何将Apache Toree与Jupyter notebook一起安装。[I 15:24:50.529 NotebookApp] Creating new notebook in
[I 15:24:52.079 NotebookApp] Kernel started: 8cb4838c-2171-4672-96a4-b21
浏览 4提问于2017-03-20得票数 2
我正在努力将JAR中的类加载到我的Scala-Spark内核Jupyter笔记本中。BaggedPoint.scala
-rw-rw-r-- 1 hadoop hadoop 186719 Sep 11 21:36 isolation-forest_2.3.0_2.11-1.0.1.jar-rw-rw-r-- 1 hadoop hadoop 1482 Sep 11 21:36 isolation-forest_2.3.0_2.11-1.0.1-javadoc.
浏览 43提问于2020-09-12得票数 2
我对bluemix和Apache Spark都是新手。我只想使用IBM analytics for Apache Spark做一个小任务，我想使用Bluemix的虚拟传感器()创建一个虚拟传感器，并使用生成的数据作为spark流服务的输入，并根据输入数据进行一些分析
浏览 1提问于2015-11-28得票数 2
但是，我无法通过在内核文件中的以下位置使用PYTHONPATH变量在pySpark内核中导入包：导入时“没有命名为
浏览 9提问于2017-07-06得票数 1
回答已采纳
3回答
我正试图在python中使用12 SO的数据，为此我迫切需要使用Spark，但我想我太蠢了，不能单独使用命令行或使用internet，这就是为什么我不得不这样做的原因，Python还提供了Python。若要在Python解释器中交互地运行Spark，请使用 bin/pyspark，但在哪里可以这样做呢？请帮帮忙。注意:我在尝试安装某些东西时总是遇到问题，主要是因为我似乎无法理
浏览 6提问于2016-08-22得票数 3
cp graphframes-release-0.2.0/target/scala-2.11/graphframes-release-0-2-0-assembly-0.2.0-spark2.0.jar=notebook
pyspark --jars graphframes-release-0-2-0-assembly-0.2.0-spark2.0.jar 我尝试重复上面的命令，没有环境行，因为pys
浏览 30提问于2019-05-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
