jupyter notebook - Mac中pyspark的worker和driver版本差异错误
Jupyter Notebook是一个开源的交互式笔记本，可以用于数据分析、可视化和机器学习等任务。而pyspark是Apache Spark的Python API，用于在分布式计算环境中进行大规模数据处理和分析。
关于Mac中pyspark的worker和driver版本差异错误，这个错误通常是由于pyspark的worker和driver之间的版本不一致导致的。worker是Spark集群中负责执行任务的节点，而driver是负责协调任务执行的节点。
为了解决这个问题，可以尝试以下几个步骤：
- 确保pyspark的版本与Spark集群的版本匹配。可以通过查看Spark集群的版本号，并在Mac中安装相应版本的pyspark。
- 检查Spark集群的配置文件。在Spark的配置文件中，可以指定worker和driver的版本要求。确保配置文件中没有指定版本要求或者将其修改为适用于你的环境的版本。
- 更新pyspark的依赖库。有时候，pyspark的依赖库可能与Spark集群的版本不兼容。可以尝试更新pyspark的依赖库，以确保与Spark集群兼容。
- 检查网络连接。有时候，网络连接不稳定或者防火墙设置会导致worker和driver之间的通信出现问题。确保网络连接正常，并检查防火墙设置。
总结起来，解决Mac中pyspark的worker和driver版本差异错误的关键是确保pyspark的版本与Spark集群的版本匹配，并检查相关的配置和网络连接。如果问题仍然存在，可以参考腾讯云的Spark产品（https://cloud.tencent.com/product/spark）来获取更多关于Spark的信息和解决方案。
相关·内容
我尝试使用Jupyter Lab选项(内联)运行pyspark，如下所示。
PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.notebook_dir='/' --NotebookApp.port=4444" $SPARK_HOME/bin/pyspark
这种方法的灵感来自于。但是，当执行该命令时，将从/root提供notebooks目录，并且端口仍为8888。
我还将执行封装在一个作为的.sh (外壳)文件中。
#!/bin/b
浏览 22提问于2019-11-06得票数 1
我使用以下命令创建dataproc集群
gcloud dataproc clusters create datascience \
--initialization-actions \
gs://dataproc-initialization-actions/jupyter/jupyter.sh \
然而，当我提交我的PySpark作业时，我得到了以下错误
例外情况: worker中的Python版本与驱动程序3.7中的版本不同，PySpark无法运行不同的次要versions.Please检查环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON。
浏览 0提问于2018-07-19得票数 7
回答已采纳
4回答
我正在尝试将这个tuto应用到我的ubuntu中，这就是我所做的： 1-安装spark 2.2....(pyspark)+ java(1.8) + anaconda (Python2.7) 2-编辑.bachrc (添加2行)： export PYSPARK_DRIVER_PYTHON=jupyter export PYSPARK_DRIVER_PYTHON_OPTS="notebook" 3-lanch Pyspark：$sudo Pyspark它工作得很好 4-lanch jupyter：$sudo jupyther notebook它工作正常 当我用Jupyter no
浏览 120提问于2017-11-10得票数 3
回答已采纳
我想部署一个服务，这将允许我使用火花和MongoDB在木星笔记本。
我使用坞-撰写来建立服务，它如下：
version: "3.3"
volumes:
shared-workspace:
networks:
spark-net:
driver: bridge
services:
spark-master:
image: uqteaching/cloudcomputing:spark-master-v1
container_name: spark-master
networks:
-
浏览 5提问于2022-10-20得票数 0
我在我的OS上预先安装了Spark和Hadoop，并将PySpark与Jupyter Notebook集成在一起。基本上我在Jupyter Notebook弹出的终端中输入"pyspark“。一切都很好。
但是当我用下面的命令使用spark-sumit时：
spark-submit --master local[*] --total-executor-cores 1 --driver-memory 2g server.py
我得到一个错误：
jupyter: '/Users/XXX/some_path/server.py' is not a Jupyter comman
浏览 13提问于2017-02-16得票数 0
回答已采纳
我在我的机器中安装了gettyimages/spark docker映像和jupyter/pyspark-notebook。
但是，由于gettyimage/spark python版本为3.5.3，而jupyter/pyspark-notebook python版本为3.7，因此出现以下错误：
例外情况: worker中的Python版本与驱动程序3.7中的版本不同，PySpark无法运行不同的次要versions.Please检查环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON。
因此，我尝试升级gettyimage/spark映像的python版本
浏览 1提问于2019-08-16得票数 4
回答已采纳
我正在参加一个使用Jupyter笔记本的Apache PySpark在线课程。为了轻松打开Jupyter笔记本，他们让我在我的bash配置文件中输入以下代码行(我使用的是MAC OS)： export SPARK_HOME="(INSERTED MY SPARK DIRECTORY)"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' 我对Linux不是很熟悉，课程也没有解释这些代
浏览 9提问于2019-10-04得票数 0
我更喜欢使用ipython增强型REPL而不是python，因此我在pyspark命令行中这样指定：
结果：jupyter notebook推出(令人惊讶)：
PYSPARK_DRIVER_PYTHON=ipython MASTER="local[*]" $SPARK_HOME/bin/pyspark
这种方法已经成功了好几年，但目前它正在导致jupyter notebook的推出。
如果还存在显式命令notebook，则该结果将是有意义的：
结果：jupyter notebook启动(预期)：
PYSPARK_DRIVER_PYTHON=ipython notebook
浏览 0提问于2018-07-21得票数 1
回答已采纳
我已经在我的机器上安装了Anaconda(Python2.7版本)，并用"PYSPARK_DRIVER_PYTHON=jupyter“和PYSPARK_DRIVER_PYTHON_OPTS=" notebook”启动了jupyter笔记本，我正在连接到jupyter notebook，但也无法运行“打印”命令。当我运行该命令时，它将转到下一行，但没有显示输出，打印也没有以颜色突出显示。
我已经安装了pyspark并在我的windows机器(独立模式)的命令提示符中运行，它的工作fine.....but我需要在jupyter notebook(windows)中运行。有人能帮我吗
浏览 1提问于2017-04-04得票数 1
我需要在Jupyter notebook上运行pyspark。(我使用Windows 10) 我在Anaconda Prompt中尝试了一下： pip install spark
pip install pyspark
SET PYSPARK_DRIVER_PYTHON=jupyter
SET PYSPARK_DRIVER_OPTS='notebook'
pyspark 并返回此错误： Traceback (most recent call last):
File "C:\Users\User\Anaconda3\Scripts\jupyter-script.py
浏览 36提问于2020-09-05得票数 0
回答已采纳
我们知道一个系统有两个Python：
1个system's python
/usr/bin/python
2个user's python
~/anaconda3/envs/Python3.6/bin/python3
现在我有了一个集群，其中包括我的台式机(主)和笔记本电脑(从)。
如果我这样设置，对于不同的PysparkShell模式都可以：
export PYSPARK_PYTHON=~/anaconda3/envs/Python3.6/bin/python3
两个节点的~/.bashrc的export PYSPARK_DRIVER_PYTHON=~/anaconda3/en
浏览 2提问于2020-07-29得票数 0
我正在尝试在我的桌面上设置pyspark，并通过终端与其交互。我跟着这本指南走， http://jmedium.com/pyspark-in-python/ 当我在终端中运行'pyspark‘时， /home/jacob/spark-2.1.0-bin-hadoop2.7/bin/pyspark: line 45: python:
command not found
env: ‘python’: No such file or directory 我遵循了几个指南，它们都导致了这个相同的问题(有些指南在设置.profile时有不同的细节。到目前为止，没有一个是正确工作的)。我安装了j
浏览 397提问于2018-09-06得票数 7
回答已采纳
在pyspark中配置jupyter notebook时，它有一些错误:在.bashrc文件中：
export PATH="/root/anaconda3/bin:$PATH"
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=my ip"
当我输入pyspark时，它显示[C 13:51:52.029 NotebookApp] Running as root is not recommended. Use --allow-root to b
浏览 2提问于2017-06-25得票数 0
我在本地设置和使用pyspark时遇到了困难。 我有一个与jupyter笔记本相关联的conda环境。下面是我通过终端安装pyspark后在终端中输入的内容。 pip install pyspark
pip install findspark
which python3.6
export PYSPARK_DRIVER_PYTHON= #results from 'which python3.6'
export PYSPARK_PYTHON=#results from 'which python3.6'
python --version
# result:
浏览 117提问于2020-09-22得票数 0
我正尝试在spark cluster (v2.0)上远程使用jupyter-notebook (v4.2.2)，但当我运行以下命令时，它不会在spark上运行，而只在本地运行：
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port=7777" pyspark --master spark://**spark_master_hostname**:7077
当我单独使用相同的--master argument运行pyspark时，spark集群的进程在"R
浏览 5提问于2016-09-16得票数 8
我已经按照说明集成了pyspark和jupyter，但完成之后，我只能在命令提示符下运行pyspark。
基本上，当我在命令中使用ipython时，它是工作的，但当我更改为jupyter时，它会说
'"Jupyter "' is not recognized as an internal or external command,
operable program or batch file.
所以现在我真的很累了，请帮帮我
注意:我按照教程进行了集成。
到目前为止，我一直遵循以下命令：
set PYSPARK_DRIVER_PYTHON=ipython
浏览 8提问于2016-08-23得票数 1
回答已采纳
完成以下配置后，我在Ipython Notebook中运行pyspark
export PYSPARK_DRIVER_PYTHON=/usr/local/bin/jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook--NotebookApp.open_browser=False --NotebookApp.ip='*' --NotebookApp.port=8880"
export PYSPARK_PYTHON=/usr/bin/python
我有一个自定义的udf函数，它利用了一个名为mzgeohash的模块。
浏览 3提问于2017-02-10得票数 0
我使用的是jupyter的pyspark和graphframes。我能够成功地导入pyspark和graphframes，但当我尝试时： from graphframes.lib import Pregel 我得到以下错误： ImportError: cannot import name 'Pregel' from 'graphframes.lib' 这篇文章是我如何在没有graphframes.lib的情况下让graphframes工作的： https://github.com/graphframes/graphframes/issues/104 wget
浏览 30提问于2019-05-30得票数 1
回答已采纳
3回答
我试着通过终端机运行火星雨。从我的终端，我运行snotebook，它将自动加载木星。在此之后，当我选择python3时，错误就来自终端。
处理PYTHONSTARTUP文件/Users/simon/spark-1.6.0-bin-hadoop2.6/python/pyspark/shell.py中的IPKernelApp警告
这是我的.bash_profile设置：
export PATH="/Users/simon/anaconda/bin:$PATH"
export SPARK_HOME=~/spark-1.6.0-bin-hadoop2.6
export PA
浏览 10提问于2017-10-04得票数 2
我希望在我的Windows10机器上安装PySpark，但一直无法正确指定PYSPARK_SUBMIT_ARGS参数。 这是我从gitbash运行"pyspark“命令时看到的错误： $ pyspark
set PYSPARK_SUBMIT_ARGS="--name" "PySparkShell" "pyspark-shell" && jupyter notebook 我已经卸载了除版本8以外的所有版本的Java。在我的.bashrc文件中，我的路径当前指定为： export JAVA_HOME="C:\PROG
浏览 63提问于2020-09-28得票数 1
回答已采纳
我的Mac上安装了Pyspark。当我试图从命令行运行Pyspark时，我得到了这个错误。 我正在使用自制软件安装Pyspark，并遵循本博客(https://medium.com/@roshinijohri/spark-with-jupyter-notebook-on-macos-2-0-0-and-higher-c61b971b5007)中的说明。当我开始在shell中运行Pyspark时，我得到了以下错误。 Python 3.7.1 (default, Dec 14 2018, 13:28:58)
[Clang 4.0.1 (tags/RELEASE_401/fina
浏览 215提问于2019-04-21得票数 9
我正在Linux上的木星笔记本上运行Python脚本。
代码并不重要，但在这里(它是图形框架的教程)：
import pandas
import pyspark
from functools import reduce
from graphframes import *
from IPython.display import display, HTML
from pyspark.context import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.functions import col, lit, w
浏览 1提问于2019-10-25得票数 1
回答已采纳
我正在用一个脚本启动一个pyspark jupyter笔记本：
#!/bin/bash
ipaddres=...
echo "Start notebook server at IP address $ipaddress"
function snotebook ()
{
#Spark path (based on your computer)
SPARK_PATH=/home/.../software/spark-2.3.1-bin-hadoop2.7
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_
浏览 0提问于2018-12-13得票数 0
我下载了:spark 2.2.0-bin-hadoop2.7
在我的~/.bash_profile中，我有以下内容：
export PATH="/Users/spandan.chakraborty/anaconda/bin:$PATH"
export SPARK_PATH=~/spark-2.2.0-bin-hadoop2.7
export PYSPARK_DRIVER_PYTHON='jupyter'
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
alias snote='$SPARK
浏览 2提问于2017-10-16得票数 0
我正在尝试遵循Apache Spark文档站点上的示例：
我启动了一个Spark独立集群，并希望运行示例Python应用程序。我在我的spark-2.0.0-bin-hadoop2.7目录中，运行以下命令
./bin/spark-submit \
--master spark://207.184.161.138:7077 \
examples/src/main/python/pi.py \
1000
但是，我得到了这个错误
jupyter: '/Users/MyName/spark-2.0.0-bin- \
hadoop2.7/examples/src/main/python/pi.p
浏览 1提问于2016-09-03得票数 0
这是在jupyter笔记本上运行的pyspark代码。
import pyspark
from delta import *
builder = pyspark.sql.SparkSession.builder.appName("MyApp") \
.config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
.config("spark.sql.catalog.spark_catalog",
浏览 11提问于2022-01-17得票数 3
我是Pyspark的新手。我在ubuntu上安装了"bash Anaconda2-4.0.0-Linux-x86_64.sh“。还安装了pyspark。在终端中一切工作正常。我想在jupyter上工作。当我在我的ubuntu终端中创建配置文件时，如下所示：
wanderer@wanderer-VirtualBox:~$ ipython profile create pyspark
[ProfileCreate] Generating default config file: u'/home/wanderer/.ipython/profile_pyspark/ipython_co
浏览 0提问于2016-04-24得票数 3
[I 10:43:53.627 NotebookApp] 启动notebooks 在本地路径: /opt/soft/recommender/jupyter
[I 10:43:53.627 NotebookApp] 本程序运行在: http://10.48.204.120:8888/
[I 10:43:53.627 NotebookApp] 使用control-c停止此服务器并关闭所有内核(两次跳过确认).
[W 10:43:53.628 NotebookApp] 没有找到web浏览器: could not locate runnable browser.
[I 10:44:11.697
浏览 12提问于2018-10-10得票数 2
我已经将我的.bash_profile配置如下。如果我在这里有什么遗漏，请告诉我。我得到了
没有模块名为火花放电
# added by Anaconda3 5.2.0 installer
export PATH=/Users/pkumar5/anaconda3/bin:$PATH
export JAVA_HOME=/Library/Java/Home
# spark configuration
export SPARK_PATH=~/spark-2.3.2-bin-hadoop2.7
export PYSPARK_DRIVER_PYTHON="jupyter"
ex
浏览 1提问于2018-12-27得票数 4
如果我想在Jupyter Notebook中运行PySpark，我会 1)在我的Linux终端运行"Jupyter Notebook“命令，在我的Google Chrome浏览器中打开一个笔记本 2)输入以下代码初始化PySpark from pyspark import SparkContext
sc = SparkContext("local", "First App") 3)运行sc.stop()退出Spark Context 然而，如果我在我的终端中运行PySpark，我只需要运行命令pyspark，我可以跳过上面的步骤#2。 我的问题： A)
浏览 20提问于2019-10-18得票数 0
回答已采纳
我已经安装了spark发行版：spark-2.2.0-bin-hadoop2.7。
我使用的是Windows 10 OS
我的java版1.8.0_144
我设置了我的环境变量：
SPARK_HOME D:\spark-2.2.0-bin-hadoop2.7
HADOOP_HOME D:\Hadoop ( where I put bin\winutils.exe )
PYSPARK_DRIVER_PYTHON ipython
PYSPARK_DRIVER_PYTHON_OPTS notebook
路径为D:\spark-2.2.0-bin-hadoop2.7\bin
当我从命令行启动py
浏览 1提问于2017-11-18得票数 3
我得到了这个错误：
[FATAL tini (9)] exec /usr/local/spark-2.3.1-bin-hadoop2.7/bin/pyspark failed: No such file or directory
在终端中运行以下命令时：
docker run -it --rm -p 4040:4040 \
jupyter/pyspark-notebook \
/usr/local/spark-2.3.1-bin-hadoop2.7/bin/pyspark
浏览 0提问于2018-12-28得票数 0
我下载了anaconda3，spark1.6.1，java，git等等.
我建立了这样的环境
$ nano .bashrc
export PATH="/home/moon/anaconda3/bin:$PATH"
export SCALA_HOME=/usr/local/src/scala/scala-2.12.1
export PATH=$SCALA_HOME/bin:$PATH
export SPARK_PATH=~/spark-1.6.1-bin-hadoop2.6
export PATH=$SPARK_PATH/bin:$PATH
export ANACO
浏览 2提问于2017-03-17得票数 1
我在MacBook上的集群上运行Python3代码。
当我运行时：
spark = SparkSession.builder \
.master("local") \
.appName("Word Count") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
spark.createDataFrame(df_data) # df_data is a pandas dataframe,
我收到错误：
Exception: P
浏览 0提问于2019-10-27得票数 0
2回答
我试图在mac上本地设置一个独立的spark实例，并使用Python3API。为此，我完成了以下操作: 1.下载并安装了Scala和Spark。2.我设置了以下环境变量，
#Scala
export SCALA_HOME=$HOME/scala/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin
#Spark
export SPARK_HOME=$HOME/spark/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
#Jupyter Python
export PYSPARK_
浏览 1提问于2018-02-07得票数 0
回答已采纳
我正在使用YARN设置Spark集群，其中Jupyterhub在主节点上运行。我已经使用conda在所有节点上安装了python2和3，我希望用户能够指定他们使用哪个版本的python执行代码。这是必要的，因为Python UDF中使用的一些库还不支持Python 3。 我已经创建了内核配置文件 {
"argv": [
"python",
"-m",
"ipykernel_launcher",
"-f",
"{conn
浏览 14提问于2019-04-13得票数 0
回答已采纳
将外部包(jars)包含在火花放电外壳中的正确方法是什么？
我用的是jupyter笔记本上的电火花。
我想通过spark-sql-kafka库从卡夫卡中通过火花阅读，如下所述：。
我试图通过环境变量PYSPARK_SUBMIT_ARGS中设置的PYSPARK_SUBMIT_ARGS选项导入库。
但
我不确定要使用的软件包的确切版本和名称，
我不知道我是否也需要包括火花流，是否需要用--repositories指定某个存储库，
我不知道下载jar并指定本地路径是否更好(它们必须在jupyter运行的机器上，还是在纱线运行的机器上？)我正在使用--master yarn和--deplo
浏览 0提问于2019-12-11得票数 0
2回答
在尝试设置和运行pyspark时，我得到以下错误：
tom@tom-OptiPlex-3060:~$ pyspark
Could not find valid SPARK_HOME while searching ['/home', '/home/tom/.local/bin']
/home/tom/.local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/home/tom/.local/bin/pyspark: line 77: /bin/spark-subm
浏览 0提问于2019-04-08得票数 1
回答已采纳
我正在选修一门机器学习课程，并试图安装火花放电来完成一些课堂作业。我从这个中下载了pyspark，将其解压缩并放在我的主目录中，并将以下行添加到.bash_profile中。
export SPARK_PATH=~/spark-3.3.0-bin-hadoop2.6
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
但是，当我尝试运行命令时：
pyspark
要启动会话，我会得到以下错误：
-bash: pyspark: command n
浏览 20提问于2022-09-12得票数 0
我对木星和巨蟒的了解是有限的。你读完这个问题后就能感觉到了。我有两套服务器:一组运行星体独立集群的服务器和一台运行木星笔记本的服务器。
我在服务器上安装了两次木星命令：
pip2 install jupyter
pip3 install jupyter
安装之后，我设置了以下环境：
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=./ --ip=* --no-browser"
然后，我用以下命令使用木星连接到星体独立的集群：
./bin
浏览 4提问于2017-06-02得票数 0
回答已采纳
我正尝试在Mac电脑上的Python3Jupyter Notebook (OSX High Sierra 10.13.6)中使用Pandas，但在运行import pandas as pd时出现以下错误 ModuleNotFoundError:没有名为“pandas”的模块 我在Numpy和其他Python包中也遇到了同样的问题。 当我在同一系统上的Python2Jupyter Notebook中尝试同样的事情时，不会出现这个问题。 请参阅下面的屏幕截图链接： Jupyter Notebook Python 3 Import Pandas Error Jupyter Notebook Pyt
浏览 16提问于2019-04-21得票数 1
回答已采纳
这样做的目的是为了实现以下目标
jupyter-notebook --kernel-options="--mem 1024m --cpus 4"
其中kernel-options将被转发到pyspark或spark内核。
我们需要它来运行不同的jupyter服务器--一个用于pyspark内核，另一个用于同一台机器上的spark (in scala)内核。这是一个要求，因为单个jupyter服务器不支持同时运行的pyspark和(scala) spark内核。
浏览 26提问于2017-01-17得票数 2
回答已采纳
我在集群的一个节点上使用带有Pyspark内核的Jupyter Notebook，问题是我的/tmp文件夹总是满的。我已经更新了参数：
SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=172800"
问题是这个文件夹只有200 is，当我在Jupyter中关闭内核时，有没有一种方法可以说是引发清理呢？或者，我是否应该将Dspark.worker.cleanup.appDataTtl设置为30分钟，以便每隔30分钟删除所有临时文件/日志？
浏览 0提问于2018-04-20得票数 3
我有一个项目，它使用java，scala和Apache Spark对基因组数据进行分布式计算。使用py4j并模仿PySpark模型，我们公开了一个调用到JVM的python API。我们的目标是将这种模式引入jupyter笔记本，到目前为止，这很容易，但有一个挥之不去的问题:日志。
问题所在
我们(和Spark)使用log4j将日志消息写入日志文件和stderr。这个stderr是java进程的stderr，所以如果我从jupyter notebook运行两个命令：
print('foo')
info('bar') # calls log4j logger.i
浏览 4提问于2017-01-27得票数 1
1回答
无法找到本地文件
、、
我已经编写了一个非常简单的python脚本来测试我的星火流想法，并计划在我的本地机器上运行它，让它变得有点混乱。下面是命令行：
spark-submit spark_streaming.py localhost 9999
但是终端机给了我一个错误：
Error executing Jupyter command '<the/spark_streaming.py/file/path>': [Errno 2] No such file or directory
我不知道为什么会发生这种情况，而且我确信.py文件确实存在。
编辑:使用python而不是spark-subm
浏览 2提问于2017-10-16得票数 1
我是朱庇特笔记本的新手。我主要是在Python类中使用它。我通过Anaconda安装了朱庇特笔记本。所以，为了打开木星笔记本，我每次都要打开巨蟒导航器。在MacOS中有什么方法可以绕过这一点，直接打开笔记本吗？我尝试用以下代码制作一个终端shell脚本
/Users/utkarsharyan/opt/anaconda3/pkgs/notebook-6.4.2-py38hecd8cb5_0/bin/jupyter_mac.command ; exit;
但它给出了这个错误
(base) utkarsharyan@Utkarshs-MacBook-Air ~ % /Users/utkarshary
浏览 6提问于2021-08-31得票数 0
1回答
我是个初学者。当我使用基本代码运行木星笔记本时，它显示了如下错误：
NameErr Traceback (most recencall last)
<ipython-input-1-67f48183a30b> in <module>()
----> 1 sc.master
NameError: name 'sc' is not defined
我使用以下命令行以Yarn模式输入：
tigerfish@master:~/桌面$ PYSPARK_DRIVER_PYTHON=ipython PYSPAR
浏览 4提问于2022-03-09得票数 0
我目前正在使用Spark 1.6.1，并在Jupyter Ipython笔记本和Java 8中使用它。对于Java，我只需修改我的maven pom以导入Spark 2.0，但我不确定如何在ipython中做同样的事情。我认为我需要安装2.0，但这是可行的，因为我已经安装了Spark 1.6.1？我可以在我的macbook上同时使用两个版本，并从pyspark中选择使用哪个版本吗？多么?
更新:这是我在终端% IPYTHON_OPTS="notebook" pyspark上启动我的Jupyter pyspark笔记本=>的方式。我如何告诉它使用Spark 2.0启动？
浏览 2提问于2016-09-22得票数 0
3回答
将木星笔记本与火花连接起来
、、、、
我有一台装有Hadoop和Spark的机器。下面是我目前的环境。
python3.6
spark1.5.2
Hadoop 2.7.1.2.3.6.0-3796
我试图连接jupyter笔记本，通过构建ipython内核来连接。
编写了2个新文件。
/root/.ipython/profile_pyspark/ipython_notebook_config.py
/root/.ipython/profile_pyspark/startup/00-pyspark-setup.py
/root/anaconda3/share/jupyter/kernels/pyspark/kernel.
浏览 7提问于2017-04-26得票数 2
也许这根本不起作用，因为它是一台Mac，但也许有一种方法可以在Mac上打开jupyter笔记本？我尝试了以下命令
jupyter notebook Manager.ipynb
我得到了一个错误
Error executing Jupyter command 'notebook': [Errno 2] No such file or directory. Same with out 'notebook':
jupyter Manager.ipynb
Error executing Jupyter command 'Manager.ipynb'
浏览 0提问于2017-10-06得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
