我使用pyspark安装了pip3。Python3.7.0(缺省值，2018年6月28日，13:15:42) GCC 7.2.0 :：Anaconda，Inc. . on linux类型“帮助”、“版权”、“信用”或“许可”，以获取更多信息在木星笔记本上也发生了类似的事情，我必须做sudo jupyter notebook --allow-root来导入pyspark。然而，在没有sudo的情况下，导入像numpy这样的其他包也很好，这也是与pip3一起安装的。更新:我使用sudo pip3 instal
浏览 0提问于2018-11-10得票数 2
回答已采纳
2回答
我是PySpark的新手。我一直在用一个测试样本编写代码。一旦我在较大的文件(3 3gb压缩)上运行代码。我的代码只做了一些过滤和连接。我一直收到关于py4J的错误。from pyspark.sql import SparkSession .builder仍收到错误PySpark: java.lang.OutofMemoryError: Java heap space 半解决:这似乎是一个一般性的记忆
浏览 456提问于2019-02-06得票数 8
前几天我一直在尝试安装pyspark 2.3。但到目前为止，我只发现了3.0.1和2.4.7版本。实际上，我正在尝试运行一个用pyspark 2.3实现的代码，作为我项目的一部分。请给我必要的资源来安装pyspark 2.3，如果它可以安装以及共享。因为在3.0.1版本中实现该代码对我来说似乎很难。
浏览 1提问于2020-10-16得票数 0
这是我在使用了大量StackOverflow后的第一个问题，如果我给出的信息不准确或不完整，请纠正我Exception: Unablepip install py4j安装pyj4，它说我安装的时候已经安装</
浏览 1提问于2020-08-09得票数 9
1回答
我找不到OCRing图像在PySpark中的开源解决方案。我知道像pytesseract这样的解决方案是存在的，但不确定它们是否能很好地处理PySpark，因为tesseract-ocr需要安装在linux机器上。是否有任何开放源码的OCR解决方案可以很好地与PySpark兼容？
浏览 1提问于2022-02-22得票数 0
我正在使用Pyspark在Jupyter Notebook中运行一些命令，但它抛出了错误。，并尝试执行此处提供的解决方案(例如，将路径更改为C: Java，卸载Java SDK10并重新安装Java8，但仍然抛出相同的错误。我尝试卸载并重新安装pyspark，也尝试在anaconda提示符下运行，但仍然收到相同的错误。我使用的是Python3.7，pyspark版本是2.4.0。from pyspark import SparkContext
from pyspark.
浏览 418提问于2019-03-22得票数 10
Pyspark和python2.7对我来说很好。我安装了python 3.5.1 (从源代码安装)，当我在终端中运行pyspark时，我得到这个错误[GCC4.8.4] on linux
Type "help", "copyright", "credits" or "license" for more information.&#x
浏览 4提问于2016-04-25得票数 1
我设置了一个django项目，并在一个由两台linux机器和hdfs组成的集群上设置了spark。我将每个模型编写为django项目中的一个视图，视图的实现具有使用pyspark编写的代码。我使用pyspark创建了一个到linux集群上的spark设置的连接。import pandas as pdimport os
from pyspark.sql, Ind
浏览 115提问于2019-06-25得票数 0
我刚刚在ubuntu 16.04上安装了apache-spark 3.1.2。在安装和设置PATH、SPARK_HOME、PYSPARK_PYTHON环境变量后，当我尝试启动pyspark时，我得到以下错误： $ $SPARK_HOME/bin/pyspark[GCC 5.4.0 20160609] on linux
Type "help", "c
浏览 110提问于2021-08-10得票数 0
dataframe, Exception: Python in worker has different version 3.6 than that in driver 3.5, PySparkcannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON在我的月食中：PYSPA
浏览 0提问于2019-10-27得票数 0
我最近在Linux上安装了pyspark，在导入pyspark时得到错误： ModuleNotFoundError: No module named 'pyspark' Pyspark在我的“pip列表python/:$PYTHONPATHexport PYSPARK</em
浏览 670提问于2020-10-02得票数 2
我在EC2 Linux2中安装了Pyspark。 sudo python3 -m pip install pyspark 无法安装并出现错误。
浏览 7提问于2019-12-16得票数 0
1回答
我已经在集群中安装了Datastax Enterprise4.6，但是我不明白为什么pyspark抛出这个错误。scala接口工作得很好，但是python就不行了，有谁知道怎么解决这个问题吗？22 2014, 01:49:05)Type "help", "copyright", "credits<module> File
浏览 0提问于2015-01-13得票数 0
2回答
我已经安装了Scala和Spark，并且可以正常工作，但是PySpark不工作。下面是我得到的输出：Python 2.7.6 (default, Jun 22 2015, 17:58:13) Type "help", "copyright", "credits" or "license" for more information.
浏览 3提问于2016-04-18得票数 2
我的代码：Rows = df.select(col).rdd.map(make_array)
我知道我正在使用Python3.6的环境中工作。
浏览 2提问于2019-07-04得票数 2
回答已采纳
我刚刚在Linux中创建了一个新的AWS实例。而且，我在上面安装了pyspark。它有spark 1.6。dd/mm/YY HH:MM:SS INFO yarn.Client: Application report for application_XXXXXXXXXXX_XXXX如何打开pyspark外壳并启动我的应用程序，而不仅仅是ACCEPTED应用程
浏览 0提问于2017-03-18得票数 2
如果我想在Jupyter Notebook中运行PySpark，我会 1)在我的Linux终端运行"Jupyter Notebook“命令，在我的Google Chrome浏览器中打开一个笔记本 2)输入以下代码初始化PySpark from pyspark import SparkContext
sc = SparkContext("local", "First App") 3)运行sc.stop()退出Spark Context 然而，如果我在我的终端中运行Py
浏览 20提问于2019-10-18得票数 0
回答已采纳
我试图在我的朱庇特笔记本上运行PySpark，在没有连接到互联网的服务器上运行。我使用以下方法安装了PySpark和Java：conda install openjdk-8.0.332java -version的时候OpenJDK Runtime Environment (Zulu 8.62.0.19-CA-linux64)(bu
浏览 16提问于2022-08-11得票数 0
回答已采纳
1回答
火花中的环境变量
、、
我已经在集群模式下安装了hadoop，现在我已经安装了Spark。=/usr/bin/python2.7当我运行pyspark命令时，会发生以下情况：Type "help", "copyright", "credits" or "licen
浏览 8提问于2022-05-09得票数 0
我正在尝试在Mac上安装MLLib。在linux上，我只能通过这篇文章()来安装gfortran。我在我的Mac上安装了gfortran。但是，当我运行以下命令时：from pyspark.mllib.classification importBLAS: Failed to load implementation from: com.github.fommil.netlib.Native
浏览 1提问于2014-10-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
