0回答
我正在尝试使用存在于本地的pyspark读取一个文本文件，它告诉我该文件不存在：sc.sqlContext = SQLContext(sc)
input_data = sqlContext.read.text(inpath)
我得到了这个，当您在本地</e
浏览 11提问于2017-12-05得票数 0
环境：Conda 4.8.5试图读取英国上层地方当局边界到python环境的ESRI shapefile。尝试在命令行和PyCharm中使用相同的错误。Counties_and_Unitary_Authorities__December_2017__Boundaries_GB.shp: No such file or directory
浏览 4提问于2020-10-19得票数 2
3回答
火花加载文件:路径不存在
、、、、
我是星火的新手。我试图在EMR集群中读取本地csv文件。该文件位于: /home/hadoop/。:pyspark.sql.utils.AnalysisException
df = spark.read.csv(&#
浏览 13提问于2017-02-07得票数 21
回答已采纳
我正在尝试使用pip install安装pyspark，如下所示。但是我得到了以下错误。(python_virenv)edamame$ pip install pyspark Could not find a version that satisfiesthe requirement pyspark (from versions: )有谁知道
浏览 7提问于2016-07-16得票数 6
2回答
我正在将数据写入s3存储桶，并使用pyspark创建拼图文件。我的存储桶结构如下：子文件夹和表如果文件夹不存在，这两个文件夹应该在运行时创建，如果文件夹存在，拼图文件应该在文件夹表中。当我在本地机器上运行pyspark<
浏览 2提问于2020-12-03得票数 0
1回答
try:except Exception as ex:它的例外是'/abc‘不是增量表我想在找不到文件时执行特定的操作。有没有一个类已经可以单独捕获它了，比如FileNoTFoundException --它在这里似乎不起作用。
浏览 3提问于2021-04-21得票数 0
我在两台服务器上工作，其中一台服务器上的.pydistutils.cfg如下所示：install_data=~/opt_old/shareinstall_lib=~/usr/lib/python2.6/site-packages
我认为，在python的本地版本上使用pip和链接库会产生问题。<
浏览 2提问于2014-09-18得票数 11
回答已采纳
我尝试使用spark_session和sqlContext将本地文件加载为dataframe。df = spark_session.read...load(localpath) 环境: Windows10，spark 2.2.1我终于解决了这个问题。根本原
浏览 0提问于2018-11-28得票数 0
回答已采纳
我在电子病历上的Pyspark Notebook上工作，并使用toPandas()将pyspark数据帧转换为pandas数据帧。现在，我想使用以下代码将此数据帧保存到本地环境：但我一直收到权限错误：
[Errno 13] Permission
浏览 9提问于2020-06-25得票数 2
我正在尝试通过Pycharm访问在S3桶中可用的parquet文件，使用Pyspark。我在Pycharm中配置了AWS工具包，并且在我的~/.aws/credentials中添加了访问密钥和安全密钥，但是我看到凭据没有被访问。这会引发错误“无法从链中的任何提供程序加载AWS凭据”。import osfrom <
浏览 1提问于2020-09-04得票数 0
我已经使用Pyspark构建了一个决策树模型，并希望使用docker容器部署该模型。我使用的是spark 1.6.0。数据存储在Hive表中，并位于我的本地计算机中。有没有一种方法可以将PySpark从我的停靠容器连接到我本地计算机中的配置单元表？我的配置单元表中的数据可能会更新，所以我不想挂载驱动器，或者只是
浏览 7提问于2018-12-30得票数 0
2回答
初学者在这里提问从研究来看，我认为我需要使用方法。然而，在和中进行深入研究，我仍然有点困惑于参数需要采用什么格式，以及为什么
注意，我使用的是pyspark，这是ES的一个新表(不存在索引)，df是5列(2种字符串类型，2种长类型，1列ints)，包含大约
浏览 3提问于2017-10-16得票数 8
回答已采纳
在SO上有很多类似的问题，但我就是不能让它工作。很明显我漏掉了什么。 尝试从我的s3加载一个简单的测试csv文件。 就像下面这样，在本地做这件事是可行的。from pyspark.sql import SparkSession
logFile = "sparkexamplefile.csvlogData.val
浏览 46提问于2019-01-25得票数 3
我正在尝试通过hue web界面运行一些scala jar。提交作业时，它会失败，并显示以下错误：和完整的日志：
2017-
浏览 21提问于2017-08-24得票数 2
1回答
我试图在databricks之外使用来自DBUtils的pyspark.dbutils，它显示在本地复制文件时没有警告或错误，但是文件不在目标文件夹中。我可以用dbutils.fs.ls检查该文件是否存在于DBFS上，并且文件确实存在。
我的pyspark会话配置了databricks-connect，我可以用
浏览 14提问于2022-09-12得票数 2
我正在用Ruby编写一个程序，它需要在启动时从SVN下载我团队软件的最新版本。
我认为我想使用的是签出函数(来自Ruby绑定)，因为更新不会添加机器本地“主干”工作区中不存在的任何文件。签出语句将更新与HEAD不匹配的文件，并下载根本不存在的文件。实际上，在运行了一个完全递归的签出之后，我希望
浏览 3提问于2012-07-23得票数 0
回答已采纳
1回答
我使用的火花，并得到了这样一个错误，试图输入‘电火花’窗口命令提示符。我试着用本教程()在我的窗口上安装火花放电，并且完全按照所有的指令执行。Traceback (most recent call last): File "C:\Program Files\spark-3.2.1-bin-hadoop
浏览 22提问于2022-04-02得票数 2
也许这个问题很琐碎，但是我在从Pyspark的本地目录中读取csv时遇到了一些问题。我试过了from pyspark.sql import Row
from pyspark import SparkContext astextFile() must be called with SparkContext instance as first argument (got str instan
浏览 11提问于2017-11-28得票数 0
回答已采纳
2回答
我是新来的火花和学习它。有人能帮忙解决以下问题吗？所以我想spark.read.format().load()是数据的定义。在此基础上，我们应用转换和操作，加载是读取API，而不是转换，如果我没有错的话。我试图在l
浏览 1提问于2020-03-30得票数 1
回答已采纳
我已经在我的本地机器(Windows 10)上安装了火花，遵循以下指南：。在此之前，我得到了错误“java-网关-进程-退出-之前.”。在阅读了这个步骤："“之后，我安装了以下版本，并更改了没有空格的目录。Java存储在: C:\Java中，我在我的"Environment vairables: User变量for.=jupy
浏览 3提问于2022-02-24得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
