我在MacPro上运行jupyter notebook中的pyspark import findspark import SparkContext3,2)]) B=A.groupByKey().map(lambda k,t:(k,[x for x in t])) 在上面的代码中一切都很顺利 但 B.collect() 我得到的错误如下----------------------------------------------------------
浏览 312提问于2020-01-10得票数 0
因此，我有一个PySpark程序，它可以很好地运行以下命令：python sparkyness.pyimport findspark
findspar
浏览 1提问于2018-02-01得票数 2
回答已采纳
我正在尝试用pyspark查询一个Elasticsearch索引，但没有成功：Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.newAPIHadoopRDD的python列表转换为Java string时出现了问题。我尝试使用一个只包含elasticsearch主节点地址(“xx.aa”)的字符串，但得到另一个错误：
Py4J
浏览 2提问于2017-01-23得票数 0
我有一个由180米行和4列组成的熊猫数据集(全部是整数)。我把它保存为一个泡菜文件，文件是5.8GB。我正在尝试使用spark_X = spark.createDataFrame(X)将熊猫数据转换为pyspark，但是仍然会出现一个“内存不足”错误。错误片段是
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.readRDDFromFile. : java.lan
浏览 1提问于2022-08-12得票数 0
回答已采纳
0][2] + b[0][2], a[1] + b[1]))\我的问题是，我尝试了该代码，并且它在其他PC上运行良好，与我用来开发它的MV相同(PySpark Py3)
但我不知道为什么会出现这个错误，重要的是在Strong中Py4JJavaError回溯(最近一次调
浏览 0提问于2018-03-07得票数 1
回答已采纳
我一直在使用LabeledPoint解决分类问题，并创建了一个RDD和map，但当我尝试添加pyspark时，我得到了错误信息
Py4JJavaError: An error occurred whilecalling z:org.apache.spark.api.python.PythonRDD.runJob.transformedData = transformedData.map(lambda row: LabeledPoint(row[0],[row[1]])
浏览 0提问于2016-11-08得票数 0
1回答
通过按名称传递变量的求值
、、、
我正在学习参数传递。我在互联网上搜索，但没有参数表达式的例子。问题如下。:= c + 1; end begin int y := 5; fun
浏览 3提问于2019-11-23得票数 0
作为从Azure数据库迁移到Azure Synapse分析笔记本的一部分，我面临下面解释的问题。这样做的是，它删除路径"csvFilePath“处的现有文件，失败时出现了错误，"<e
浏览 4提问于2022-05-20得票数 0
1回答
我正在尝试使用regex删除标记化文本中的标点符号。我用的是spark数据帧。这是我的函数： def removePunctuation(column):
return trim(lower(regexp_replace(column,'[^\sa-zA-Z0-9]',''))).alias('stopped') 当我通过以下方式执行此函数时： removed_df.select(removePunctuation(col('
浏览 100提问于2019-09-21得票数 2
回答已采纳
1回答
在蓝光星火中，我想使用HiveContext//some code我得到跟随错误
Py4JJavaError:调用o45.parquet时出错。
浏览 3提问于2015-12-21得票数 1
回答已采纳
我有一个NSTimer对象。target:self selector:@selector(timerAction) userInfo:nil repeats:YES];当从viewDidLoad方法调用timer时，方法'timerAction‘完全重复，但当我从parserDidEndDocument调用timer时，方法'timerAction’只运行一次。
浏览 1提问于2011-02-11得票数 1
回答已采纳
2回答
我不知道该怎么简单...我也希望有人看着我的代码，告诉我为什么我的一个函数不能正常工作…… class PriorityQueue(object):
'''A class that containsqueue.minimum和queue.removeMin()的调用。我完全被弄糊涂了，因为如果我在shell中手动操作，它完全可以工作，当我读取文件并从文件中的字母中获取指令
浏览 0提问于2012-09-24得票数 0
回答已采纳
我正在探索通过PySpark进行流传输的火花，并在尝试将transform函数与take一起使用时出错。我可以通过sortBy和DStream的结果来成功地对DStream使用transform和pprint。top_five = author_counts_sorted_dstream.transform\top_five.pprint()
Py4JJavaError:调用o25时出现了一个错误。_jrdd第67
浏览 2提问于2017-01-05得票数 4
回答已采纳
我有这个错误的电火花(亚马逊EMR)，我的文件是大约2G。我怎样才能改变分配？在试图增加集群的规模时，在某些阶段，我仍然存在问题。：调用Py4JJavaError时出错：java.lang.IllegalArgumentException:必需的执行器内存(8192)、开销(1536 MB)和PySpark内存(0 MB)超过了这个集群的最大阈值
浏览 0提问于2019-07-25得票数 1
我运行的应用程序通常每2小时触发一次繁重的更新，通过使用cron机制将繁重的任务排入队列。这几个月来一直运行得很好。然而，在2012年12月16日，这个url在15:17到15:51之间每隔几秒钟就会被用户代理AppEngine-Google调用一次，从而启动了数百个繁重的任务。这导致我的配额爆炸式增长，并迫使我切换到付费版本的应用程序，以使我的网站保持活力。
有谁有同样的问题吗？你知道发生了什么吗，以及我将来如何避
浏览 0提问于2012-12-17得票数 0
我在DSX中使用elasticsearch和jupyter python笔记本。当我将dataframe写入对象存储时，会得到一个错误：
Py4JJavaError:调用o96.save时出错。
浏览 4提问于2017-04-03得票数 0
回答已采纳
我试图使用星火，更具体地说，PySpark和结构化流从卡夫卡消费。\ .start()Py4JJavaError:调用o70时</
浏览 0提问于2018-04-26得票数 1
回答已采纳
当我使用pyspark从我的计算机读取数据(DAT文件-4 Gb)时，一切正常，但当我使用pyspark从本地计算机(我公司的其他计算机通过LAN连接)读取数据时，出现以下错误： '‘Py4JJavaError:调用o304.csv时出错。pyspark有问题)。我用来读取计算机中数据的代码(没有问题)： from pyspark.sql import SparkSession
spar
浏览 26提问于2020-10-28得票数 0
1回答
我有一段Python代码，已经使用了大约一年，没有任何问题(它读取、解压缩/解包数据，选择一个窗口并使用Numpy/Matplotplib绘制它)。我们最近得到了一台新机器，它以64位编码格式存储数据，而不是32位编码，而这不应该是一个真正的问题。我重写了几行代码来处理这个问题(下面包含了两个感兴趣的函数)，但是我一直收到一个错误，我不太明白。在错误测试用例中，x和y的长度分别为set行后的18和20，而在工作测试用例中，x和y分别
浏览 1提问于2013-07-30得票数 1
2回答
我在AWS上运行一个带有星火集群的EMR。火花版本为1.6proxy = sqlContext.read.load("/user/zeppelin/ProxyRaw.csv",：
Py4JJavaError:调用o162.load时出错。org.apache.spark.sql.execution.datasources.ResolvedDataSource$.lookupDataSource(ResolvedDat
浏览 4提问于2016-11-03得票数 2
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号