Scala有一个标志isLocal。如果这是true，那么我们知道Spark是在本地模式下运行的，否则它是在集群上运行的。有没有什么可以替代这个的？或者我们只是简单地检查sc.master
浏览 14提问于2021-03-09得票数 1
如何在运行在火花从上的执行器上设置python优化模式(用于解释器的-O param )？(显然，执行程序的Python解释器是使用以下行启动的在org/apache/spark/api/python/PythonWorkerFactor
浏览 10提问于2015-09-29得票数 2
回答已采纳
1回答
它没有显示名为'numpy‘的模块，但我已经在笔记本中安装并导入了它。$$anon$1.read(PythonRunner.scala:592) at org.apache.spark.api.python.PythonRDD$$a
浏览 118提问于2019-12-03得票数 0
我在python中运行一个Apache程序，我收到了一个错误，我无法理解，也无法开始调试。我有一个驱动程序，它在一个名为hound.py的文件中定义了一个名为hound的函数。在同一个目录中，我有一个名为hound_base.py的文件，它定义了一个名为hound_base_func的函数。这是可行的，我调用这个函数并传递一个。hound_base_func将其作为参数，对其底层的rdd进行一些工作，并调用rdd.collect()。
浏览 1提问于2018-06-14得票数 7
回答已采纳
1回答
我有一个简单的Spark Scala脚本，它读取一堆日志文件并返回一个RDD[Map[String, String]]rec.saveAsTextFile("/path/to/export.json");spark.rea
浏览 0提问于2017-03-29得票数 0
1回答
我试图用CDH在纱线上运行电火花，在这个生火的主程序中，有一条类似于rdd.pipe("XXX.sh")的语句，每次我运行它时，都会弹出一个被拒绝的错误，我该怎么办来解决这个错误呢？谢谢。_1495632173402_0079_01_000001/pyspark.zip/pyspark/rdd.py"，第715行中，在func“/usr/ line 64/python2.6
浏览 3提问于2017-05-25得票数 0
使用python3.6测试现有的代码，但是一些人不知道问题出在哪里，以前使用python2.7的udf是如何工作的。有没有人在本地或分布式环境中遇到类似的问题？$anon$1.read(PythonUDFRunner.scala:66) at org.apache.spark.api
浏览 4提问于2020-01-15得票数 1
我从一个数据集中计算每个id的值。这是我的数据集42,asdfasdf,10因此，我们的目标是拥有44个=> (35 + 22)和42个(10)from pyspark$$anon$3.read(PythonRunner.scala:638)
at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.
浏览 0提问于2021-03-03得票数 3
1回答
为了做到这一点，我用如下的基本小写操作进行了说明：这里的df是一个DataFrame，当我调用collect()操作时<init>(PythonRDD.scala:207)
at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:125<init>(PythonRDD.scala<
浏览 11提问于2017-07-07得票数 0
回答已采纳
2回答
我是火花的新手。在它的文档中，它说它可以在Scala或Python中使用。
一些博客说，火花依赖于scala (例如，)。因此，我想知道：scala是Spark的必修课吗？(由于依赖关系，我必须首先安装scala吗？)
浏览 2提问于2014-12-21得票数 6
$$anon$1.read(PythonRDD.scala:166) at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:125(RDD.scala:926)
at org.apache.spark.ap
浏览 3提问于2016-08-15得票数 0
回答已采纳
我有一个字典的RDD，我想得到一个只包含不同元素的RDD。但是，当我试图打电话给PySpark给出了以下错误 at org.apache.spark.api.python.PythonRunner
浏览 5提问于2016-02-19得票数 2
回答已采纳
<init>(PythonRDD.scala:234) at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala$.runJob(PythonRDD.scala
浏览 5提问于2016-08-22得票数 1
回答已采纳
我想要做的第一步是将prov文档对象存储到spark中。:703) at org.apache.spark.api.python.BasePythonRunner:703)
at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRun
浏览 3提问于2021-12-10得票数 0
回答已采纳
bin/pyspark --master yarn-client --num-executors 60，shell上的导入numpy很好，但是在kmeans中失败了。不知怎么的，执行者们没有安装过，这是我的感觉。我在任何地方都找不到好的解决办法，让工人们知道“无生气”的事。我试着设置PYSPARK_PYTHON，但这也不起作用。/pyspark/mllib/__init__.py",
浏览 7提问于2016-02-05得票数 19
回答已采纳
我没有找到名为"script“的模块。但是，当我修改map_add函数以替换在map.py中的reduceByKey中添加的调用时，如下所示： result = df.map(lambda x: (当脚本模块在测试目录中时，我无法理解为什么测试没有检测到它。<init>(PythonRDD.scala:207)
at org.apache.spark.api.python.Pyth
浏览 1提问于2016-01-11得票数 5
1回答
我听到一个常见的主题在运行，我只应该在Spark上使用Scala进行严肃的编程(1.5.1)。真正的超级用户使用Scala。据说Python对于分析是很好的，但是最终应该将代码写到Scala来完成。我听到的原因有很多：
Spark是用Scala编写的，因此总是比上面的任何其他语言实现都要快。与Python相比，Spark版本总是更倾向于为Scala提供更多的可见特性和启用功能。
浏览 1提问于2015-10-06得票数 1
2回答
我有一个python文件，提交给pyspark，在这个文件中我有：from pyspark import SparkContext, SparkConf16/01/31 21:45:57 INFO spark.CacheManager: Partition rdd_2_0 not<init>(PythonRDD.scala:207)
浏览 5提问于2016-01-31得票数 3
回答已采纳
1回答
在包含多个.py文件的PySpark项目中，有一个名为settings.py的文件来声明所有全局变量。def returnIfTrue(row): return row at org.apache.spark.api.python.Pyt
浏览 0提问于2016-04-06得票数 0
(PythonRunner.scala:298) at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRunner.scala:421)at org.apache.spark.api.python.PythonRDD$$an
浏览 0提问于2019-06-14得票数 3
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号