我正在尝试在pyspark中创建实现k-means聚类。我使用mnist作为我的数据集，它有数百列和整数值。在创建了一个数据框之后，当我尝试创建一个要在集群中使用的features列时，我不知道应该为VectorAssembler提供什么作为inputCols参数。下面是我的代码 sc = SparkConte
浏览 27提问于2019-03-04得票数 2
我需要创建一个使用conda-pack打包的Python环境，以便在Pyspark ()的归档配置选项中使用。我想要在其上运行Pyspark的集群不能访问Internet，因此我需要在我的本地计算机(Mac操作系统)上准备conda环境，并将其scp到在Redhat上运行的集群中。
浏览 14提问于2020-06-04得票数 0
回答已采纳
1回答
我有一个包含许多数据的列表，每一个都有一个主模式的子集模式。为了合并这些数据文件，我需要在所有数据文件之间构造一个公共模式。我的想法是，我需要为每个dataframes的所有缺失列创建空列。我平均有80个缺失的特征和100个数据。这在某种程度上是复制的，或者是受启发的from pyspark.s
浏览 2提问于2018-05-22得票数 1
回答已采纳
1回答
我在yarn集群上部署了pyspark应用程序，在所有节点都可以访问的挂载上部署了python venv。我遇到的问题是，节点上的python安装是不一致的，有些节点安装了必需的模块(这是python构建的一部分)，而其他节点则不安装，这会导致频繁的崩溃。我注意到，在使用python -m venv创建
浏览 23提问于2022-10-10得票数 0
我正试图让我的火花放电应用程序在纱线集群上运行。应用程序使用某些需要python3的库。然而，纱线集群使用python2，没有安装python3。是否有一种方法可以用python3和所有核心python3库来打包我的pyspark应用程序。
我一直遵循这些步骤来创建虚拟环境。我注意到venv/bin/
浏览 3提问于2020-02-12得票数 5
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。customerDf.withColumn("fullname",expr("concat(firstname,'|',lastname)"))有没有办法向现有的dataframe添加一个新的列我们只有一个选择(熊猫中的inplace=True)。我们在pyspark中有
浏览 4提问于2021-01-26得票数 0
3回答
我试图找出我在Databricks中使用的python版本。想知道我试过print(sys.version)然而，当我去集群-> SparkUI ->环境%sh python --version每个工作人员/驱动程序节点会有不同的pyt
浏览 2提问于2020-06-10得票数 5
回答已采纳
Livy继续使用Python2.7，不管使用什么。
这是在EMR集群上运行Livy 0.6.0。在hadoop用户、我的用户、根用户和EC2-用户中，我已经将PYSPARK_PYTHON环境变量更改为/usr/bin/python3。Livy一直在使用python2.7。test --url http:/&
浏览 6提问于2021-05-03得票数 2
2回答
我在EMR中添加了一个步骤来运行一个火花放电作业。然而，我最终得到了错误这让我怀疑EMR默认版本python2.7ami版本im使用的是5.25.0，这是相当新的，根据文档应该已经安装了3.6。我添加了shebang来提供可执行文件。
浏览 0提问于2019-09-09得票数 0
回答已采纳
我的公司正转向使用Hadoop & learning进行机器学习。我知道python在库中是非常全面的，但是当我们切换到pyspark时，如果我们需要的东西还没有在pyspark中可用呢？而且，继续使用python可能更容易一些，因为我已经知道了python.So：
我可以运行我的普通python代码的火花，但仍然得
浏览 4提问于2017-08-30得票数 0
2回答
当使用吡火花时，您可以在sc.textFile方法中设置减少的数量，这样您就可以更快地从S3中读取一个文件，就像解释的一样。这很好，但从Spark1.3开始，我们也可以开始使用DataFrames。对于星火DataFrames来说，这样的事情也可能发生吗？我正在尝试将它们从S3加载到一个星火集群(它是通过创建的)。基本上，我试图让这段代码对非常大的</em
浏览 5提问于2015-05-01得票数 0
回答已采纳
当我使用python3 t1.py运行以下名为t1.py的脚本时，我想了解在这个引擎盖下面发生了什么。具体来说，我有以下问题：
什么样的代码被提交到火花工作节点？是python代码还是提交给spark节点的等效Java代码？是还原中作为UDF处理的添加操作，因此运行在工作者节点上的python子进程中？如果添加操作运行在工人节点上的python子进程中</
浏览 0提问于2020-05-15得票数 9
回答已采纳
使用AWS EMR w/ Spark 2.4.3export PYSPARK_PYTHON=python3在火花壳中证实了这一点sc.pythonExec
pyth
浏览 2提问于2019-08-01得票数 4
回答已采纳
除了设置"zeppelin.pyspark.python“以使齐柏林飞艇解释器成为特定的Python可执行文件外，我还需要做什么？我正在使用连接到Spark+Mesos集群的Apache。集群几年来一直运转良好。齐柏林飞艇是新的，一般工作良好。
但是，我无法在应用于pyspark中的RDD的函数中导入numpy。当我使用
浏览 0提问于2017-03-16得票数 4
回答已采纳
当我在普通星火集群上运行，并且想要针对特定的虚拟环境运行一个pyspark脚本时，我可以创建虚拟环境，根据需要安装包，然后将环境压缩到一个文件中，比如venv.zip。"] = "VENV/bin/python"在script.py中，代码将针对虚拟环境运行，而spark将处理将虚拟环境提供给所有集群的操作。当我在dataproc上
浏览 4提问于2017-10-26得票数 1
回答已采纳
1回答
我发现是非常有希望的托管Airflow服务，但我不知道如何使用Composer使用PySpark代码执行管道。我能够安装其他Python软件包，例如Pandas，并使用Composer。任何指针都是非常感谢的。
浏览 1提问于2021-07-03得票数 1
回答已采纳
1回答
我试图发送一个完整的conda环境下的，在执行spark-submit时，在客户端模式中使用参数--archives来实现纱线。但是问题是，主要的python脚本在哪里运行，因为我需要指定我的共享conda环境的位置，以便在没有错误的情况下执行，因为在主机中，我试图退出spark-submit，我没有安装依赖项，而且我不想安装它我使用这个特性来打包环境，我需要导入
浏览 5提问于2019-10-29得票数 0
回答已采纳
1回答
我使用来自Django的PySpark，并使用SparkSession连接到火花主节点，以在集群上执行作业。
我的问题是，我是否需要在我的本地机器上安装完整的火花？所有文档都让我安装spark，然后将PySpark库添加到python中。我不认为我需要所有的5亿b来连接到一个现有的集群。我在试着减轻我的码头集装
浏览 1提问于2017-07-20得票数 1
回答已采纳
1回答
我需要更新我的python路径，以便可以在数据库上使用python3。在databricks notebook上： echo $PATH
然后，我运行： export PATH=/databricks
浏览 0提问于2019-12-20得票数 0
我有python脚本： print("hello " + line)def run(spark我可以在python脚本中访问星火会话吗？或者我可以在python脚本中创建一个文件并将其保存到hdfs文件系统中？实际上，这正是我想要做的-
浏览 1提问于2022-02-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
