让我们说，我们有一个火花作业运行在集群模式，其中集群管理器是纱线。
集群模式
用户向集群管理器提交一个预编译的JAR、Python .集群管理器告诉特定的节点管理器启动应用程序母版。是火花驱动程序，然后在应用程序母版上运行。驱动程序将包含转换和操作的用户代码转换为一个名为DAG的逻辑计划。然后将DAG转换为物理执行计划应用程序主程序，然后与集群管理器通信并协商资源。请求资源(如首选执行器位置和容器数量)。
此时，集群管理器是分配纱线容器还是应用程序主服务器分配纱线容器？集群管理器是否也会创建火花执行器，或者应用程序主程序是否会这样做？
浏览 0提问于2020-05-31得票数 0
回答已采纳
1回答
我希望在集群计算系统上运行我的Python程序。由于集群的每个节点上都没有根访问权限，所以需要在本地目录中安装Python和模块，并在其中运行代码。为了节省时间，我能够在其中一个节点上进行本地Python构建，并将其保存在代理服务器上。然后，当我想在其余的节点上运行我的代码时，我只需获得注册了的Python，解压缩它，然后运行我的程序。因此，基本上我只需要构建一次Python，然后可以在集群上反复使用它；我在集群上运行的代码如下所示：
#!/bin/bash
wget www.proxyserver.Local_Python_Build.tgz
tar xzf Local_Python_Bui
浏览 3提问于2015-06-11得票数 2
我正在做自动化创建adx kusto集群创建使用python与azure cli模块。我可以创建一个具有指定容量的集群。但我不知道如何实现自动缩放放大/缩小。如何在python中实现？
if get_default_cli().invoke(['kusto', 'cluster', 'create', '--name', name, '--sku', sku, '--resource-group', resource_group, '--capacity', capacity]) =
浏览 4提问于2019-08-29得票数 1
我试图使用Cloudera将主机放到hadoop集群上。
我使用的两台计算机如下：
10.10.10.9 is supposed to be a DataNode and my first host
10.10.10.10 has the Cloudera Manager and will be the NameNode
管理器在GUI上的“将主机添加到集群”场景中的“集群安装”部分遇到了问题。
当管理器试图检测时，我得到以下错误：
BEGIN host -t PTR 10.10.10.10
10.10.10.10.in-addr.arpa domain name pointer sta
浏览 1提问于2016-01-08得票数 0
回答已采纳
2回答
我在用GCP做实验。我在Hadoop有一个本地环境。它由存储在HDFS上的文件和一堆编写API调用并触发猪作业的python脚本组成。这些python作业是通过cron调度的。
我想了解在GCP中做类似事情的最佳方法。我知道我可以使用GCS作为HDFS的替代品。该Dataproc可用于拆分Hadoop集群并运行Pig作业。
是否有可能将这些Python脚本存储到GCS中，有一个类似cron的时间表来拆分Hadoop集群，并指向GCS中的这些Python脚本来运行呢？
浏览 10提问于2022-03-31得票数 2
回答已采纳
1回答
我在亚马逊EC2上运行了一个高度线程化的应用程序。我想将此应用程序转换为EC2上的集群。我想使用starcluster来实现这一点，因为它易于管理集群。
然而，我对集群/分布式计算还是个新手。A在谷歌搜索之后，我发现了以下用于集群计算的python库列表：
(查看集群计算部分)
我想知道是否所有的库都可以使用starcluster。因为我想让应用程序与starcluster一起工作，所以在选择库时，有没有什么东西需要我牢记在心？
浏览 5提问于2013-02-12得票数 0
我想在databricks工作区中创建集群，并为某些用户提供“可以管理”权限。我如何使用REST API或其他脚本来做到这一点？
这就是我在python中创建集群的方法(可以用cURL做同样的事情)：
response = requests.post(
'https://%s/api/2.0/clusters/create' % (DOMAIN),
headers={'Authorization': b"Basic " + base64.standard_b64encode(b"token:" + TOKEN)},
浏览 0提问于2019-07-23得票数 0
我正在尝试使用Cloud era manager python API来启动和停止集群。
是否也可以使用此API停止管理角色？
如果您能让我知道命令或文档页面？
谢谢
浏览 4提问于2013-12-19得票数 0
我们在默认python2.7附带的RHEL 7机器上安装了ClouderaCDH6.2。在虚拟环境中使用python3.7来提交火花作业。客户端模式与-主本地模式和-部署模式客户端工作正常。但是，在主纱线和-部署模式集群方面有问题。
此命令spark-submit --master yarn --deploy-mode cluster --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=/home/user/R1_I5/bin/python --conf spark.yarn.appMasterEnv.SPARK_HOME=/opt/cloudera/p
浏览 22提问于2020-07-11得票数 0
1回答
如何在群上下文中使用？
、、、
为了使用命令，如：
client.nodes
我们需要在一台机器上运行python代码，它是一个群中的管理器。但是我应该如何启动python程序呢？
在码头机器上没有什么可安装python的，我不认为这样做是个好主意。
如果您在容器中启动python，那么您就不是在集群上下文中。
我发现的唯一方法是在Windows的终端中启动python程序，并在集群中设置“默认”机器管理器。
但是现在我需要在Ubuntu上做，所以我不能使用这个解决方案。
(如果有类似的码头快速启动终端，我感兴趣)
浏览 5提问于2017-05-22得票数 1
回答已采纳
1回答
我们有一个由5台机器组成的集群，用于运行。
其中一台机器默认的python为2.7，命令which python输出以下路径/usr/local/bin/python
另外4台机器，默认的python是2.6，命令which python输出以下路径/usr/bin/python。
如何将第一台机器上的python更改为其他机器上的python？
浏览 0提问于2016-04-28得票数 1
我刚刚开始管理Hadoop集群。我们使用光明集群管理器达到O/S级别(CentOS 7.1)，然后将Ambari与Hortonworks 2.3一起用于Hadoop。
我经常收到安装新python模块的请求。我们在安装时使用yum安装了一些模块，并且随着集群的发展，一些模块已经使用pip安装了。
做这件事的“正确”方法是什么？总是使用yum，不能提供最新和最伟大的模块？始终使用pip，而不是有一个真理点(yum)显示哪些软件包已安装？还是可以同时使用pip和yum？
我只是担心我的系统中充斥着垃圾和太多版本的python模块。有什么建议吗？
浏览 2提问于2016-01-19得票数 8
我已经部署了一个aks集群，并分配了一个内部ip，但没有外部ip：
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.0.0.1 <none> 443/TCP 11h
我可能走错了路，但目标是为集群IP创建外部端点。使用python的正确方法是否是创建一个服务负载均衡器？为此，我一直未能找到蔚蓝的python。帮帮忙，拜托。
我的python函数用于
浏览 1提问于2019-02-19得票数 0
回答已采纳
我有两个问题要问：
因此，我的公司有两个气流运行实例，一个在GCP配置集群上，另一个在AWS配置集群上。由于GCP有Composer，它可以帮助您管理气流，那么是否有一种方法可以将AWS集群中的气流DAG也由GCP管理呢？
对于批处理ETL/流作业(在python中)，GCP为此使用了Dataflow (Apache )。AWS相当于什么？
谢谢!
浏览 0提问于2019-08-24得票数 0
1回答
EC2上正确的处理器数目
、、、
我使用星团在ec2上设置了一个集群，并设置了the堆栈(包括mpi4py)。我被告知要发出一个mpi作业，其数量与集群中的处理器数量相匹配。例如，如果我创建一个实例类型的4个节点集群，其中每个节点都有2个vcpu，那么我是否需要发出：
mpiexec -n 4 python mytestfile.py
或
mpiexec -np 8 python mytestfile.py
另外，如何确保每个节点实际上处理的是问题的两个实例，而不是一个节点处理所有8个节点？换句话说，mpiexec会自动计算出所有这些吗？
浏览 6提问于2014-05-01得票数 0
回答已采纳
我在一个独立的船坞里管理着火花大师和火花工。
我能看到他们在跑
-ef -ef grep火花根3477 3441 0 1월05 ? 00:04:17 /usr/lib/jvm/java-1.8-openjdk/jre/bin/java -cp -Xmx1g org.apache.spark.deploy.master.Master -ip节点-主-端口7077 -webui-端口10080
我不确定我的工作人员是使用1g还是8g，我确实通过SparkConf设置了内存选项
conf.set("spark.executor.memory", "8g")
浏览 0提问于2020-01-07得票数 0
我想用python脚本将hive与hdinsight集群连接，但由于访问问题，无法访问集群仪表板，这将给我JDBC url信息，这有助于与hive进行连接。 有没有人能帮我/推荐一下用python连接hive和hdinsight集群的方法？ import jaydebeapi
conn = jaydebeapi.connect("org.apache.hive.jdbc.HiveDriver",
"jdbc:hive2://16.4.5.492:451/default/;ssl=true;transportMode=http;httpPath=/hive
浏览 25提问于2019-10-04得票数 1
1回答
我使用完全管理的(1个vCPU和4GBRam)部署python + tensorflow +烧瓶应用程序。
系统运行良好，但速度确实很慢，因此我正在评估使其快速运行的方法(它需要运行速度比现在快20-30倍)。
什么是最好的方法？
使用有一两台强大机器的Kubernetes集群
使用3-5较弱机器的Kubernetes集群
忘记Kubernet/Docker，在一个功能强大的VM上运行所有的东西
也许还有别的事？
目前，我不希望一次有超过10个用户，但我希望最终能够扩大规模。
浏览 7提问于2020-09-18得票数 0
回答已采纳
我正在使用powershell脚本部署一些Databricks集群，该脚本使用预定义的集群模板作为输入json文件，例如：
{
"cluster_name": "test1",
"max_retries": 1,
"spark_version": "5.3.x-scala2.11",
"timeout_seconds": 3600,
"autotermination_minutes": 60,
"node_type_id"
浏览 0提问于2019-09-16得票数 1
我有一个运行ec2应用程序的spark-submit集群，在使用--py-files运行spark-submit时，我将使用压缩的python文件传递源代码doe。如果我们已经在传递文件，那么从服务器是否需要应用程序代码？
浏览 0提问于2019-01-14得票数 0
回答已采纳
2回答
我对很陌生。我想使用python脚本删除我的GKE()集群。我从GKE库中找到了一个delete_cluster()来删除google-cloud-container集群。
但我不知道如何通过在python中传递所需的参数来使用该API。有人能举个例子来解释我吗？
或者如果有其他方法删除python中的GKE集群呢？
提前谢谢。
浏览 9提问于2020-07-31得票数 2
回答已采纳
我正在使用numpy / scipy / pynest在Mac上做一些研究计算。为了提高性能，我们从我们的大学租了一个400节点的集群(带有Linux)，这样任务就可以并行完成。问题是我们不允许在集群上安装任何额外的包(没有sudo或任何安装工具)，他们只提供原始的python本身。
那么我如何在集群上运行我的脚本呢？有没有办法集成这些模块(我想numpy和scipy也有一些编译过的二进制文件)，这样它就可以在不安装包的情况下被解释和执行？
浏览 1提问于2013-01-06得票数 32
回答已采纳
1回答
mpirun是否需要指定-np？
、、、、
我以前跑起来就像 mpirun -np N ./c_or_python_script 但是，在具有PBS作业提交队列的集群上(我不知道这种类型的提交被称为什么)，示例脚本不需要这个-np N参数！我还是会给你的。有什么关系？我在下面的集群中指定了一个模拟示例脚本。 #!/bin/sh
#PBS -V
#PBS -N mpi_job
#PBS -q normal
#PBS -A etc
#PBS -l select=4:ncpus=64:mpiprocs=64
#PBS -l walltime=04:00:00
cd $PBS_O_WORKDIR
mpirun ./test_mpi.ex
浏览 493提问于2021-02-03得票数 0
回答已采纳
我一直在玩HDFS和Spark。我已经在我的网络上设置了一个五个节点集群，运行HDFS、Spark，并由Yarn管理。工作人员正在以客户端模式运行。从主节点，我可以很好地启动PySpark外壳。运行示例jars时，作业被分割成工人节点，并很好地执行。
对于是否以及如何在这个集群上运行python/Pyspark文件，我有几个问题。
如果我在其他地方有一个带有PySpark调用的python文件，比如在我的本地dev笔记本电脑上或者在某个地方的码头容器上，那么有什么方法可以在本地运行或提交这个文件并让它在远程Spark集群上执行呢？我想知道的方法包括在本地/docker环境中运行submit，但
浏览 45提问于2022-10-11得票数 0
回答已采纳
1回答
当我在计算机集群中运行python时，它在查找已安装的库时遇到了问题。
例如，当我尝试在脚本中加载numpy时：
#file: /home/foo/test.py
import numpy
print numpy.__version__
在服务器上，我得到了这个：
foo@abax:~$ python test.py
1.4.1
但是，当我尝试在具有远程shell的节点中运行相同的命令时，我得到了一个错误：
foo@abax:~$ rsh -l foo ab01 "python test.py"
Traceback (most recent call last):
浏览 2提问于2011-09-20得票数 1
回答已采纳
1回答
我们有一个Dask管道，在这个管道中，我们基本上使用一个LocalCluster作为进程池。也就是说，我们用LocalCluster(processes=True, threads_per_worker=1)启动集群。就像这样：
dask_cluster = LocalCluster(processes=True, threads_per_worker=1)
with Client(dask_cluster) as dask_client:
exit_code = run_processing(input_file, dask_client, db_state).val
浏览 6提问于2019-11-14得票数 1
回答已采纳
我正在运行OpenJDK 1.8.0_41-b04和Python3.8.8(由源代码构建)的Debian最新Docker映像，运行为Hadoop3.2预先构建的Spark3.1.1。除了eventLog选项之外，所有星火配置选项都是默认设置：
spark.eventLog.enabled true
spark.eventLog.dir file:/tmp/spark-events
spark.history.fs.logDirectory file:/tmp/spark-events
在启动星火历史服务器时，我可以在本地模式下可靠地运
浏览 2提问于2021-04-18得票数 0
回答已采纳
1回答
我让Percona XtraDB集群运行在3个节点上(node1、node2、node3)。我在第四个节点(admin)中配置了ProxySQL。
我有一个python应用程序代码试图访问集群。
当连接到node1的3306端口时，我可以连接。
import MySQLdb as mdb
db = mdb.connect(host="node1", port=3306,user="root", passwd="*****", db="percona")
为了实现负载平衡，应用程序应该指向ProxySQL端口6032。
import
浏览 3提问于2017-10-25得票数 1
回答已采纳
7回答
我们从事科学计算，并定期将计算提交到不同的计算集群。为此，我们使用linux shell连接，并通过SGE、Slurm等提交作业(这取决于集群)。我们的代码由python和bash脚本以及几个二进制文件组成。其中一些依赖于外部库，如matplotlib。当我们开始使用一个新的集群时，这是一个噩梦，因为我们需要告诉管理员我们需要的所有库，有时他们不能安装所有的库，或者他们只有无法升级的旧版本。所以我们想知道我们在这里能做什么。我想知道我们是否可以以某种方式将我们需要的所有库与我们的代码一起“打包”。你认为这有可能吗？否则，我们如何才能在不需要管理员安装任何东西的情况下迁移到新的集群？
浏览 3提问于2016-09-15得票数 10
1回答
我们有一个EMR集群在运行Impala。
我们在DynamoDB和S3中有很多数据。
从Dynamo获取数据到HDFS EMR集群的最佳/推荐方法是什么(这样我就可以在事后将数据输入Impala )？我应该编写一个导入boto的python脚本和一些HDFS库来完成它吗?我应该直接学习PIG，还是有更好的解决方案？
浏览 1提问于2015-02-12得票数 0
回答已采纳
1回答
我在Azure中有一个Kubernetes集群，它部署了三个Docker容器:一个酒瓶服务器、一个Dask和一个Dask工人。这很好，现在我需要部署N个工作人员，而不是一个。
这是yaml文件：
apiVersion: apps/v1
kind: Deployment
metadata:
name: img-python
namespace: default
spec:
replicas: 1
selector:
matchLabels:
app: cont-python
template:
metadata:
labels:
浏览 4提问于2021-08-27得票数 0
回答已采纳
4回答
如何在AWS EMR上设置参数
、、、、
有没有办法在EMR集群的所有节点上设置环境变量？
当我试图在Python3 PySpark中使用Python3()时，我会收到一个错误，并得到一个与哈希种子有关的错误。我可以看到，这是一个已知的错误，需要在集群的所有节点上将环境变量PYTHONHASHSEED设置为相同的值，但我没有任何运气。
我尝试通过集群配置添加一个变量来激发-env：
[
{
"Classification": "spark-env",
"Configurations": [
{
"Classification
浏览 3提问于2016-11-18得票数 5
回答已采纳
7回答
Python计算集群
、、、
通过编写telnet服务器，然后来回telnet命令和输出，是否有可能创建一个python集群？有没有人对python计算集群有更好的想法？PS。最好是python 3.x，如果有人知道怎么做的话。
浏览 0提问于2009-10-22得票数 8
回答已采纳
3回答
R中是否有与Python的dask相同的包？专门用于在一台机器上运行大于内存的数据集上的机器学习算法。
链接到Python的Dask页面：
来自达斯克的网站：
达克本地缩放Python
Dask为分析提供了高级的并行性，为您喜欢的工具提供了规模上的性能。
达斯克的调度器已经在世界上一些最大的超级计算机上进行了测试，规模可达千节点集群，其算法已经过测试。
但你不需要一个庞大的集群才能开始。带有调度器的Dask船，设计用于个人机器上。今天，许多人使用Dask在笔记本电脑上进行计算，使用多个核进行计算，使用磁盘进行多余的存储。
浏览 1提问于2018-06-27得票数 13
我需要在我的代码中根据python中的kubernetes( AKS)集群名称设置我的环境。我有两个集群stg- my -cluster，prod-my-cluster，如何从pod内部访问此信息？有更好的方法吗？thx
浏览 105提问于2021-07-06得票数 0
我用手工拍摄了一个弹性搜索索引的快照。
它们存储在S3上的快照回购中。
我创建了一个新的ES集群，也是6.3版
我已经通过本文中提到的python方法将新集群连接到S3快照回购：。
我已经确认新集群可以通过GET /_snapshot/manual-snapshot-repo/_all?pretty命令访问快照回购。
我已经通过以下方式启动了对这个新集群的快照还原：
POST /_snapshot/manual-snapshot-repo/snapshot_name/_restore {“索引”：“报告”，"ignore_
浏览 4提问于2020-11-05得票数 1
回答已采纳
我不能从我的机器连接到任何GKE集群。从远程机器，它是工作的，但不是从我的，我不知道为什么。如果你们中有人有任何想法..。
我已经在gcloud中安装了kubectl (gcloud components install kubectl)
我正在运行gcloud init，然后在现有集群上运行，或者在新创建的集群上运行gcloud container clusters create my-cluster --preemptible --cluster-version 1.12.7-gke.10 --machine-type n1-standard-1 --disk-size 20 --num
浏览 0提问于2019-05-16得票数 2
回答已采纳
我正试图在我们学校的计算机集群上部署地理空间联合脚本。不幸的是，他们有python2.6(Cloudera的标准)，我不得不相应地重写我的代码。
读取pandas.from_sql()需要建立SQLAlchemy连接。但是，他们提出的方法在python2.6中不起作用：
engine = create_engine('sqlite:///%s' % path)
with engine.connect() as conn, conn.begin():
chunks = pd.read_sql_table('tweets', conn, columns=c
浏览 5提问于2016-03-03得票数 0
回答已采纳
4回答
我想知道我是否可以通过多处理包在网格/集群上执行/运行python函数，而不是在相同的本地机器上。它将帮助我创建100个必须使用相同功能的作业，并通过DRMAA将它们外包给我们的本地集群。我不确定这是否是可能的，或者对子进程/fork是否有意义。
任何例子或建议都会很有帮助。
PS:在python-list上发布的十字
谢谢！-Abhi
浏览 0提问于2012-05-18得票数 3
2回答
需要构建一个小型业务服务器集群，以便对数据进行处理。它将不会主办一个需要24/7提供的网站。
它确实需要支持承载Redis的服务器、Cassandra数据库集群和Python服务器。操作系统很可能是Centos 6.4
集群中的其他服务器应该能够非常快地相互通信，特别是Redis服务器。这可能需要使用内部IP地址吗？
我们需要使用多数据中心复制来将Cassandra集群与我们当前托管在云中的集群同步。
是调查网络交换机，我们不确定适当的规格，我们应该寻找。
是否需要“管理”开关，或者是否需要“解除管理”？
交换机需要支持IPv6还是只支持IPv4？
我们是否需要一个企业级的思科交换机，或者我们
浏览 0提问于2013-06-26得票数 4
我们知道一个系统有两个Python：
1个system's python
/usr/bin/python
2个user's python
~/anaconda3/envs/Python3.6/bin/python3
现在我有了一个集群，其中包括我的台式机(主)和笔记本电脑(从)。
如果我这样设置，对于不同的PysparkShell模式都可以：
export PYSPARK_PYTHON=~/anaconda3/envs/Python3.6/bin/python3
两个节点的~/.bashrc的export PYSPARK_DRIVER_PYTHON=~/anaconda3/en
浏览 2提问于2020-07-29得票数 0
是否有任何工具/应用程序可用于管理像YARN这样的集群。
对如何管理Druid集群有什么建议吗？德鲁伊没有纱线吗？
似乎不像纱线集群管理那样进行管理。
浏览 0提问于2018-01-19得票数 1
1回答
连接两个k8s集群
、、、
设置
我有两个集群，一个在数字海洋(prod)上管理，一个在aws (测试)上管理。
DO集群IP4 CIDR: 10.245.0.0/16
AWS集群IP4 CIDR: 10.100.0.0/16
数字海洋上的海洋有集群域。
.svc.cluster.local
而aws上的aws具有集群域。
.svc.cluster.test
我同时安装了CoreDNS，我也安装了Vault (只安装prod)和领事(两个集群)。
期望状态
我需要能够连接从prod集群到测试使用内部DNS (service-name.namespace.svc.cluster.(local/test)，因为tha
浏览 3提问于2022-03-21得票数 0
我需要解析许多小文件，并以扁平结构将它们加载到数据库中。我更喜欢使用ADF V2和SQL数据库来完成它。文件解析逻辑已经可以使用Python脚本了，我想在ADF中对其进行编排。我可以在ADF v2中看到一个使用Python Notebook连接器到Azure Databricks的选项。我可以通过ADF在Azure Databricks中运行一个普通的Python脚本吗？如果我这样做了，我是否只在Databricks集群的驱动程序中运行脚本，而可能不会利用集群的全部容量。我也在考虑调用Azure函数。请建议在这种情况下哪一个更合适。
浏览 12提问于2020-03-29得票数 0
1回答
我的大学正在教授一门分布式系统课程，其中有使用java RMI的示例程序。我想测试这些程序，并在未来使用Python进行练习。我如何创建一个环境，就好像我有几台联网的计算机(或一个计算机集群)？我不确定VMWare、VirtualBox或类似的东西是否适用。优选地，应该容易地创建、配置集群等。没有人会想要在VirtualBox I suppose...Thanks中单独创建、设置10台机器。
浏览 3提问于2012-01-27得票数 0
回答已采纳
我想将一个Python3包从一个私有的Github存储库安装到一个AWS集群上。
我知道如何通过硬编码凭据来完成这一任务，但是推荐的最佳实践是如何安全地做到这一点呢？我不想在引导脚本中存储凭据.
提前谢谢。
浏览 3提问于2020-12-23得票数 0
回答已采纳
目前，我们有一个使用Cloudera-虚拟机构建的大数据集群。默认情况下，VM上的Python版本为2.7。
对于我的一个程序，我需要Python3.6。我的团队对2个安装非常怀疑，并且害怕破坏现有的集群/VM。我计划遵循本文并安装2个版本的。
在我的项目中是否有“我可以打包Python3.6”版本，并将Python主路径设置为我的项目文件夹，这样就不需要在现有的虚拟机上进行安装了？
由于我们必须下载python并为Unix版本构建源代码，所以我想跳过VM上的这个部分，而是提供包含Python3.6的文件夹。
浏览 5提问于2017-08-21得票数 4
回答已采纳
1回答
据我所知，etcd使用Raft作为协商一致和领导者选择算法来维护一个领导者，负责保持etcd节点的集合与etcd集群中的数据变化保持同步。除其他外，这允许etcd从运行etcd的集群中的节点故障中恢复。
但是etcd如何管理其他集群，即运行etcd的集群之外的集群呢？
例如，假设我们分别有一个etcd集群和一个集群()，一个DB集群(例如，MySQL或Redis)集群由主(读和写)节点/s和(只读)副本组成。etcd可以管理其他集群的节点角色吗？
更具体而言：
etcd可以为集群(而不是运行etcd的)选出一位领导者，并将这些信息提供给其他集群和节点？。
为了使这更具体，使用上面的示例，假设
浏览 2提问于2020-07-01得票数 4
我需要创建一个python脚本来收集大量关于vcenter的信息。我基本上调用了每一种可能的诊断方法，一个接一个，每天将这些信息收集到数据库中用于机器学习。它通过python的pyvmomi登录到vcenter，然后调用所有资源中心的信息，调用所有集群的信息，调用每个集群上的主机及其相关信息，以及调用每个主机上的每个vm的信息。我在哪里可以看到vcenter上的压力？它托管在哪里？我想问题是我被分配了一项任务，我可以收集文档并完成它，但我不想给我们的业务中非常重要的工具带来压力。如何确保这不会导致带宽问题或CPU共享、内存分配和主机切换等重要进程变慢。
浏览 27提问于2020-01-25得票数 0
我在亚马逊网络服务EC2的一个四节点集群上运行Hadoop和Spark。
在做了大量的web研究之后，似乎在集群上启动Spark的公认方法(一旦Hadoop正在运行)是：
1)登录主节点，运行start-master.sh。
2)登录每个从节点，运行start-slve.sh，向其传递主节点的DNS和端口信息。
我的问题是:如果有，假设有20个节点，这是相当乏味和耗时的。有没有办法像Hadoop那样从某个本地化位置启动Spark？当您从主节点运行Hadoop时，它会远程启动所有从节点。我正在寻找这样的解决方案，或者是可以通过SSH进入节点并启动它们的python脚本。
浏览 8提问于2019-11-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
