如何停止Python Ray集群

文章/答案/技术大牛

发布

3回答

python、parallel-processing、ray

我一直在看文档，在计算出一个在容差级别内的答案后，我找不到任何方法来阻止Ray。现在我正在写一个带有打印的csv的答案(‘Ok to stop')，然后我手动终止这个进程。我想停止所有的工人，然后让它自动转移到另一个问题上。是否存在我可以引发的错误，该错误会使所有的工作进程停止？谢谢。

浏览 319提问于2021-01-16得票数 2

1回答

即使在代码终止之后，Ray似乎也在缓存导入的.py。

python、import、ray

(results)python ray_test.pypython ray_test.py，尽管随后执行了ray_test.py，但确实在集群上运行。我的目标是能够修改head节点上的f.py，将其同步到集群节点，

浏览 3提问于2020-05-23得票数 0

2回答

如何外部访问射线远程多节点集群？

python、amazon-web-services、kubernetes、remote-access、ray

关于射线多节点集群的访问，我有一个问题：编辑:这可以归结为以下问题：是否有射线本机API从实际集群之外的计算机/服务器连接到远程群集？

浏览 2提问于2019-12-30得票数 2

4回答

使用多处理模块进行集群计算

python、parallel-processing、multiprocessing

我对使用计算机集群运行Python程序很感兴趣。我过去一直在使用Python MPI接口，但由于编译/安装这些接口很困难，我更喜欢使用内置模块的解决方案，比如Python的模块。我真正想做的是设置一个跨越整个计算机集群的multiprocessing.Pool实例，并运行一个Pool.map(...)。这是可能/容易做的事情吗？

浏览 4提问于2011-03-03得票数 58

回答已采纳

1回答

在kubernetes集群上将ray与Jupyterhub结合使用

kubernetes、jupyterhub、ray

我正在使用Jupyterhub和Ray构建Kubernetes集群，希望用户能够访问Jupyterhub并在k8s上使用Ray集群。我的计划是使用Jupyterhub笔记本"https://ray.readthedocs.io/en/latest/api.html“中的Ray API构建Ray集群。(redis_address="10.100.19.93:6379") &

浏览 19提问于2019-07-03得票数 2

1回答

依赖关系如何到达Ray集群？

python、ray

我正在尝试弄清楚Ray是否会为应用程序工作，并且我正在尝试理解依赖关系是如何到达Ray集群中的工作程序的。例如:假设我有 @ray.remote a = do_something_requiring_pandas() return a + b 如何确保工作人员能够访问pandas (第三方python包)和openmpi (通常通过操作系统包管理器安装

浏览 27提问于2021-06-23得票数 1

回答已采纳

1回答

本地群集上的Ray仪表板不可用

python、ray

我只是使用Ray Core来并行任务，如您所见：$ pip --versionCollecting ray Using cached rayAlternatively, use the follo

浏览 21提问于2022-05-16得票数 3

1回答

Ray获取Head Node Redis地址

ray

我想在有多个节点的集群上运行ray。我只能向集群提交非交互式作业，因此我不确定如何在作业运行时以编程方式获取redis地址。我非常确定在多个节点上启动ray的方法是这样的： ray start --head done 但我需要知道头节点的redis地址。当您启动

浏览 34提问于2019-04-27得票数 1

回答已采纳

1回答

Python共享内存访问

python、redis、multiprocessing、shared-memory、ray

我有一个关于Ray Framework中共享内存的访问的问题。想象一下在1机器上的以下设置 ray.put(O1)Start Start Ray集群启动一个进程/工作者python脚本w1.py，该脚本通过ray.get(...)将一个对象O1放入共享内存--进程/工作者python脚本w2.p<code>E 213</code>y，它试图通过ray.get(...)从共享内存中获取<code

浏览 7提问于2020-10-23得票数 1

回答已采纳

2回答

如何在重新启动群集后重新连接到射线群集？

python、fastapi、ray

关于射线集群和FastAPI服务器之间的重连接过程，我有一个问题。在FastAPI i init/连接到启动事件中的射线集群上：async def init_ray(): ...ray.init(address=f'{ray_head_host}:{ray_head_port}', _redis_password=ray_redis_password, name

浏览 2提问于2021-09-17得票数 2

回答已采纳

1回答

在分布式计算中执行射线

python、ray

我应该在本地机器中创建一个射线集群吗？如果是，我应该如何在虚拟框上编写程序以连接到集群并对virtualbox中的数据执行所需的方法。

浏览 8提问于2020-10-12得票数 2

1回答

Ray on AWS:找不到任何正在运行的Ray实例

amazon-web-services、ray

(ray==1.12.0)Followed 安装了来自 - ray up的新的Ray ray up集群指令，但给出了一个例外： File "/home/ubuntu/anaconda3/envs/tensorflow2_latest_p37/lib/python3.7/site-packages/<e

浏览 97提问于2022-04-28得票数 1

2回答

如何获取现有Ray redis集群的地址？

ray

我正在编写一个使用Ray的flask应用程序。我尝试在应用程序启动时只运行一次ray.init()，然后在其他文件中实际使用ray时引用该集群。从文档中看起来，在使用ray之前，我需要运行ray.init(address="")，但是在第一次运行ray.init()之后，我如何以编程方式获取或传递现有ray集群的地址？

浏览 23提问于2019-10-16得票数 2

回答已采纳

1回答

无法连接到远程ray.io群集

python、linux、ray

我正在尝试使用ray.init(address="{node_external_ip}:6379")连接到远程ray.init集群头节点，以进行进一步的远程过程调用负载测试。，客户端将根本无法建立与远程集群的连接。之后，尽管客户端成功地建立了与远程集群的连接： Connecting to existing Ray cluster at address: <node-external-IP>:6379...反过来，远程集群端的raylet.

浏览 66提问于2022-08-31得票数 0

1回答

使用google云设置射线的问题

kubernetes、ray

根据，我尝试使用Kubernetes建立Ray集群。以下是我的步骤： self.run() File "/usr/local/

浏览 2提问于2019-10-28得票数 0

回答已采纳

1回答

Ray cluster configuration file_mounts部分不允许启动工作节点

python、amazon-ec2、ray

我正在尝试使用配置文件中的file_mounts块将少量文件分发到AWS EC2上的Ray集群中的每个节点：集群启动时只有一个主节点，run_files目录的内容已正确复制到该主节点上。但是，请求的两个工作节点不会启动。如果我省略了file_mounts部分，工作进程就会启动。/lib/python3.6/site-packages/ray/monitor.

浏览 0提问于2019-05-30得票数 2

1回答

用Ray存储远程函数之间的对象

python、python-3.x、ray

我正在编写一个项目，它使用相同的数据写了很多次，我一直在使用ray在集群设置中扩展这个值，但是这些文件太大了，无法一直在ray对象存储上来回发送/保存。有没有办法在远程函数调用之间保存本地节点上的python对象？

浏览 6提问于2020-11-15得票数 3

回答已采纳

5回答

Python中的并行性

python、multithreading、parallel-processing、message-passing

在Python中实现并行性的选择是什么？我想在一些非常大的栅格上执行一些CPU绑定计算，并希望并行化它们。来自C背景，我熟悉三种并行处理方法：消息传递过程，可能分布在集群中，例如MPI。在Python中，有哪些方法可用，它们的特点是什么？有一个可集群的MPI克隆吗？实现共享内存并行的首选方法是什么？我听过有人提到GIL的问题，也有关于工作任务的说法。简而言之，在选择Python中的不同并行化策略之前，我需要了解它们的哪些方面？

浏览 11提问于2010-06-07得票数 26

回答已采纳

1回答

工作节点- EC2群集上的状态:更新-失败

amazon-ec2、parallel-processing、cluster-computing、ray

我现在有一个运行在EC2 (Ubuntu16.04)上的Ray集群，它有一个c4.8xlarge主节点和一个相同的工作节点。由于该实例有18个n<=35，因此我预计作业最多需要9秒(假设有一个CPU用于集群管理)，然后出现故障，或者在每个节点切换到36个vCPU时增加到大约18秒。相反，集群只并行处理了14个任务，然后执行时间跃升到40秒，并随着n的增加而继续增加。当我尝试c4xlarge主机(4个CPU)时，时间与n成正比，即它们是串行运行的。没有报告错误，但我注意到EC2实例控制台中工作进程的ray</e

浏览 2提问于2019-05-13得票数 0

1回答

Ray中的角色抽象

distributed-computing、actor、dask-distributed、ray

在学习分布式Python的Ray技术时，我读到了关于Ray的以下声明，但我并不完全理解它的真正含义？任何带有一些应用程序上下文的解释都是值得赞赏的。Actors: An important part of the Ray API is the actor abstraction for sharing mutable state between tasks

浏览 15提问于2020-09-14得票数 0

点击加载更多