如何使用自己的Dockerfile设置Ray集群？

文章/答案/技术大牛

发布

1回答

docker、ray

我在这里看到了如何在ray中指定docker图像：但是我在我的存储库中有我自己的Dockerfile。是否可以指定Dockerfile在ray每次启动时都启动？将其推送到外部注册表并在此处指定镜像名称是唯一的解决方案吗？

浏览 14提问于2020-02-10得票数 0

1回答

docker权限使用简单python脚本向txt文件发出写入

python、docker

我如何解决这个问题？text_file = open("sample.txt", "w")text_file.close()ADD main.py .

浏览 9提问于2021-01-25得票数 1

回答已采纳

2回答

如何外部访问射线远程多节点集群？

python、amazon-web-services、kubernetes、remote-access、ray

关于射线多节点集群的访问，我有一个问题：编辑:这可以归结为以下问题：是否有射线本机API从实际集群之外的计算机/服务器连接到远程群集？

浏览 2提问于2019-12-30得票数 2

2回答

如何获取现有Ray redis集群的地址？

ray

我正在编写一个使用Ray的flask应用程序。我尝试在应用程序启动时只运行一次ray.init()，然后在其他文件中实际使用ray时引用该集群。从文档中看起来，在使用ray之前，我需要运行ray.init(address="")，但是在第一次运行ray.init()之后，我如何以编程方式获取或传递现有ray集群的</e

浏览 23提问于2019-10-16得票数 2

回答已采纳

2回答

如何在重新启动群集后重新连接到射线群集？

python、fastapi、ray

关于射线集群和FastAPI服务器之间的重连接过程，我有一个问题。在FastAPI i init/连接到启动事件中的射线集群上：async def init_ray():Exception: Ray Client is not connect

浏览 2提问于2021-09-17得票数 2

回答已采纳

10回答

码头工人组成CoreOS

docker、coreos、docker-compose

我目前正在学习Docker，并做了一个好的和简单的码头组合设置。3个容器，都有自己的Dockerfile设置。我如何将其转换为在CoreOS上工作，以便稍后可以设置一个集群？

浏览 5提问于2015-03-16得票数 40

回答已采纳

1回答

我用不同的机器在本地测试射线。它们中的大多数运行良好，但其中一个得到了(pid=raylet) E0515 16:26:30.978312 358451 node_manager.cc:3537] Failed to send getcore worker stats request: IOError: 8: Sent message larger than max (290460356 vs. 104857600)的警告。这台机器的性能比其他的要低。如果他们之间有什么联系呢？

浏览 1提问于2020-05-15得票数 1

回答已采纳

1回答

即使在代码终止之后，Ray似乎也在缓存导入的.py。

python、import、ray

我用以下内容启动了head节点：以及具有以下内容的集群节点：python ray_test.py

浏览 3提问于2020-05-23得票数 0

1回答

将X射线与现有的ECS集群集成

amazon-web-services、aws-xray

我已经在多个EC2中部署了一个ECS集群。现在，我想将它们与X-Ray集成起来，以解决一些问题。有没有办法在不重新部署集群的情况下做到这一点？另一方面，我使用Can I run aws-xray on the same ECS container?中的start.sh和Dockerfile生成了一个内部有xray的tomcat容器，但在角色中打开端口2000tcp和UDP后，XRay控制台仍然是空的，在NACL中打开所有。我错过什么

浏览 9提问于2020-08-31得票数 0

4回答

使用多处理模块进行集群计算

python、parallel-processing、multiprocessing

我对使用计算机集群运行Python程序很感兴趣。我过去一直在使用Python MPI接口，但由于编译/安装这些接口很困难，我更喜欢使用内置模块的解决方案，比如Python的模块。我真正想做的是设置一个跨越整个计算机集群的multiprocessing.Pool实例，并运行一个Pool.map(...)。这是可能/容易做的事情吗？如果这是不可能的，我希望至少能够从

浏览 4提问于2011-03-03得票数 58

回答已采纳

1回答

在分布式计算中执行射线

python、ray

我在一个virtualbox上制作的服务器上有数据，在那里我有一个grpc服务器。在我的本地机器上，我创建了一个grpc客户机，它向服务器发送一个类实例，服务器执行一个方法并返回结果。我试着用射线来实现同样的功能。我不明白我应该使用什么工具？我应该在本地机器中创建一个射线集群吗？如果是，我应该如何在虚拟框上编写程序以连接到集群并对virtualbox中的数据执行所需的方法。

浏览 8提问于2020-10-12得票数 2

1回答

自动获取射线头节点IP地址

kubernetes、ray

我在AKS集群上部署了Ray集群。为了运行利用Ray集群的应用程序，目前我正在将每个应用程序部署为一个经典的k8s部署对象，并使用以下方法连接到Ray集群 ray.init(address="<head-node-ip:10001")

浏览 5提问于2021-12-22得票数 0

回答已采纳

1回答

工作节点- EC2群集上的状态:更新-失败

amazon-ec2、parallel-processing、cluster-computing、ray

我现在有一个运行在EC2 (Ubuntu16.04)上的Ray集群，它有一个c4.8xlarge主节点和一个相同的工作节点。我想检查是否使用了多线程，所以我运行了测试，以计时增加相同的9秒任务的数量(n)。相反，集群只并行处理了14个任务，然后执行时间跃升到40秒，并随着n的增加而继续增加。当我尝试c4xlarge主机(4个CPU)时，时间与n成正比，即它们是串行运行的。因此，我猜测主节点实际上需要4个CPU用于系统

浏览 2提问于2019-05-13得票数 0

1回答

光线群与诗歌

ray、python-poetry、virtual-environment

我试图发射一个射线集群，我使用诗歌作为我的软件包管理。[7/7] Starting the Ray runtimeShared connection to XX.XX.XX.XX closed然而，如果我安装完全相同版本的射线，使用pip作为用户包并运行ray up config.yaml，一切都可以在安装程序中工作。问题是远程参与者不使用我在虚拟环境中的<

浏览 9提问于2021-12-13得票数 0

1回答

在ray.io中存储和检索对象

actor、consumer、ray、publisher

我在一台机器上运行了一个ray集群，如下所示： ray start --head --redis-port=6379 我有两个文件需要在集群上运行。生产者p_ray.py： import ray class(ray.get(futures)) pri

浏览 19提问于2020-04-02得票数 0

1回答

用Ray存储远程函数之间的对象

python、python-3.x、ray

我正在编写一个项目，它使用相同的数据写了很多次，我一直在使用ray在集群设置中扩展这个值，但是这些文件太大了，无法一直在ray对象存储上来回发送/保存。有没有办法在远程函数调用之间保存本地节点上的python对象？

浏览 6提问于2020-11-15得票数 3

回答已采纳

1回答

使用光线监视手动群集

python、ray

假设我使用文档中所述的ray start --head创建了我的集群。如何监控集群？当我编写标准命令ray monitor时，它总是抛出一个错误，因为我没有包含任何CLUSTER_CONFIG_FILE。我甚至可以使用命令ray start --address='<ip-and-port>'将另一台计算机添加到群集，但我无法监视正在发生的任何事情，如果我激活了仪表板，

浏览 0提问于2020-03-17得票数 0

1回答

如何将Skaffold Project连接到异地局域网上的集群

web、kubernetes、yaml、skaffold

我用一台计算机和3个raspberry pi设置了一个skaffold项目。2个raspberry pi形成了kubernetes集群，第三个是作为一个不安全的docker存储库运行。第四台计算机是我用来编写代码的PC，它使用skaffold来推送到repo和集群。由于我是kubernetes和Skaffold的新手，我不确定如何配置我的skaffold.yaml文件来连接到集群，因为它不在我的本地

浏览 17提问于2021-02-22得票数 1

回答已采纳

1回答

使用Ray* Cluster配置池*

multiprocessing、cluster-computing、pool、ray

我在谷歌云上配置了Ray，但是当我从本地机器启动集群时，集群正确地启动了主节点和工作节点的数量，具体取决于initial_workers的值。是否可以在不删除的情况下使用特定节点初始化集群，并为每个虚拟机使用最大核心数(对于head_start_ray_commands和worker_start_ray_commands，我可以只添加--num-cpu当我在一台机器上使用多处理池处

浏览 28提问于2020-07-24得票数 0

1回答

对于笔记本电脑/开发机器，Ray中的最小群集配置文件是什么？

ray

提供的示例文件既大又吓人。就像..。/ray.git#&& ray stop - source activate ray && ray start --redi

浏览 9提问于2019-04-13得票数 0

回答已采纳

点击加载更多