单个作业存储、单个启动的调度程序和多个只读工作进程
单个作业存储是指在云计算领域中，将一个完整的作业（任务）所需的所有数据存储在一个独立的存储单元中，这个存储单元可以是一个文件、一个数据集、一个数据库等。单个作业存储的优势在于可以提高作业的执行效率和数据的管理效率。
单个启动的调度程序是指在云计算中，用于控制和协调作业执行的程序。它负责根据作业的需求和调度策略，将作业分配给合适的计算资源，并监控作业的执行过程。单个启动的调度程序的优势在于可以提高作业的调度效率和资源利用率。
多个只读工作进程是指在云计算中，为了提高作业的并发处理能力，将一个作业分成多个只读进程来并行处理。这些只读工作进程之间相互独立，可以并行读取和处理数据，从而加快作业的执行速度。多个只读工作进程的优势在于可以提高作业的处理能力和响应速度。
对于单个作业存储、单个启动的调度程序和多个只读工作进程的应用场景，一个例子是分布式数据处理系统。在这种系统中，数据可以存储在单个存储单元中，调度程序可以根据不同的数据处理需求，启动多个只读工作进程来并行处理数据。这样可以提高数据的处理效率和系统的整体性能。
腾讯云相关产品和产品介绍链接地址：
- 对于单个作业存储，腾讯云提供了对象存储（COS）服务，可以存储和管理大规模的数据，详情请参考：https://cloud.tencent.com/product/cos
- 对于单个启动的调度程序，腾讯云提供了弹性容器实例（Elastic Container Instance）服务，可以快速启动和管理容器，详情请参考：https://cloud.tencent.com/product/eci
- 对于多个只读工作进程，腾讯云提供了云批量计算（BatchCompute）服务，可以高效地执行并行计算任务，详情请参考：https://cloud.tencent.com/product/bc
相关·内容
我遇到了这个常见问题，指出在两个或更多进程之间共享持久作业存储将导致不正确的调度程序行为： How do I share a single job store among one or more workerMy question is：如果只有一个通过.start()启动的工作者调度器，而另一个调度器进程在同一个持久的sqlite jobstore上初始化，只是
浏览 11提问于2021-08-05得票数 0
回答已采纳
1回答
我尝试使用共享内存创建一个单例，以确保类对象在所有进程之间都是相同的，但为此，我需要序列化它： class Singleton(type):
filename = path.basename附注:是的，我知道我可以只接受一个redis并传递参数和状态给它，但我想尝试在没有任何依赖的情况下这样做……
浏览 209提问于2021-02-22得票数 0
回答已采纳
我想要运行一个程序，将给定的输入文件转换为另一种格式。当文件上传到输入表时，oozie调度程序应该启动作业。对于单个文件，它工作正常；如果输入表同时有多个条目，那么相同数量的作业应该在参数中与不同的inputPath并行启动。Oozie工作流以"InputPath“和"OutputPath”作为参数。
浏览 0提问于2018-10-30得票数 0
回答已采纳
我们有一个金字塔的网络应用程序，并通过gunicorn+nginx提供服务。它使用8个工作线程/进程from apscheduler.events import EVENT_JOB_EXECUTED, EVENT_JOB_ERRORrerun_monitor.add_interval_job(job_
浏览 0提问于2013-04-17得票数 42
回答已采纳
1回答
根据我的理解，整个作业中的每一个动作都被转换成作业，而作业中的每一个洗牌阶段都被转换成一个阶段，每个阶段的每个分区都被转换成任务。
请告诉我，如果我错了，我无法得到任何实际的定义。
浏览 0提问于2017-08-29得票数 0
回答已采纳
在批处理脚本中，您可以直接启动程序或脚本(例如，可执行文件myapp)，但在许多教程中，人们使用srun myapp。
尽管阅读了关于这个主题的一些文档，但我不理解其中的区别以及何时使用这些语法。我希望这个问题足够精确(第一个问题)，谢谢你的回答。
浏览 0提问于2018-12-05得票数 27
回答已采纳
bar数据低和高是从贸易软件NinjaTrader提供的，该软件在我的PHP中进行处理，并存储在MySQL数据库中。PHP为每个工具(欧元美元、USDJPY、.)定期启动，通过exec()启动CUDA程序的一个实例。这意味着，当我们有20个仪器要计算时，就有20个独立的实例(没有线程！)我的目的是编写一个调度程序，它对请求进行排队，然后用CUDA在GPU上逐个启动
浏览 2提问于2014-09-25得票数 1
回答已采纳
我已经在我的笔记本电脑上的纱线集群上设置了一个Spark，并且使用python多处理在Spark中运行多个并发作业时遇到了问题。我运行的模式是纱-客户模式。我尝试了两种方法来实现这个目标：
设置一个SparkContext并创建多个进程来提交作业。此方法不起作用，程序崩溃。我想单个SparkContext不支持python多个进程。对于每个进程，设置一个Spa
浏览 2提问于2015-11-09得票数 2
1回答
Hadoop中的作业和任务调度
、、、、
当我读到关于延迟公平调度的文章时，我对Hadoop中的“作业调度”和“任务调度”这两个术语并不感到困惑。如果我的假设是错误的，请纠正我：
默认调度程序、容量调度程序和公平调度程序仅在用户调度多个作业时才在作业级别有效。如果系统中只有一个
浏览 6提问于2013-09-29得票数 5
回答已采纳
出于某种原因，10:00执行一次的时间要长得多，例如8分钟。第二个实例是在10:05触发的吗？
如果是的话，什么是正确的策略，以确保工作是单例运行，而不是两次？
浏览 3提问于2016-09-24得票数 3
回答已采纳
我有一个春季启动批作业申请，其中大约有10个作业(数量可能增加，根据需要)。我一直在尝试使用本地服务器设置Spring云数据流服务器来启动和监视这些作业。但是这里我面临的问题是，在SCDF中注册应用程序之后，我为注册的应用程序创建了任务，而单个任务本身启动了应用程序中的所有10个作业。虽然我可以看到为单个任务执
浏览 2提问于2020-05-14得票数 1
回答已采纳
2回答
我正在使用Cloud Dataflow streaming管道将从发布/订阅接收的事件插入到BigQuery数据集中。我需要几个，以保持每个工作简单，易于维护。我希望在收到新消息之前，数据流的比例为0 worker。但是看起来最小工人数是1。因此，每项工作的最低价格为一天: 24 vCPU小时…所以每个月至少50美元/份<e
浏览 0提问于2018-09-12得票数 4
我在APScheduler中的多个调度程序之间共享一个作业存储，我确实遇到了这个问题。
但没有讨论与此相关的问题，有人能解释一下吗？而且，如果我在生产中部署包含APScheduler的Django应用程序，会为每个工作进程创建多个作业存
浏览 7提问于2021-01-27得票数 0
回答已采纳
如果在没有返回同步I/O调用时CPU只是空闲，那么服务器可以启动一个新线程来处理新请求，因为它仍然有足够的CPU资源。
浏览 16提问于2014-09-06得票数 1
石英调度器用于在我的工作场所调度定时java作业。调度程序本身作为应用程序部署到Weblogic服务器(一组计算机)。此调度程序可以对实现作业接口的作业进行调度，并覆盖execute()方法。这些作业作为库部署到Weblogic服务器，然后由调度程序使用。(一个库包含多个<e
浏览 0提问于2020-05-31得票数 2
回答已采纳
3回答
我看到启动pyspark的一个常见设置是使用pyspark --master yarn --deploy-mode client --num-executors 4 --executor-memory2g --driver-memory 4g，但是驱动内存和可执行内存有什么不同呢？您能解释一下什么是驱动程序吗?在这里设置驱动程序对pyspark工作流/性能有何影响？
谢谢!
浏览 1提问于2017-10-29得票数 2
我们有一个应用程序，在这个应用程序中，我们为运行用户定义的作业(用python的说法是子进程)处理各种处理节点。这些节点可以有一个或多个核心(为了讨论起见，可以说是2个)。用户定义他们想要使用多少核心(1或2)来运行他们的子进程。调度应用程序对相关节点上的作业进行调度。例如，如果有两个节点具有一个核心(A和B)，一个节点具有两个
浏览 3提问于2016-03-03得票数 0
我的应用需要做一些cpu密集型的处理，所以我想把它作为后台工作来做。
我想让express app和kue在同一个机器上运行(不同的内核)。我该怎么做？主应用程序和作业队列是如何相互通信的？
浏览 5提问于2013-11-20得票数 0
1回答
我正在尝试创建辅助对象(它可以是守护进程或代理)。这应该是按需启动的，并且它的多个实例应该在那里，就像你在Chrome和Safari助手中看到的那样。这里提到我们应该使用NumberOfProcesses键的进程数，我使用了它，但在活动监视器中我只看到一个实例。<?请帮我找到做这件事的最好方法？
浏览 6提问于2015-04-17得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
