腾讯云

开发者社区

文档建议反馈控制台

首页

文章/答案/技术大牛

发布

社区首页 >问答首页 >向nodejs微服务最佳实践添加调度作业

问向nodejs微服务最佳实践添加调度作业
EN

Stack Overflow用户

提问于 2019-07-22 04:57:46

回答 2查看 60关注 0票数 0

我们在后端使用microservicse方法。

我们有一个nodejs服务，它提供一个REST端点，从mongodb获取一些数据并将一些业务逻辑应用到它。

我们需要每15分钟添加一个调度作业，以便将mongodb数据与一些第三方数据源同步。

这里的问题是-是否在这个微服务中增加了一项时间表工作，考虑反模式？

我从另一个角度想，一个只做同步工作的服务会为简单的事情创造一些过度工程，另一个回购，构建周期部署等硬件，复杂的维护等等。

想听到更多关于它的想法

node.js

microservices

云点播特惠1元起

提供三端 SDK 、云 API、控制台等多种上传方式，弱网环境下文件上传成功率达到 99.5%

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-07-22 09:44:34

您可以使用AWS CloudWatch事件规则来调度CloudWatch，每15分钟生成一次事件。使Lambda函数成为CloudWatch事件的目标，因此它每15分钟执行一次以同步数据。如果从Lambda调用您的第三方资源(如果它们位于VPC/帐户之外)，请注意VPC/NAT问题。

票数 1

Stack Overflow用户

发布于 2019-07-22 05:06:17

理想情况下，如果它类似于ETL作业，则可以将其卸载到兰卜达函数(如果使用AWS)或使用无服务器函数进行相同操作。另外，看看可以做类似事情的MongoDB缝合。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/57146576

复制

PD 调度策略最佳实践

limit max merge schedule store

众所周知，PD 是整个 TiDB 集群的核心，负责全局元信息的存储以及 TiKV 集群负载均衡调度，本文将详细介绍 PD 调度系统的原理，并通过几个典型场景的分析和处理方式，分享调度策略的最佳实践和调优方法，帮助大家在使用过程中快速定位问题。本文内容基于 3.0 版本，更早的版本（2.x）缺少部分功能的支持，但是基本原理类似，也可以以本文作为参考。

PingCAP

2019/10/12

1.3K0

NodeJS错误处理最佳实践

node.js 人工智能

NodeJS的错误处理让人痛苦，在很长的一段时间里，大量的错误被放任不管。但是要想建立一个健壮的Node.js程序就必须正确的处理这些错误，而且这并不难学。如果你实在没有耐心，那就直接绕过长篇大论跳到“总结”部分吧。

竹清

2018/08/31

1.6K0

NodeJS：Lerna —— Monorepo 的最佳实践

https npm 网络安全 babel.js javascript

Monorepo 和 Multirepo 是两种不同的源码管理理念，Monorepo 是把所有的相关项目都放在一个仓库中（例如：React, Angular, Babel, Jest, Umijs, ...），Multirepo 则是按模块把子项目拆分到多个仓库中（例如：Rollup, ...）。前者允许多元化发展（各项目可以有自己的构建工具、依赖管理策略、单元测试方法），后者希望集中管理，减少项目间的差异带来的沟通成本。

WEBJ2EE

2019/07/19

5.2K0

作业帮 Kubernetes 原生调度器优化实践

任务调度 kubernetes serverless linux

调度系统的本质是为计算服务或任务匹配合适的资源，使其能够稳定高效地运行，以及在此基础上进一步提高资源使用密度，而影响应用运行的因素非常多，比如 CPU、内存、IO、差异化的资源设备等一系列因素都会影响应用运行的表现。同时，单独和整体的资源请求、硬件 / 软件 / 策略限制、亲和性要求、数据区域、负载间的干扰等因素以及周期性流量场景、计算密集场景、在离线混合等不同应用场景的交织也带来了决策上的很多变化。

深度学习与Python

2021/11/10

8140

使用nodejs构建Docker image最佳实践

容器 node.js json javascript npm

docker容器的出现，彻底的改变了应用程序的运行方式，而nodejs同样的也颠覆了后端应用程序的开发模式。两者结合起来，就会产生意想不到的作用。

用户2323866

2021/06/22

1.3K0

使用nodejs构建Docker image最佳实践

容器 node.js json javascript npm

docker容器的出现，彻底的改变了应用程序的运行方式，而nodejs同样的也颠覆了后端应用程序的开发模式。两者结合起来，就会产生意想不到的作用。

程序那些事

2021/01/28

1.1K0

Spark作业调度

spark yarn

　　Spark在standalone模式下，默认是使用FIFO的模式，我们可以使用spark.cores.max 来设置它的最大核心数，使用spark.executor.memory 来设置它的内存。在YARN模式下，使用--num-workers设置worker的数量，使用--worker-memory设置work的内存，使用--worker-cores设置worker的核心数。下面介绍一下怎么设置Spark的调度为Fair模式。　　在实例化SparkContext之前，设置sp

岑玉海

2018/02/28

9670

作业调度算法

编程算法

　　在多道程序环境中，主存中有着多个进程，其数目往往多于处理机数量。这就要求系统能按照某种算法动态地把处理机分配给就绪队列中的一个进程，使之执行，分配处理机的任务是由处理机调度程序完成的。处理机调度　　在多道程序系统中，一个作业被提交后必须经过处理机调度后，方能获得处理机执行。对于批量型作业而言，通常需要经历作业调度（也称为高级调度）和进程调度（也称为低级调度）两个过程才能获得处理机；而对于终端型作业而言，通常只需要经过进程调度就可以获得处理机。除了上述两种调度，操作系统中往往也设置了中级调度，用来提

Mister24

2018/05/14

4K0

Spark作业调度

其他

Spark在任务提交时，主要存在于Driver和Executor的两个节点.

用户3003813

2018/09/06

7400

MapReduce作业调度

mapreduce 编程算法

可以通过设置mapred.job.priority属性或JobClient的setJobPriority()方法来设置优先级（在这两种方法中，可以选VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW中的任何值作为优先级）。在作业调度器选择要运行的下一个作业时，选择的是优先级最高的作业。然而，在FIFO调度算法中，优先级并不支持抢占，所以高优先级的作业任然受阻于此前已经开始的，长时间运行的低优先级的作业。MR1的默认调度器是最初基于队列的FIFO调度器，还有两个多用户调度器，分别为公平调度器和容量调度器。

加米谷大数据

2018/03/15

6950

最佳实践 | 作业帮云原生成本优化实践

任务调度运维大数据容器服务容器

董晓聪，作业帮基础架构负责人，主要负责架构研发、运维、DBA、安全等工作。基于开源的力量，和云厂商一起完成作业帮技术体系的云原生重塑。项目背景作业帮教育科技（北京）有限公司成立于2015年，一直致力于用科技手段助力教育普惠，运用人工智能、大数据等前沿技术，为学生提供更高效的学习解决方案。随着业务需求的发展，作业帮的 IT 系统面临巨大挑战，现有基础平台架构已经无法满足快速增长的业务需求。业务对快速迭代、急速弹性、调用链追踪、统一的监控日志平台、提升计算资源利用率等需求迫在眉睫。 2019年下半年，作业

腾讯云原生

2021/11/24

9380

Net作业调度(五)—quartz.net动态添加job设计

其他

介绍在实际项目使用中quartz.net中，都希望有一个管理界面可以动态添加job，而避免每次都要上线发布。也看到有园子的同学问过。这里就介绍下实现动态添加job的几种方式，也是二次开发的核心模块。阅读目录：传统方式框架反射方式进程方式 URL方式框架配置方式传统方式继承IJob，实现业务逻辑，添加到scheduler。 public class MonitorJob : IJob { public void Execute(IJobExecutionCont

蘑菇先生

2018/05/21

1K0

新建NodeJS Web项目的几个最佳实践

api https 网络安全 node.js java

在项目建立初期引入一些最佳实践可以避免后期大量复杂的重构工作，本文总结了在使用Node JS构建Web服务时的一些最佳实践，同时涉及的具体的操作步骤。

极客人

2019/05/28

2.3K0

服务化最佳实践

文件存储 api

建议将服务接口、服务模型、服务异常等均放在 API 包中，因为服务模型和异常也是 API 的一部分，这样做也符合分包原则：重用发布等价原则(REP)，共同重用原则(CRP)。

WindWant

2020/09/11

7890

微服务最佳实践

微服务架构是一种进化模式，它从根本上改变了服务器端代码的开发和管理方式。这种架构模式涉及将应用程序设计和开发为一组松散耦合的服务，这些服务通过定义明确的轻量级 API 进行交互以满足业务需求。它旨在通过促进持续交付和开发来帮助软件开发公司加速开发过程。

码仔janrs.com

2023/03/31

3720

流水作业调度

uml

流水作业调度问题描述: N个作业{1,2,………,n}要在由两台机器M1和M2组成的流水线上完成加工。每个作业加工的顺序都是先在M1上加工，然后在M2上加工。 M1和M2加工作业i所需的时间分别为ai和bi，1≤i≤n。流水作业高度问题要求确定这n个作业的最优加工顺序，使得从第一个作业在机器M1上开始加工，到最后一个作业在机器M2上加工完成所需的时间最少。可以假定任何任务一旦开始加工，就不允许被中断，直到该任务被完成，即非优先调度。输入: 输入包含若干个用例,第一行为一个正整数K(1<=K<=100

用户1154259

2018/01/17

1.1K0

Quartz作业调度框架

开源 java

Quartz 是一个开源的作业调度框架，它完全由 Java 写成，并设计用于 J2SE 和 J2EE 应用中。它提供了巨大的灵活性而不牺牲简单性。你能够用它来为执行一个作业而创建简单的或复杂的调度。本系统结合通过 Spring 来集成 Quartz 。 Quartz 下载地址： http://grepcode.com/snapshot/repo1.maven.org/maven2/org.quartz-scheduler/quartz/1.7.3 首先下载包：quartz-1.7.

java达人

2018/01/31

9190

作业调度框架Quartz

c++http

奋飛

2019/08/15

7380

TKE 用户故事 | 作业帮 Kubernetes 原生调度器优化实践

任务调度 kubernetes linux serverless

吕亚霖，2019年加入作业帮，作业帮架构研发负责人，在作业帮期间主导了云原生架构演进、推动实施容器化改造、服务治理、GO微服务框架、DevOps的落地实践。简介调度系统的本质是为计算服务/任务匹配合适的资源，使其能够稳定高效地运行，以及在此的基础上进一步提高资源使用密度，而影响应用运行的因素非常多，比如 CPU、内存、IO、差异化的资源设备等等一系列因素都会影响应用运行的表现。同时，单独和整体的资源请求、硬件/软件/策略限制、亲和性要求、数据区域、负载间的干扰等因素以及周期性流量场景、计算密集场景、

腾讯云原生

2022/01/06

4000

作业帮k8s原生调度器优化实践

kubernetes

iginkgo18

2021/11/13

4010

相似问题

spring batch作业调度最佳实践

调度/队列服务的最佳实践？

nodeJS，作业调度

向WCF服务添加引用的最佳实践

最佳调度作业

活动推荐

体验智能媒资降冷，云点播优惠不要错过！

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例