首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【第15期】Apache DolphinScheduler 每周 FAQ 集锦

摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。

关于本栏目的要点:

本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

关于 Apache DolphinScheduler 的使用问题和技术性问题;

在实际应用中遇到的瓶颈问题;

参与社区贡献遇到的困难;

关于社区发展的疑问。

资源有限,请勿提问项目无关问题。

【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手)

在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。

7月15日-7月21日

Switch任务,条件表达式怎样写?可以写逻辑吗?

https://dolphinscheduler.apache.org/zh-cn/docs/3.1.7/guide/task/switch  参考一下文档。

DolphinScheduler支持 ARM 架构服务器吗?

支持的,我们docker镜像就有arm 架构的镜像。

DolphinScheduler 由于网络原因,需要迁移到其他网段上,不管是库还是服务都要迁移,数据库可以通过dba配合同步,服务迁移怎么做呢?特别是master 还依赖zookeeper,是需要重新安装吗?

只要元数据保持一致,重新根据当前网段配置worker,master apiserver即可,无需重新安装。PS如果你这里的网段改变是指服务器都换了,那就需要重新部署,其实可以理解成copy 然后重启。

DolphinScheduler有windows启动脚本吗?

standalone支持Windows。

在DolphinScheduler里面,设置了一个跨工作流依赖, 但是发现依赖的任务还在运行, 这个工作流的下面任务就开始执行了, 这种依赖感觉没有起到作用?

要看下被依赖的任务今天是否有成功的实例,如果被依赖的任务今天有成功,也有失败,则按时间排序,最后一个实例是有效实例,其他都是无效的。

上周分享的血缘解析自动生成调度功能,DolphinScheduler中有相关的血缘模块吗?考虑做耦合血缘吗?

DolphinScheduler有任务级别的任务血缘,暂时没有数据血缘,考虑做血缘耦合的话成本太高,可以基于其他组件去做,目前已经有一些开源的。

[3.1.5] DolphinScheduler的流程执行中发现 某个任务的引用的资源错了 是不是可以先暂停流程实例 然后直接在这个流程实例中改下任务的资源引用 然后继续流程实例?会有什么问题吗

不行,暂停进暂停流程,不暂停已经调起的任务真实进程。建议修改任务定义然后重新执行workflow,workflow尽量设置成幂等的。

[3.1.5] DolphinScheduler是基于线程池,但是有的worker节点上有占用大内存的任务,怎么让这个任务独占分配的worker节点?

设置任务优先级,同时DolphinScheduler会自己根据资源情况分配任务,如果必须指定的话,请设置worker group 指定worker group执行。

[3.1.7]在配置【数据源中心】选择mysql时提示 Failed to load driver class com.mysql.cj.jdbc.Driver in either of HikariConfig class loader or Thread context classloader的错误,在apache-dolphinscheduler-3.1.7-bin/alert-server/libs 路径下的dolphinscheduler-api-3.1.7.jar 的maven 目录下的pom.xml新增了mysql 的版本依赖,为什么还是提示驱动问题呢?

需要在每一个节点的worker master下添加lib。

哪里能看到每个版本修复了哪些问题?

https://github.com/apache/dolphinscheduler

/tags

每一两个月就会发生 多台节点从 zk 断开连接  包括 master 和 worker,是怎么回事?怎么解决?

需要看下master 和 worker的日志,如果用ip,检查网络,如果用域名检查dns,还是要看日志。一般是网络不稳定。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/O4RJvUpY0iDWHq1bljkU-x6w0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券