热门活动
全部活动
共享引擎和独享引擎的区别是什么？
引擎类型 | 说明 | 计费模式 | 特点 |
共享引擎 | 为当前地域下所有用户公共使用的引擎 | 按量计费：按扫描量计费，不使用不产生任何费用 | 1. 无需配置即可使用 2. 适合数据量较小、临时数据计算场景。 |
独享引擎 | 为用户独享引擎资源 | 按量计费：按 CU 量计费，没有任务时可挂起集群，挂起时不产生任何费用 | 1. 资源独享，支持配置资源规模，弹性伸缩 2. 适合有一定任务量但任务周期不规律的数据计算场景 |
| | 包年包月：按 CU 量计费，集群无需等待随时可用。弹性部分按量计费。 | 1. 资源独享，支持配置资源规模，弹性伸缩 2. 适合任务量大且稳定的数据计算场景 |
一个集群，支持多少任务并行？可以调整吗？
为什么任务实际使用 CU 核数会小于引擎的集群规模中指定的 CU 核数？
以下几种情况都可能导致实际使用 CU 核数小于引擎的集群规模中指定的 CU 数：
1. 集群中有其他任务正在执行。
2. 批作业集群指定的 driver 资源 + executor 资源总数小于集群规模。
3. 按量计费集群，使用时才会发起资源申请，当 CU 核数较多时，不能确保资源完全满足申请的 CU 数。
4. 批处理作业指定了增强型网络配置用于打通其他 VPC 网络，但是其他 VPC 网络的 IP 数不足以启动所有的 executor。
DLC 集群是否可以访问同地域的其他 VPC 下的 IP/服务？是否可以访问外网？
DLC 引擎可以访问同地域下的其他 VPC，需要在 数据引擎 > 网络配置 中创建一个网络配置和目标 VPC 打通，并在批处理作业中指定使用该网络配置。DLC 引擎默认是无法访问外网的。但是通过增强型网络配置，并且目标 VPC 配置了可以访问外网的路由规则，那么 DLC 可以通过增强型网络配置访问外网。
如何修改集群的自动启停时间？
若在任务运行中进行集群变配，是否会导致任务失败？
我们为您罗列了各类引擎在常见任务进行中，若发起变配带来的任务影响，请您参考：
引擎类型 | 购买方式 | 是否会影响任务失败 |
SuperSQL-Spark作业 | 按量计费 | 任务不会受影响 |
| 包年包月 | 当发起集群规格变配时： 扩容集群规格不会影响任务 缩容集群规格，会在流程中等待pod运行结束后再去隔离/销毁缩容的机器，如果任务运行时间长可能导致流程卡住，导致任务重启 |
SuperSQL-SparkSQL | 按量计费 | 当发起集群规格变配时，会导致任务重启 |
| 包年包月 | 当发起集群规格变配 或 减少集群数量时，会导致任务重启 |
SuperSQL-Presto | 按量计费 | 当发起集群规格变配时，会导致任务重启 |
| 包年包月 | 当发起集群规格变配 或 减少集群数量时，会导致任务重启 |
如何排查标准引擎运行任务长时间未正常执行的原因？
当您的任务长时间处于“初始化”、“启动中”或“排队中”状态时，可能导致任务无法正常执行。请根据以下步骤和任务类型，逐步排查问题原因，帮助您快速定位并解决问题。
1. 区分细分任务类型
步骤：历史任务实例 > 历史任务列表 > 任务类型、资源组名称，结合任务类型及资源组名称是否有值来区分细分任务类型。
细分任务类型 | 任务类型 | 资源组名称 |
SQL 任务 | SQL | 资源组名称有值 |
交互式 SQL 任务 | SQL | 资源组名称无值（--） |
Spark 批流任务 | 作业 | 资源组名称无值（--） |
2. SQL 任务排查步骤
2.1 判断引擎和网关状态
1. 进入引擎列表，确认引擎状态是否为“运行中”或“就绪”。
2. 通过管理页面查看网关状态，确认网关是否“运行中”。
3. 如果引擎或网关状态异常，说明正在执行其他流程，请等待流程结束。
4. 若状态超过10分钟未恢复，请 提交工单 联系技术支持。
2.2 判断计算资源是否处于冷启动
1. 如果任务提交到挂起状态的资源组，资源组可能正在启动，通常需要3~5分钟。
2. 进入资源组页面确认资源组状态是否为“启动中”。
3. 若超过5分钟仍未启动，继续排查其他原因。
4. 如果资源组状态非“运行中”或“启动中”，说明资源组正在执行其他操作，请等待，超过10分钟未恢复请 提交工单。
2.3 资源组是否分配到足够资源
1. 资源组启动超过10分钟仍未成功，可能是引擎资源被占满，资源组无法分配到足够资源。
2. 在资源组列表查看资源需求（如CU数），确认资源组最低所需资源。
3. 在引擎列表点击引擎名称，进入“集群监控”查看资源使用情况。
4. 若“已占用集群规格”达到总规格，剩余资源不足，资源组无法启动。
5. 解决方案：释放其他资源（暂停或取消其他资源组或批流作业任务）。
2.4 是否等待依赖任务完成
1. DLC 默认一次提交的多个 SQL 任务串行执行，前置任务未完成，后续任务会处于初始化状态。
2. 请确认是否存在依赖任务未完成导致排队。
2.5 是否达到资源组任务并发数上限
1. 资源组默认任务并发数上限为5。
2. 超过并发数的任务会处于排队状态。
3. 在资源组详情页面查看并发数配置，可根据需要调整。
4. 在历史任务实例页面查看当前运行任务数，确认是否达到上限。
3. 交互式 SQL 任务（BatchSQL 任务）排查步骤
3.1 判断引擎和网关状态
3.2 判断资源是否充足
1. 在引擎列表“集群监控”查看资源使用情况。
2. 若资源不足，任务无法启动。
3. 解决方案同 SQL 任务，释放其他占用资源。
3.3 冷启动时间
交互式 SQL 任务每次提交均需拉起新资源，冷启动时间一般为3~5分钟。
超过5分钟仍未启动，排查是否存在异常。
4. Spark 批流作业排查步骤
4.1 判断引擎和网关状态
1. 参考 SQL 任务排查步骤 > 判断引擎和网关状态的操作步骤。
2. 资源启动一般需要3~5分钟，等待后仍未运行，继续排查。
4.2 判断引擎资源是否充足
1. 在历史任务实例页面查看任务所需资源（Driver 和 Executor 的 CU 数）。
2. 在引擎列表“集群监控”查看资源使用情况。
3. 若资源不足，无法启动批流作业。
4. 解决方案同 SQL 任务，释放其他占用资源。
