网关介绍

最近更新时间:2024-07-11 10:36:31

我的收藏
DLC 网关是基于 Apache Kyuubi 深度优化的 Serverless 统一接入网关服务。通过网关,您可基于 Hive JDBC/Presto JDBC/DLC JDBC/腾讯云 API 标准接口,实现对 DLC 数据及标准计算引擎的稳定、安全访问,降低大规模的计算引擎访问管理的复杂度。如您可以将 SQL 任务,ETL 作业通过网关,提交到指定标准计算引擎。




网关价值

网关是 DLC 标准引擎独有服务,可以为用户带来降低查询时延、安全高可用及灵活接入等优势:
降低查询时延:DLC 网关可显著降低查询链路耗时,提升尤其是小数据量交互式分析性能表现。
更多接入方式支持:网关支持 Hive JDBC/Presto JDBC 连接 DLC 标准引擎,满足多种查询场。
企业级高安全性:通过 CAM 鉴权参数(AK/SK)进行身份验证、子用户引擎权限控制。
高可用性:网关提供更高的可用性和负载均衡,支持扩容以承载极高的并发查询。

升级规格

数据湖计算 DLC 默认提供2CU规格给用户使用,当业务场景无法满足,需要升级规格时,则需要购买获取。
1. 一个引擎网络下只支持创建一个网关。
2. 网关可同时管理多个标准 Spark 引擎、Presto 引擎。
注意:
网关仅支持指定规格(2CU、16CU、32CU、64CU),不同规格对应管理不同规模的集群,详情请参见 规格建议

规格建议

DLC 网关提供承载更高查询并发的高可用性与负载均衡,并能通过缩短查询链路有效降低小数据量查询的平均耗时,建议结合拟管理的引擎数量以及业务场景的最大查询并发 QPS 选择网关规格,具体详见以下表格。如 A 客户在上海区域计划部署20个 DLC 标准引擎,根据历史经验业务最大并发量是300QPS,则可选购32CU规格。
网关规格
Spark Batch 瞬时并发提交任务数/并行运行任务数
Spark SQL /Presto SQL 并发查询数
Presto 引擎管理数量
Spark 资源组管理数量
网关是否 HA
2CU
30/50
100
4
50
16CU
80/150
250
12
150
32CU
220/400
600
35
400
64CU
400/600
1000
70
700
如果您对网关规格选择有疑问,可 提交工单 联系我们。