DLC 网关是基于 Apache Kyuubi 深度优化的 Serverless 统一接入网关服务。通过网关,您可基于 Hive JDBC/Presto JDBC/DLC JDBC/腾讯云 API 标准接口,实现对 DLC 数据及标准计算引擎的稳定、安全访问,降低大规模的计算引擎访问管理的复杂度。如您可以将 SQL 任务,ETL 作业通过网关,提交到指定标准计算引擎。
网关价值
网关是 DLC 标准引擎独有服务,可以为用户带来降低查询时延、安全高可用及灵活接入等优势:
降低查询时延:DLC 网关可显著降低查询链路耗时,提升尤其是小数据量交互式分析性能表现。
更多接入方式支持:网关支持 Hive JDBC/Presto JDBC 连接 DLC 标准引擎,满足多种查询场。
企业级高安全性:通过 CAM 鉴权参数(AK/SK)进行身份验证、子用户引擎权限控制。
高可用性:网关提供更高的可用性和负载均衡,支持扩容以承载极高的并发查询。
升级规格
数据湖计算 DLC 默认提供2CU规格给用户使用,当业务场景无法满足,需要升级规格时,则需要购买获取。
1. 一个引擎网络下只支持创建一个网关。
2. 网关可同时管理多个标准 Spark 引擎、Presto 引擎。
注意:
规格建议
DLC 网关提供承载更高查询并发的高可用性与负载均衡,并能通过缩短查询链路有效降低小数据量查询的平均耗时,建议结合拟管理的引擎数量以及业务场景的最大查询并发 QPS 选择网关规格,具体详见以下表格。如 A 客户在上海区域计划部署20个 DLC 标准引擎,根据历史经验业务最大并发量是300QPS,则可选购32CU规格。
网关规格 | Spark Batch 瞬时并发提交任务数/并行运行任务数 | Spark SQL /Presto SQL 并发查询数 | Presto 引擎管理数量 | Spark 资源组管理数量 | 网关是否 HA |
2CU | 30/50 | 100 | 4 | 50 | 否 |
16CU | 80/150 | 250 | 12 | 150 | 是 |
32CU | 220/400 | 600 | 35 | 400 | 是 |
64CU | 400/600 | 1000 | 70 | 700 | 是 |