Apache Linkis 是一种计算中间件,充当上层应用程序和底层引擎(例如Apache Spark、Apache Hive和Apache Flink )之间的层。该项目由微众银行开源,于 2021 年作为Apache 孵化器项目启动,并于 2023 年 1 月升级为顶级项目。
Apache Linkis 通过提供 REST/JDBC/Shell 等标准接口,方便让上层应用连接访问 MySQL/Spark/Hive/Trino/Flink 等底层引擎,同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通,以及通过 REST 标准接口提供了数据源管理和数据源对应的元数据查询服务。
其优势在于提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦,简化了复杂的网络调用关系,降低了整体复杂度,同时节约了整体开发和维护成本。
目前 Linkis 支持 Spark、Hive、Flink、Python、Presto、ElasticSearch、JDBC 等多种计算和存储引擎,未来会支持更多如Trino、SeaTunnel等。Linkis 还支持各种脚本语言,例如SparkSQL、HiveQL、Python、Pyspark、Scala和 JDBC。
官网主页:
仓库地址:
领取专属 10元无门槛券
私享最新 技术干货