开源推荐 | 新一代云原生大数据管家，构建起稳定、高效、可弹性伸缩的大数据云原生平台

一、项目简介

新一代云原生大数据管家，致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，旨在帮助用户快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

二、开源协议

本项目遵循  Apache-2.0 开源协议发布。

三、功能介绍

DataSophon是什么？

《三体》，这部获世界科幻文学最高奖项雨果奖的作品以惊艳的"硬科幻"风被大家所熟知，其作者刘慈欣更是被誉为"单枪匹马将中国科幻提高到世界级水平"。

作为三体中非常重要的角色，智子(Sophon)是将九维的质子进行二维展开，通过电路蚀刻改造成超级计算机后，再转回到微观的十一维来监控人类的一举一动，并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。说白了智子是三体文明部署在地球的AI实时远程监控和管理平台。

DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

极易部署，用户仅需几步即可完成初始化环境配置，从而快速地完成大规模大数据集群的部署，支持数千个节点规模。

全面兼容开源生态，基于开放式的管理架构，已集成多种常用大数据组件，包括数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。

兼容复杂环境，极简的架构设计，使其极易适配各种复杂环境，支持arm和x86机器混合部署，支持常用的Linux生态操作系统。

便捷运维，基于生产实践展示用户最关心的监控指标，可方便地对集群、节点和服务进行监控和运维操作，助您大幅提升运维工作效率。

安全可靠，DataSophon支持Kerberos身份认证和数据加密，使用Ranger数据访问控制，从而支持数据加密和权限控制，保证数据安全。

便捷告警，支持告警组和告警指标管理，监控指标全面丰富，用户可根据监控指标自定义告警组和告警指标。

四、演示展示

五、技术选型

产品架构：

技术架构：

集成组件：

各集成组件均进行过兼容性测试，并稳定运行于300+个节点规模的大数据集群，日处理数据量约4000亿条。在海量数据下，各大数据组件调优成本低，平台默认展示用户关心和需要调优的配置。

设计思想：

为设计出轻量级，高性能，高可扩的，可满足国产化环境要求的大数据集群管理平台。需满足以下设计要求：

（1）一次编译，处处运行，项目部署仅依赖java环境，无其他系统环境依赖。

（2）DataSophon工作端占用资源少，不占用大数据计算节点资源。

（3）可扩展性高，可通过配置的方式集成托管第三方组件。

Rpc技术选型：

管理端与工作端通信选择akka框架。选型依据如下：

（1）Actor并发模型，支持协程，比线程小很多，高并发性能高。

（2）非常轻量的事件驱动处理机制（1GB内存可容纳约270万个Actor）。

（3）可以以jar包形式集成到现有框架，简洁易用，无其他依赖。

（4）具备容错机制，允许在Actor出错时进行一些恢复或者重置操作。

（5）消息传递支持exactly once。

（6）相对于netty，学习成本，使用成本更低。

运维监控技术选型：

运维监控技术选择prometheus和Grafana。技术选型依据如下：

（1）强大的数据模型，监控数据以metric{labels}的方式存储在内置的时间序列数据库中。

（2）灵活的查询语句(PromQL)。

（3）监控数据的精细程度高，可以精确到1~5秒的采集程度。

（4）良好的可视化，自带Prometheus UI，可以直接输入PromQL查询监控指标，自动成图，并且支持用grafana进行数据呈现。

（5）支持大量的采集器，其他jmx采集器，使prometheus可轻易获取各大数据组件的服务监控指标。

六、源码地址

本项目代码仓库：

https://gitee.com/datavane/datasophon