Setats 实现了一套全新的支持多级存储与异构访问的统一存储。它能够以一套统一的存储同时满足离线批量分析、完整增量日志、主键查询、状态存储等多种需求,并能够支持端到端的秒级数据可见性。
Setats 产品具备如下核心优势:
秒级数据可见性
Setats 具备强大的数据写入与即时可见能力,从数据变更到被下游消费系统感知,延迟通常在秒级,极大缩短了数据从采集到分析的链路时延。这种能力对于时效性要求极高的业务场景——如实时风控、监控告警、推荐系统等——尤为关键,使业务决策能够真正基于最新数据驱动。
支持完整 Changelog 增量机制
Setats 在数据更新过程中自动生成完整的 Changelog(变更日志),完整记录每条数据的插入、更新与删除操作,包含全字段的 UpdateBefore 与 UpdateAfter。这为下游 Flink 等流计算引擎提供了强有力的数据基础,使实时增量处理成为可能。基于完整的变更记录,开发者可以构建多层级的数据视图、进行链式增量计算,实现低延迟、高吞吐的实时数仓与复杂事件处理。
支持批处理与 OLAP 查询
Setats 构建了多层次、可增量构建的数据仓库模型,全量数据以列存格式持久化到远程存储,支持通过 Doris、Starrocks、Spark 等计算引擎进行高性能的批处理与多维分析(OLAP)查询。用户既可实现 T+0 的实时分析,也可针对历史数据执行复杂计算,真正实现批流一体化的分析架构。
支持多种 Upsert 语义
Setats 内部构建了灵活的更新逻辑框架,原生支持 Upsert、Partial Update(部分字段更新)、Aggregation(预聚合) 等多种更新策略。用户可根据业务需要按字段更新或构建聚合指标,有效降低数据处理复杂度,提升存储与查询效率。
高性能数据读写
Setats 的核心是一套自研的高性能数据读写引擎。它通过优化底层存储格式——行列混存实现冷热数据分层、多级文件索引加速历史记录定位——并结合全异步的执行模型,使得数据到达时能够快速查找前值并即时完成合并。这一设计使 Setats 能够在写入时同步生成完整的增量日志与合并后数据,从而实现数据与 Changelog 的秒级可见,是支撑上述所有能力的底层技术基石。