腾讯云时序数据库CTSDB商业化首发,现跟大家聊一下时序数据的概念,模型和使用场景等。
时序数据是基于稳定频率或非固定周期频率持续产生的一系列基于时间维度的指标监测数据。时序数据由时间戳、标签和指标三要素组成。时序数据的最主要的特点是时效性、趋势性和海量。典型的时序数据有日志数据、监控数据、股票数据、游戏中用户行为数据、物联网设备影子数据,用户的体检数据、环境监测数据等。
现实生活中有很多场景会产生时序数据,例如自动驾驶汽车持续收集所处环境中的变化数据。自动交易算法持续收集市场的变化数据。智能家居系统持续监控房屋内的变化产生的数据。零售行业精确高效地监控资产运转状况,使得日内运抵的成本足够低廉且能够为绝大多数人所使用。随着物联网、大数据和人工智能技术的发展,时序数据也呈一个爆发式的增长。应运而生的时序数据库近几年的发展速度也变得非常快。下图是db-engines近年的流行度排名。数据来源https://db-engines.com/en/ranking_categories。
时序数据由时间戳、标签和指标三要素组成。时间戳表明数据发生的时间。标签为属性信息,表明数据属于的设备/模块,不随着时间变化。指标为统计数据、状态指标,其数值随时间平滑波动。时序数据的模型一般如下图所示。
产生时序数据的场景的两个主要的特点是数据规模大,对数据库的可用性要求高,例如更高的写入性能,海量数据的高效查询等。主要的场景如下:
软件系统日志: 用户的点击行为记录,跟踪用户数据,服务的调用日志等。
软件系统监控: 服务、应用的健康度监控,可用性监控
生产环境监控: 设备、机器、生产环境、室内环境的监控
环境或健康监控: 大气环境指标监控、用户体检数据等
金融交易系统: 传统证券、新型货币交易等数据
(一)能支持高并发写入
时序数据具有典型的写多读少特征,其累计速度非常快,每小时能产生10GB以上数据。而测试发现关系型数据库处理大数据集的性能非常糟糕。理论上时序数据库的读写速度要比关系型数据库快几十倍。
(二)支持高效的检索能力
时序数据的另一个典型的特征是时效性。例如监控数据的时效性场景很多,包括汇聚值报警、查看指标的历史趋势图、实时的数据报表(天/周/季/年的同/环比)、趋势异常检测以及历史数据离线分析等,可以看到,每种场景的查询数据量、数据的分布以及对数据时效性的需求不尽相同,时序数据库需要在这些场景下都能够高效地获取数据。而数据降精度功能可以预先配置基于不同时间维度和不同标签的聚合,并将聚合数据结果再存入时序数据库供不同的检索场景下的高效检索。
腾讯云时序数据库 CTSDB 已于2018年12月26日正式商业化。CTSDB已经经过腾讯内部业务的多年打磨。近期CTSDB参与大数据产品能力测评并取得证书。CTSDB的主要优势如下:
(一) 高性能
支持批量写入,高并发查询。CTSDB为分布式系统,弹性可伸缩,数据自动均衡。
(二) 高可靠
数据默认采用2副本,数据不同副本分布在不同的节点。
(三) 强大的分析能力
支持常见的max,min,avg,percentile,sum,count,group by等聚合,支持时间区间聚合和地理位置GEO聚合。
CTSDB商业化首发期间,官网推出限时5折活动,更多详情请点击链接。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。