什么是腾讯云数据仓库 TCHouse-C ?
腾讯云数据仓库 TCHouse-C 是腾讯云提供的方便易用、灵活稳定的云端 ClickHouse 托管服务。只需要几分钟,便可完成海量数据查询数据仓库的搭建,简单轻松地完成对数据的实时查询分析,提升数据价值挖掘的整体效率。
腾讯云数据仓库 TCHouse-C 是否兼容社区版 ClickHouse?
内核完全兼容。
什么是集群节点?
集群的基本存储和计算单元,随着节点增加,集群的容量和性能将线性提升。
什么是节点规格?
节点规格是计算节点的资源配置,包括 CPU、内存、磁盘等。不同节点规格性能和存储量不同。
腾讯云数据仓库 TCHouse-C 支持哪些来源的数据?
如何评估腾讯云数据仓库 TCHouse-C 所需的存储空间?
磁盘打满,写入的数据量超过了数据盘可用空间,将无法写入新的数据。 腾讯云数据仓库 TCHouse-C 的所需的存储空间与数据类型、压缩算法、压缩比、表的设计以及数据索引等因素相关。可以通过如下方法进行估算:
估算业务数据行数:基于业务需求和历史数据增长趋势,估算将要存储在腾讯云数据仓库 TCHouse-C 中的数据总行数。
计算未压缩的数据量:估算每一行数据的大小,可以进行总的数据量估算。总数据量 = 单行数据大小 * 总行数
计算压缩后的总数量:ClickHouse 通常采用 lz4 或者 zstd 算法压缩数据。压缩比通常在 2-10,具体和数据及排序键设置相关。
考虑数据增长因素:通常建议单节点预留一部分存储空间,满足数据增长需求。例如:预留 20%。
举例说明:
某业务数据每天产生数据量 1,000,000,000 行,每行数据 1 KB, 数据保留 1 个月。数据压缩比为 5。预留空间为 20%。则需要的数据存储空间为:(1000000000 * 1KB * 30 / 5) /(1 - 0.2)= 7152.5 GB
实际测量:
查询一个表的数量总量:
SELECT formatReadableSize(sum(bytes_on_disk)) FROM system.parts WHERE table='your_table' and active = 1
查询一个表的数量压缩比:
SELECT round(sum(data_uncompressed_bytes) / sum(data_compressed_bytes),3) AS compression_ratio FROM system.parts WHERE (table = 'your_table') AND (active = 1)