关于 SSB 性能测试
SSB(Star Schema Benchmark)是一个轻量级的数仓场景下的性能测试集。SSB 将 TPC-H 的雪花模式简化为了星型模式,将基准查询由 TPC-H 复杂的 Ad-Hoc 查询改为了结构更固定的 OLAP 查询,主要用于测试在星型模型下,多表关联查询的性能表现。腾讯云数据仓库 TCHouse-C 官方将 SSB 的星型模型打平转化成宽表,改造成了一个单表测试集(以下简称:SSB FLAT)来测试查询引擎的性能。本文将给出腾讯云数据仓库 TCHouse-C 在 SSB 单表数据集上的性能测试结果。
性能测试方案
监控工具
使用腾讯云数据仓库 TCHouse-C 的集群监控页面获取集群和节点监控信息。
测试内容
步骤一:使用 dbgen 工具初始化指定大小的数据存放于待测试的机型集群磁盘空间上。
步骤二:在腾讯云上购买腾讯云数据仓库 TCHouse-C 集群,并在该集群中创建所需的表。
步骤三:将步骤一中生成的数据导入到测试集群中。
步骤四:执行基准性能测试 SQL Q1.1-Q4.3指令。
步骤五:反复执行3次基准性能测试 SQL Q1.1-Q4.3指令。
步骤六:记录3次基准 SQL 执行的数据量,时间和速度。
查看结果
基准 SQL 执行后会输出如下信息,包含:执行查询结果行数、SQL 查询执行消耗的时间 、SQL 查询的记录数量 、SQL 查询的数据量、SQL 查询的数据记录数量速率和 SQL 查询的数据量速率。
本次测试采用 SQL 查询执行消耗时间(s)指标项作为输出指标。
测试环境
硬件环境
本文共针对标准型+高性能云硬盘、标准型+增强型SSD云硬盘、高性能型+NVMe SSD 硬盘、大存储型+SATA HDD 本地硬盘四种机型场景进行性能测试,具体配置如下:
机型场景 | 节点规格 |
标准型 + 高性能云硬盘 | CPU:32 cores 内存:128 GB 磁盘:高性能云盘7000 GB |
标准型 + 增强型 SSD 云硬盘 | CPU:32 cores 内存:128 GB 磁盘:增强型 SSD 云盘5000 GB |
高性能型 + NVMe SSD 硬盘 | CPU:32 cores 内存:128 GB 磁盘:NVMe SSD 硬盘7140 GB * 2 |
大存储型 + SATA HDD 本地硬盘 | CPU:32 cores 内存:128 GB 磁盘:SATA HDD 本地硬盘44640 GB * 2 |
软件版本
腾讯云数据仓库 TChouse-C 21.8.12.29
测试数据集
在 -s 1000参数下,生成的数据集大小为:
SSB 表名 | 行数 | 备注 |
LINEORDER | 60亿 | 商品订单明细表 |
CUSTOMER | 3000万 | 客户信息表 |
PART | 200万 | 零件信息表 |
SUPPLIER | 200万 | 供应商信息表 |
DATE | 2,556 | 日期表 |
LINEORDER_FLAT | 60亿 | SSB 打平后的宽表 |
性能测试结果
Query 编号 | 标准型 + 高性能云硬盘 | 标准型 + 增强型 SSD 云硬盘 | 高性能型 + NVMe SSD 硬盘 | 大存储型 + SATA HDD 本地硬盘 | | | | | | | | | |
Q1.1 | 0.99 | 0.88 | 0.28 | 2.21 | | | | | | | | | |
Q1.2 | 0.12 | 0.12 | 0.01 | 0.09 | | | | | | | | | |
Q1.3 | 0.04 | 0.05 | 0.05 | 0.04 | | | | | | | | | |
Q2.1 | 6.63 | 5.94 | 5.96 | 5.91 | | | | | | | | | |
Q2.2 | 5.46 | 4.93 | 1.79 | 4.93 | | | | | | | | | |
Q2.3 | 5.1 | 4.63 | 1.62 | 4.59 | | | | | | | | | |
Q3.1 | 8.74 | 8.3 | 2.74 | 8.19 | | | | | | | | | |
Q3.2 | 6.3 | 5.73 | 1.88 | 5.39 | | | | | | | | | |
Q3.3 | 5.53 | 5.27 | 3.45 | 4.9 | | | | | | | | | |
Q3.4 | 0.13 | 0.13 | 0.06 | 0.1 | | | | | | | | | |
Q4.1 | 8.55 | 7.69 | 5.45 | 11.42 | | | | | | | | | |
Q4.2 | 3.1 | 2.47 | 0.83 | 2.29 | | | | | | | | | |
Q4.3 | 2.46 | 2.28 | 1.43 | 2.02 | | | | | | | | | |
总时间 | 53.15 | 48.42 | 25.55 | 52.08 | | | | | | | | | |