ClkLog埋点与用户行为分析系统：架构升级与性能全面提升

随着越来越多企业在实际业务中使用 ClkLog，数据规模和分析需求也不断提升，部分用户日活已经超过10万，为了顺应这一趋势，ClkLog 秉持 “开放透明、持续演进”的理念，推出了迄今为止最重要的一次性能优化升级。新版本在大规模数据处理与复杂查询场景中，性能表现实现了跨越式提升。

经过多轮研发与严格测试，新版本现已正式上线：在原有付费版 1.0 的基础上架构全面升级，并同步发布全新的 2.0 版本。为用户带来更强的性能与更广的适用场景。

一、 查找性能突破点

1. 查找性能瓶颈

为了实现大规模数据处理与复杂查询场景的性能提升，我们需要先找到性能瓶颈所在，再逐一突破，对性能要求最高的是以下两个业务场景：

● 自定义查询

1) 查询时间范围较大时，耗时从秒级延长至分钟级

2) 维度数据分散时，甚至可能超时失败

● 漏斗查询

1) 多层漏斗 + 多日转化时，内存占用指数级增长

2) 数据量较大时会触发内存溢出保护，导致任务失败

2. 锁定问题根源

● 非结构化存储解析开销大 ：ClickHouse 日志缺省以JSON字符串存储模式，每次查询都要实时解析，CPU消耗高，无法利用索引优化

● 复杂查询全量扫描 ：CPU与内存压力倍增，最终导致性能急剧下降

二、 优化测试与性能对比

1. 最终优化方案

针对上述性能问题的根源，我们提出了多种优化方案，并通过多轮严格测试进行验证，最终确定了两套优化方案：

● 方案一 1.0升级版：ClickHouse新版本25.4 提供了原生JSON类型高性能处理方案。ClkLog同步将数据存储格式升级为“原生JSON类型”。

● 方案二 2.0版本：支持全新的宽表平铺模式，更容易兼容各种OLAP数据库以及二次开发。

2. 性能比对结果

● 业务场景一：自定义查询

● 业务场景二：漏斗查询

三、 新版本中两种存储模式

四、 版本选型指南（三步判断）

选择存储模式时，建议参考以下三步判断：

1.你的数据规模大吗？

➢ 小规模 → JSON

➢ 大规模 →宽表

2.查询复杂吗？

➢ 简单 → JSON（日志量大也能支撑）

➢ 复杂 →宽表

3.需要频繁二次开发/对接外部工具或上下游产品吗？

➢ 否 → 根据前两个因素选择JSON或宽表

➢ 是 → 宽表

五、 总结

1. 付费版衍生出两个存储架构的版本

● 原生JSON类型（即PRO1.0 & CDP1.0）

存储简单、成本低，适合 中小规模数据 + 简单查询 + 低频开发

● 宽表平铺模式（即PRO2.0 & CDP2.0）

性能强大、扩展性好，适合 大规模数据 + 高复杂查询 + 高频开发

2. 本次升级还包含其他优化

● 系统架构升级

新版日志采集处理架构，新增归档服务，满足合规性审计与历史数据回溯需求。

● 数据库版本升级

基于ClickHouse 25.4.12（2025年度官方发布版本）构建数据存储引擎，利用新版优势提高查询效率。

● 数据存储模式优化

事件日志数据分区策略调整为按自然月分区，提升基于时间范围的查询效率。

● 系统功能与性能优化

○ 自定义分析与漏斗分析模块新增对查询维度及全局筛选条件的自定义属性支持，允许用户通过配置动态添加任意自定义字段作为分析维度，提升自定义分析查询场景的灵活性。

○ 对漏斗分析场景进行专项优化，提升复杂分析任务的查询效率。

○ 对前端数据查询结果展示页面进行细节优化，包括缓存优化、刷新优化、图表展示优化等，改善用户操作体验。

无论是轻量应用还是企业级复杂场景，ClkLog都能帮助企业快速找到最适合的解决方案。