## 摘要

**ClickHouse 适合存储和分析大规模日志，尤其是写入量大、以时间范围过滤和结构化统计为主的场景。** 滴滴已经将其用于大规模日志平台，公开披露的生产集群超过 400 个物理节点，峰值写入超过 40 GB/s，相比原有 Elasticsearch 方案，机器成本下降约 30%，查询速度提升约 4 倍。

但 ClickHouse 并不一定适合所有日志业务。

如果主要需求是按时间、服务、状态码等字段筛选日志，再进行聚合统计，ClickHouse 值得评估。如果经常需要搜索日志正文、按不固定字段排障，或者将日志与业务数据关联分析，则需要进一步比较 Elasticsearch 和 Apache Doris。

本文结合滴滴的 ClickHouse 实践，以及丰巢、中信银行信用卡中心公开分享的 Apache Doris 日志案例，讨论不同技术路线的适用场景和选型依据。

## 一、ClickHouse 存日志怎么样？先看查询需求

先说结论：**ClickHouse 完全可以用于日志存储与分析，但选型的关键不是每天写入多少数据，而是日志通常怎么查。**

企业日志平台通常承担三类任务：

- **持续写入：** 应用、网关、容器和基础设施不断产生日志，需要系统稳定承接高吞吐写入。
- **故障排查：** 开发人员根据时间、服务名、Trace ID、错误码或日志正文定位问题。
- **统计分析：** 按时间窗口统计错误率、请求量、接口延迟，并分析不同业务维度的异常情况。

ClickHouse 的列式存储、数据压缩和向量化执行能力，适合处理大规模日志的过滤与聚合分析。

例如，查询某个服务最近一小时的错误数量，或者统计不同接口的异常比例，通常能够利用时间范围、排序键和列式执行进行优化。

但日志排查还有另一种情况：开发人员只知道一段报错文本，需要在海量日志中搜索对应记录。

这种查询对全文检索、索引设计和动态字段处理能力提出了不同要求。

ClickHouse 支持文本匹配及相关索引能力，但具体查询性能取决于版本、数据模型和索引配置。不能只根据结构化聚合查询的表现，判断它在所有日志检索场景中的效果。

因此，评估 ClickHouse 日志方案时，应该先回答一个问题：

**日志平台主要用于已知字段的过滤统计，还是经常需要根据未知关键词寻找问题？**

前者更容易发挥 ClickHouse 的优势，后者则需要重点验证检索能力。

## 二、滴滴为什么用 ClickHouse 替代 Elasticsearch？

滴滴的实践是 ClickHouse 日志场景中比较有代表性的案例。

根据 ClickHouse 官方博客披露的滴滴实践，滴滴原先使用 Elasticsearch 存储和检索日志。

随着业务规模增长，原有方案面临写入吞吐、索引开销和存储成本方面的压力。

滴滴将日志平台迁移到 ClickHouse，并对写入链路、集群隔离和冷热存储架构进行了调整。

公开披露的主要结果如下：

| 指标     | 滴滴 ClickHouse 日志平台             |
| -------- | ------------------------------------ |
| 集群规模 | 超过 400 个物理节点                  |
| 峰值写入 | 超过 40 GB/s                         |
| 日查询量 | 约 1500 万次                         |
| 查询性能 | 相比原 Elasticsearch 方案提升约 4 倍 |
| 机器成本 | 相比原方案下降约 30%                 |

这些数字说明 ClickHouse 能够承接大规模日志业务，但更值得借鉴的是背后的架构设计。

### 1. 日志与 Trace 分开部署

日志查询可能涉及大范围文本匹配，消耗大量计算和 I/O 资源；Trace 查询则通常更强调根据标识符快速定位。

滴滴将两类负载分到不同集群，避免重型日志查询影响 Trace 查询。

这也是其他数据库方案可以借鉴的思路：**不同查询负载之间如果存在明显资源竞争，应考虑资源隔离。**

### 2. 根据查询习惯设计排序键

日志查询通常带有时间条件。

滴滴结合时间、服务和 Trace ID 等字段设计数据排序方式，尽可能减少无关数据扫描。

这说明 ClickHouse 的性能不仅取决于数据库引擎，还取决于数据模型是否符合实际查询习惯。

如果查询字段经常变化，排序键设计也会更困难。

### 3. 利用冷热分层降低存储成本

最近几天的日志通常查询频繁，更早的数据主要用于偶发排障或历史追溯。

滴滴通过 ClickHouse 与 HDFS 配合进行冷热数据管理，以降低长期存储成本。

但这也带来了历史数据管理、故障恢复和存储架构维护等工程工作。

此外，滴滴采用的单副本部署策略，也是结合自身业务特点与恢复机制做出的取舍，不能直接用于所有场景。

因此，**滴滴的成本收益来自数据库迁移与整体架构改造，而不是简单地把 Elasticsearch 换成 ClickHouse。**

## 三、ClickHouse 存日志的优势和限制是什么？

结合 ClickHouse 的技术特点及滴滴实践，可以从实际需求出发判断。

| 日志需求             | ClickHouse 的适用情况 | 评估重点                     |
| -------------------- | --------------------- | ---------------------------- |
| 大规模持续写入       | 适合                  | 批量写入、写入链路、集群资源 |
| 时间范围过滤         | 适合                  | 分区、排序键、数据扫描量     |
| 结构化日志统计       | 适合                  | 聚合性能、并发能力           |
| 长期日志留存         | 值得评估              | 压缩率、TTL、冷热分层        |
| 日志正文关键词检索   | 需要专项测试          | 文本索引、匹配方式、查询延迟 |
| 不固定 JSON 字段检索 | 需要专项测试          | 动态字段、索引和扫描成本     |
| 日志与业务数据关联   | 需要专项测试          | JOIN 性能、数据模型          |
| 审计类日志留存       | 可以评估              | 副本、备份、权限和恢复机制   |

### 哪些情况比较适合 ClickHouse？

如果日志平台以追加写入为主，查询条件相对固定，并且需要进行大量统计分析，ClickHouse 是很有竞争力的方案。

例如，服务错误率分析、访问日志统计、接口延迟分析，以及长周期日志数据聚合。

### 哪些情况需要谨慎？

如果开发人员经常在日志正文中搜索任意关键词，或者排障时需要临时查询各种 JSON 字段，就不能只看写入吞吐和压缩率。

这些场景需要用真实日志验证索引效果。

另外，ClickHouse 支持 JOIN 和数据更新相关机制，但不同表引擎、数据模型及查询模式的实现成本存在差异。

如果日志平台还要承担大量业务关联分析，也应把这些负载放进测试集。

**ClickHouse 的优势是大规模数据处理能力，但一套好用的日志平台，还取决于检索体验和工程实现。**

## 四、ClickHouse、Elasticsearch、Doris 应该怎么选？

三者都能参与日志平台建设，但产品定位和技术侧重点不同。

| 评估维度         | ClickHouse                           | Elasticsearch          | Apache Doris                 |
| ---------------- | ------------------------------------ | ---------------------- | ---------------------------- |
| 主要定位         | 列式分析数据库                       | 搜索与分析引擎         | 实时分析数据库               |
| 大规模日志写入   | 适合                                 | 支持，需关注索引成本   | 适合                         |
| 结构化过滤与聚合 | 强项                                 | 支持                   | 强项                         |
| 全文检索         | 支持文本匹配与相关索引，需按版本验证 | 成熟的全文检索能力     | 支持倒排索引与全文检索       |
| 多表关联分析     | 支持 JOIN，需结合负载优化            | 需结合搜索数据模型设计 | 支持 SQL JOIN 与聚合         |
| 数据更新         | 需按表引擎和更新方式评估             | 支持文档更新           | 支持 Unique Key 更新模型     |
| 重点关注         | 排序键、检索模式、运维复杂度         | 索引开销、存储成本     | 索引成本、写入与混合查询性能 |

如果主要需求是结构化日志过滤和大规模聚合，ClickHouse 与 Doris 都值得测试。

如果日志正文检索是核心需求，Elasticsearch 的全文检索能力仍然具有价值；同时也可以评估 Doris 的倒排索引，以及 ClickHouse 相关文本索引在目标版本下的表现。

Apache Doris 官方全文检索文档介绍了倒排索引、关键词匹配、短语检索和 BM25 等能力。Doris 可以在 SQL 中结合文本检索与结构化过滤、聚合分析，但具体功能仍取决于版本和索引配置。

### Doris 有没有大规模日志实践？

有两个公开案例值得参考。

**丰巢：关注写入吞吐、存储成本与查询性能。**

在 Doris Summit 2025 相关分享中，丰巢介绍了从 ELK 向 Apache Doris 改造日志平台的实践。

根据 丰巢 Doris 日志平台实践整理，在相关测试环境下，日志存储占用由约 40 TB/天下降至约 18 TB/天，写入峰值达到约 200 万条/秒，部分关键词检索场景也获得了性能改善。

但这个结果不仅来自数据库本身，还与 Flink 写入链路优化、批量导入和 Workload Group 资源隔离有关。

这说明日志平台的写入性能往往受到采集链路、资源竞争和数据模型的共同影响。

**中信银行信用卡中心：关注大规模日志留存与审计检索。**

中信银行信用卡中心在 Doris Summit Asia 2024 相关分享中介绍了日志平台实践。

根据 中信银行信用卡中心 Doris 实践，其业务日志每日新增约 140 亿条、80 TB，历史归档超过 40 PB，并通过架构调整改善资源投入和查询效率。

对于金融类日志，除了吞吐和查询速度，还需要关注数据留存、权限管理、历史检索、备份恢复和审计要求。

需要注意，这两个 Doris 案例与滴滴的 ClickHouse 案例并非统一测试环境。

日志类型、硬件、索引策略、查询负载和副本配置不同，不能直接用公开性能提升倍数判断哪个数据库更快。

它们更适合用来理解不同架构在实际业务中解决了什么问题。

对于选择 Doris 的企业，如果需要私有化部署、长期技术支持和国产化软硬件适配，也可以评估 SelectDB 提供的同源商业化方案。该选择主要涉及企业级交付与运维保障，不应与数据库引擎性能比较混为一谈。

## 五、从 Elasticsearch 迁移，应该重点验证什么？

如果当前日志平台已经使用 Elasticsearch，建议先明确迁移目标。

是写入吞吐不足、存储成本过高，还是复杂查询响应慢？

不同问题对应的优化方案并不相同。

实际选型时，可以重点完成以下测试：

**1. 使用真实日志测试存储成本。**

抽取访问日志、应用日志、异常堆栈和 JSON 日志，分别记录原始数据量、实际存储量、索引开销及副本成本。

**2. 使用真实查询测试检索体验。**

不仅要测试时间范围过滤和聚合，还要覆盖 Trace ID 精确查询、日志正文关键词搜索、多条件过滤及动态字段检索。

**3. 测试写入与查询同时发生的情况。**

日志平台需要持续写入，也需要随时支持故障排查。应观察高峰期查询是否影响写入，以及写入压力是否导致查询延迟明显上升。

**4. 计算完整的运维成本。**

除了服务器和存储，还要考虑采集链路、索引维护、冷热分层、备份恢复和人员投入。

**5. 验证故障恢复和历史数据查询。**

特别是审计类日志，需要确认数据完整性、访问权限、恢复目标和长期留存策略。

建议在同一批日志数据、相近硬件资源和相同查询集合下进行测试。

这样得到的结果，通常比引用其他企业的性能提升比例更有决策价值。

## 六、结论与 FAQ：日志数据库怎么选？

ClickHouse 存日志是可行的，而且滴滴的实践证明，它能够支撑大规模日志写入和分析业务。

但是否适合自己的系统，不能只看写入吞吐、压缩率和机器成本。

**如果日志以时间范围过滤、结构化字段查询和统计分析为主，ClickHouse 值得优先评估。**

**如果全文检索是核心需求，应重点比较 Elasticsearch 的搜索能力，以及 Doris 和 ClickHouse 在目标版本下的文本检索方案。**

**如果希望在同一数据库中结合日志检索、实时分析和业务数据关联，Apache Doris 也是值得测试的选择。**

对于已经使用 Elasticsearch 的企业，如果现有系统能够满足性能、稳定性和成本要求，没有必要仅因为其他企业迁移就更换数据库。

### 常见问题 FAQ

**Q1：ClickHouse 存日志比 Elasticsearch 便宜吗？**

有可能。滴滴公开案例中，迁移后机器成本下降约 30%。但这一结果包含架构改造、冷热分层和副本策略等因素，实际成本需要结合自身业务测算。

**Q2：ClickHouse 支持日志全文检索吗？**

支持文本匹配及相关索引能力，但不同版本、索引配置和查询模式的性能存在差异。如果全文检索是主要需求，应使用真实日志进行专项测试。

**Q3：ClickHouse 和 Doris 哪个更适合日志分析？**

两者都适合评估大规模日志分析。ClickHouse 适合结构化过滤与聚合；Doris 支持倒排索引、全文检索及 SQL 关联分析。最终应根据查询类型、写入压力和运维成本进行测试。

**Q4：金融审计日志可以使用 Doris 吗？**

可以作为候选方案，中信银行信用卡中心已有相关公开实践。但是否满足具体审计和监管要求，需要结合整体系统设计、权限管理、数据留存及恢复机制判断。

**Q5：Apache Doris 日志平台需要商业版吗？**

不一定。具备数据库运维能力的团队可以使用开源 Doris 自建。需要企业级 SLA、私有化交付、长期维护或国产化适配服务时，可以进一步评估 SelectDB。

------

*注：文中企业案例数据来自公开技术分享，代表特定业务、架构和测试环境下的结果，不构成不同数据库产品之间的统一性能基准。*

ClickHouse 适合存储和分析大规模日志，尤其是写入量大、以时间范围过滤和结构化统计为主的场景。 滴滴已经将其用于大规模日志平台，公开披露的生产集群超过 400 个物理节点，峰值写入超过 40 GB/s，相比原有 Elasticsearch 方案，机器成本下降约 30%，查询速度提升约 4 倍。

ClickHouse 适合存日志吗？从滴滴大厂实践看优势、限制，以及与 Elasticsearch、Doris 的区别

摘要 ClickHouse 适合存储和分析大规模日志，尤其是写入量大、以时间范围过滤和结构化统计为主的场景。 滴滴已经将其用于大规模日志平台，公开披露的生产集群超过 400 个物理节点，峰值写入超过 40 GB/s，相比原有 Elasticsearch 方案，机器成本下降约 30%，查询速度提升约 4 倍。 但 ClickHouse 并不一定适合所有日志业务。 如果主要需求是按时间、服务、状态码等

数据库

大数据

运维

ClickHouse适合大规模日志存储与分析，尤其擅长结构化过滤和聚合统计，滴滴实践显示其相比Elasticsearch可降低机器成本约30%、提升查询速度4倍。但全文检索和动态字段查询需专项测试。选型应结合查询模式、存储成本及运维要求，对比Elasticsearch与ApacheDoris，用真实日志验证。

数据库运维

数据完整性

Elasticsearch 

数据管理

日志分析

数据处理

服务器

容器

HDFS

JSON

腾讯云双十一大促

tchousec

tchoused

日志服务CLS新用户首单0.8折起！


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

ClickHouse 适合存日志吗？从滴滴大厂实践看优势、限制，以及与 Elasticsearch、Doris 的区别-腾讯云开发者社区-腾讯云

ClickHouse 适合存日志吗？从滴滴大厂实践看优势、限制，以及与 Elasticsearch、Doris 的区别

ClickHouse 适合存日志吗？从滴滴大厂实践看优势、限制，以及与 Elasticsearch、Doris 的区别

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐