首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    kafka删除topic数据

    一、概述 生产环境中,有一个topic的数据量非常大。这些数据不是非常重要,需要定期清理。 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 ? 二、清除方式 主要有3个: 1....topic 比如: log.retention.hours=3 表示保留3个小时 单个topic 针对单个topic策略,需要使用脚本kafka-configs.sh 此脚本不需要重启kafka就会生效...名 输出: Configs for topic 'test' are 这个表示为策略为空 删除topic数据 如果需要删除topic所有数据,使用命令 bin/kafka-topics.sh --delete... --topic test --zookeeper zookeeper-1.default.svc.cluster.local:2181 这个命令,请谨慎执行!!!...kafka是采用轮询的方式,轮询到这个topic时,删除10秒钟前的数据。

    5.2K20

    监控历史数据问题:监控历史数据管理不当,导致数据丢失

    明确历史数据管理需求在优化之前,需要明确以下需求:数据保留时间:例如短期(7 天)、中期(30 天)、长期(1 年)。存储位置:本地存储、远程存储或云存储。...示例历史数据管理需求清单:需求项描述数据保留时间短期:7 天,中期:30 天,长期:1 年存储位置本地存储 + 远程备份访问频率最近 30 天高频访问,超过 1 年低频访问数据量当前占用 50GB,预计每月增长...长期存储:将历史数据导出到文件或外部存储。...示例配置:# 配置 Zabbix 的短期存储History storage period: 30 daysTrends storage period: 365 days # 导出历史数据zabbix_export_data.sh...归档历史数据通过归档机制管理长期数据,避免占用过多存储资源。(1)压缩归档使用工具压缩归档文件。

    55110

    filebeat导向kafka多topic

    filebeat导向kafka多topic 多行匹配 之前使用filebeat去行读取GC日志,没有使用多行合并,配置如下: # pattern支持正则表达式,很爽 multiline.pattern:...true match: "after" 日志内容: b c b 匹配结果为: bc b 两段 官方文档 如何使用negate和match组合合并多行日志有很好的说明,记得文档一定坚持看完 kafka多topic...fields自定义字段及值,会在output输出时会做为map形式输出,在codec.string中可以使用%{[]}调用 容器中需要读取GC及Log4j产生的日志,在kafka端想创建两个独立的topic...,不想共用同topic这时需要filebeat动态支持根据fields定义字段切换topic,配置如下: filebeat: prospectors: - type: log...: "%{[fields.logResource]}"输出端配置自定义字段,filebeat output阶段获取输出对象中自定义值给topic赋值,因为topic获取的就是字符串

    5.1K41
    领券