filebeat导向kafka多topic
原创
filebeat导向kafka多topic
多行匹配
之前使用filebeat去行读取GC日志，没有使用多行合并，配置如下:
# pattern支持正则表达式，很爽
multiline.pattern: '^\[.+\]'
multiline.negate: true
multiline.match: "after"- 区配效果pattern: '^b' negate: true match: "after" 日志内容: b c b 匹配结果为: bc b 两段
- 官方文档 如何使用
negate和match组合合并多行日志有很好的说明，记得文档一定坚持看完
kafka多topic
fields自定义字段及值，会在output输出时会做为map形式输出，在codec.string中可以使用%{[]}调用
容器中需要读取GC及Log4j产生的日志，在kafka端想创建两个独立的topic，不想共用同topic这时需要filebeat动态支持根据fields定义字段切换topic，配置如下:
filebeat:
prospectors:
- type: log
paths:
- /data/logs/gc.log
close_rename: true
fields:
logResource: "fuck-log"
tail_files: true
- type: log
enabled: true
paths:
- /data/logs/${APP_NAME}/*.log
fields:
appName: ${APP_NAME}
logResource: "shit-log"
### Multiline options
multiline.pattern: '^\[.+\]'
multiline.negate: true
multiline.match: "after"
tail_files: true
registry_file: /var/lib/filebeat/registry/registry
#================================ kafka =====================================
output.kafka:
hosts: ["x.x.x.x:9092"]
topic: "%{[fields.logResource]}"
partition.round_robin:
reachable_only: false
required_acks: 1
compression: gzip- 自定义字段
fields.logResource在不同input根据业务配置名称 topic: "%{[fields.logResource]}"输出端配置自定义字段，filebeat output阶段获取输出对象中自定义值给topic赋值，因为topic获取的就是字符串
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
腾讯云开发者
