首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >fluentd 的使用

fluentd 的使用

作者头像
崔哥
发布于 2022-05-25 12:52:52
发布于 2022-05-25 12:52:52
63100
代码可运行
举报
文章被收录于专栏:崔哥的专栏崔哥的专栏
运行总次数:0
代码可运行

td-agent 是基于 fluentd 核心功能开发,td-agent 优先考虑稳定性而不是新功能。1️⃣

Fluentd 有9种类型的插件,其中InputOutput是最常用的

InputOutput一般是成对出现的,如果要测试InputOutput可以选stdout;如果要测试OutputInput可以选in_http。这两个组合是比较直观的

输入

in_forward

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#php客户端(fluent/logger)使用此源
<source>
    @type forward
    @id in_forward
    port 24224
    bind 0.0.0.0
</source>

in_http

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# http://<ip>:9880/debug.test?json={"hehe":"uu"}
<source>
    @type http
    @id in_http
    port 9880
    body_size_limit 32m
    keepalive_timeout 10s
</source>

in_monitor_agent

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# http://<ip>:24220/api/plugins.json
<source>
    @type monitor_agent
    @id in_monitor_agent
    bind 0.0.0.0
    port 24220
</source>

in_tail

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<source>
    @type tail
    @id in_tail
    path /var/log/nginx/access.log
    pos_file /var/log/nginx/access.log.pos
    tag nginx.access
    <parse>
        @type nginx
        keep_time_key true
    </parse>
</source>

输出

copy

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#输出到目录文件的同时,也输出到标准输出
<match debug.copy>
    @type copy
    <store>
        @type file
        path /var/log/fluent/myapp2
        compress gzip
        <buffer>
            timekey 1d
            timekey_use_utc true
            timekey_wait 10m
        </buffer>
    </store>

    <store>
        @type stdout
    </store>
</match>

elasticsearch

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<match nginx.access>
    @type elasticsearch
    @id out_es_nginx
    host elasticsearch
    port 9200
    index_name td.${tag}
    <buffer tag>
        timekey 1m
        timekey           1d
        timekey_wait      10m
        flush_mode        interval
        flush_interval    30s
    </buffer>
</match>

file

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<match debug.file>
    @type file
    #输出到此目录
    path /var/log/fluent/myapp
    compress gzip
    <buffer>
        timekey 1d
        timekey_use_utc true
        timekey_wait 10m
    </buffer>
</match>

stdout

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#标准输出,如果使用的docker,使用docker logs 可以看到
<match debug.stdout>
    @type stdout
</match>

fluentd-ui

fluentd-ui是一个基于浏览器的fluentd和td-agent管理器2️⃣

我首先尝试的docker部署,即fluentdfluentd-ui是两个独立的容器。最终发现fluentd-ui内包含一个fluentd,无法链接外部的fluentd。这样fluentd-ui的意义就不大了,没有继续研究。。。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
git clone git@github.com:fluent/fluentd-ui.git
#构建镜像
docker build -t registry.cn-hangzhou.aliyuncs.com/cuiw/fluentd-ui:20220301 .

参考

1️⃣ https://cloud.tencent.com/developer/article/1622211

2️⃣ https://docs.fluentd.org/deployment/fluentd-ui

https://www.cnblogs.com/fanren224/p/8457181.html

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
再见 Logstash,是时候拥抱下一代开源日志收集系统 Fluentd 了
fluentd 是一个实时的数据收集系统,不仅可以收集日志,还可以收集定期执行的命令输出和 HTTP 请求内容。数据被收集后按照用户配置的解析规则,形成一系列 event。每一个 event 包含如下内容:
iMike
2021/07/01
2.9K0
Fluentd 实现 Kubernetes Pod 日志收集
Fluentd 典型的部署架构需要包含两种不同角色:转发器(forwarder),聚合器(aggregator)。
后端云
2021/12/08
2.8K0
Fluentd 实现 Kubernetes Pod 日志收集
号称下一代日志收集系统!来看看它有多强
关于日志收集、处理、分析的方案,其实是很多,常见的就是ELK组合,即:Elasticsearch + Logstash + Kibana,官方网站:https://www.elastic.co/products
民工哥
2021/07/16
8920
号称下一代日志收集系统!来看看它有多强
使用Fluentd发送告警邮件
告警是预防系统故障的一个重要工具,目前已经有许多成熟的方案通过监控系统运行指标来进行阈值预警。
Fluentd中文网
2020/06/10
1K0
Fluentd简明教程
如果你的应用运行在分布式架构上,你很可能会使用集中式日志系统来收集它们的日志,其中我们使用比较广泛的一个工具就是 fluentd,包括在容器化时代用来收集 Kubernetes 集群应用日志 fluentd 也是使用非常多的。我们将解释它是如何工作的,以及如何根据需求来调整配置 fluentd。
CNCF
2020/11/02
3.8K0
Fluentd简明教程
面对海量日志,为什么选用fluentd作为核心组件?
"本文主要讲解了fluentd的为什么选用fluentd作为核心组件,它的优势是什么"
用户5166556
2020/06/15
1.8K0
使用Fluentd收集Docker容器日志
Docker提供了很多logging driver,默认情况下使用的json-file,它会把容器打到stdout/stderr的日志收集起来存到json文件中,docker logs所看到的日志就是来自于这些json文件。
颇忒脱
2019/03/13
2.4K0
Docker通过EFK(Elasticsearch + Fluentd + Kibana)查询日志
Elasticsearch是一个开源搜索引擎,以易用性着称。kibana是一个图形界面,可以在上面条件检索存储在ElasticSearch里数据,相当于提供了ES的可视化操作管理器。
py3study
2020/04/08
3.8K4
日志收集工具fluentd安装配置及使用介绍
两台服务器(注:Fluent-bit只支持centos 7以上版本,Fluentd可以支持centos 6版本),host1写日志到本地,然后通过Fluent-bit支持的forward到Fluentd,Fluentd将日志集中写入host2本地存储归档。
用户5166556
2020/06/15
3.8K0
使用fluentd作为docker日志驱动收集日志
docker默认的日志驱动是json-file,每一个容器都会在本地生成一个/var/lib/docker/containers/containerID/containerID-json.log,而日志驱动是支持扩展的,本章主要讲解的是Fluentd驱动收集docker日志.
用户2672162
2021/02/03
1.7K0
Kubernetes 集群日志监控 EFK 安装
Kubernetes 集群中会编排非常多的服务,各个服务不可能保证服务一定能稳定的运行,于是每个服务都会打印出各自的日志信息方便调试。由于服务的众多,每个服务挨个查看日志显然是一件非常复杂的事情,故而日志的统一收集、整理显得尤为重要。
高楼Zee
2021/03/16
1.8K0
Fluentd输出插件:rewrite_tag_filter用法详解
我们在做日志处理时,往往会从多个源服务器收集日志,然后在一个(或一组)中心服务器做日志聚合分析。源服务器上的日志可能属于同一应用类型,也可能属于不同应用类型。
Fluentd中文网
2020/06/10
3K0
Fluentd 日志拆分
大部分 Kubernetes 应用,我们都会将不同类型的日志记录到 stdout 中,比如在《Fluentd 简明教程》中提到的应用日志和访问日志,这两者都是非常重要的信息,因为他们的日志格式不一样,所以我们需要对他们分别进行解析,这就需要我们使用到 Fluentd 的一些插件来配合。本文我们将介绍如何将这些日志拆分为并行的日志流,以便可以进一步处理它们。
我是阳明
2020/11/03
1.8K0
Fluentd 日志拆分
Kubernetes集群环境下fluentd日志收集方案介绍
前段时间写了一篇日志收集方案,Kubernetes日志收集解决方案有部分读者反馈说,都是中小企业,哪有那么多资源上ELK或者EFK,大数据这一套平台比我自身服务本身耗费资源还要多,再说了,现阶段我的业务不需要格式转换,不需要数据分析,我的日志顶多就是当线上出现问题时,把我的多个节点日志收集起来排查错误。但是在Kubernetes平台上,pod可能被调度到不可预知的机器上,如果把日志存储在当前计算节点上,难免会出现排查问题效率低下,当然我们也可以选用一些共享文件服务器,比如GFS、NFS直接把日志输出到特定日志服务器,这种情况对于单副本服务没有任何问题,但是对于多副本服务,可能会出现日志数据散乱分布问题(因为多个pod中日志输出路径和名称都是一样的),下面我介绍通过CNCF社区推荐的fluentd进行日志收集。
用户5166556
2020/06/15
1.9K0
【分布式日志篇】从工具选型到实战部署:全面解析日志采集与管理路径
在分布式系统中,多个节点同时生成的海量日志需要集中管理与分析,以提高问题定位和系统运维的效率。本文将介绍分布式日志采集与管理的核心概念,深入探讨 Fluentd 和 Logstash 等工具的具体应用实践,并通过示例代码展示如何构建高效的日志平台。
网罗开发
2025/01/23
2280
【分布式日志篇】从工具选型到实战部署:全面解析日志采集与管理路径
通过测试 grep 插件,一起了解验证插件功能的方法
“ 本文是 filter_grep 过滤插件的使用示例,同时也演示了测试插件功能的一般性方法。”
Fluentd中文网
2021/02/05
8530
通过测试 grep 插件,一起了解验证插件功能的方法
浅谈 fluentd 使用
fluentd 作为开源的数据收集框架。C/Ruby开发,支持使用JSON文件来统一日志数据。可插拔架构,支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性,fluentd 的性能已在许多大型服务中得到检验。实际上,一个普通的 PC 机一次可以处理18,000 条消息/秒。
用户5166556
2020/04/28
4.6K0
浅谈 fluentd 使用
Fluentd性能优化实践
抛开自己配置错误的一些原因,Fluentd性能问题的最主要原因是因为Fluentd是使用Ruby写的,而Ruby有全局锁(GIL),因而在一个Ruby进程里面同时最多只有一个线程在运行。这样的话,Ruby的多线程对需要更多计算资源的操作显得无能为力,具体的体现可以用top查看进程的运行情况,如果Fluentd到达性能瓶颈的话,Fluentd的进程会一直占用100%左右的计算资源,再也不能提升,对于有四个核的计算机来说,最多也就使用的1/4的计算能力,这是极其浪费的。而且当Fluentd进程到达瓶颈后,数据会处理不完,导致数据收集的速度落后于数据产生的速度。
云原生小白
2021/07/20
1.3K0
Fluentd 命令行工具 fluent-cat 介绍
fluent-cat 是 Fluentd 提供的一个命令行工具,特别适合于对插件功能的验证性测试。
Fluentd中文网
2021/02/05
1.3K0
Fluentd采集报错“no patterns matched tag=xxx”
修改了多source到多output时,发现Fluentd采集不到原来的某些pod的日志,并报错如下:
用户9381573
2022/12/05
9830
相关推荐
再见 Logstash,是时候拥抱下一代开源日志收集系统 Fluentd 了
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档