如何防止td-agent / fluentd插入不需要的元数据？
要防止td-agent/fluentd插入不需要的元数据，可以通过以下几种方式实现：
- 配置过滤器：td-agent/fluentd提供了丰富的过滤器插件，可以根据需求配置过滤器来筛选和修改日志数据。可以使用
grep过滤器来匹配指定条件的日志，使用record_modifier过滤器来修改日志中的字段值，从而去除不需要的元数据。
例如，如果要删除message字段的内容，可以在配置文件中添加以下配置：
<filter your_tag>
@type record_transformer
<record>
message ""
</record>
</filter>更多过滤器插件和配置方式可以参考td-agent官方文档。
- 使用正则表达式：td-agent/fluentd支持使用正则表达式来匹配和替换日志数据。可以使用正则表达式来匹配需要去除的元数据，并将其替换为空字符串或其他值。
例如，如果要删除metadata字段及其值，可以在配置文件中添加以下配置：
<match your_tag>
@type rewrite_tag_filter
<rule>
key metadata
pattern .*
replace ""
</rule>
</match>这将匹配metadata字段的任何值，并将其替换为空字符串。
- 调整日志源配置：有时，不需要的元数据可能是源头发送的。可以检查日志源的配置，并相应地调整它以减少或删除不需要的元数据。例如，在应用程序中，可以通过修改日志输出格式或配置来仅输出必要的字段。
综上所述，通过配置过滤器、使用正则表达式和调整日志源配置，可以防止td-agent/fluentd插入不需要的元数据。具体的方法取决于需求和具体场景。
相关·内容
2回答
我已经在CentOs 7中安装了fluentD( td-agent )版本2，现在我无法启动td-代理.启动td-agent时，它抛出了一些错误。
-单位td-代理服务已开始启动。2月02 14:53 chninitefk01 fluentd2282: chninitefk01 find_spec_for_exe': can't find gem fluentd (>= 0.a) (Gem::GemNotFoundException) Feb 02 14:53:39 chninitefk01 fluentd[2282]: from /opt/td-agent
浏览 0提问于2018-02-02得票数 2
1回答
当我跑的时候
$ sudo service td-agent status
● td-agent.service - td-agent: Fluentd based data collector for Treasure Data
Loaded: loaded (/lib/systemd/system/td-agent.service; enabled; vendor preset: enabl
Active: active (running) since Mon 2019-04-01 04:05:36 UTC; 6min ago
Docs: https://docs.t
浏览 0提问于2019-04-01得票数 1
在为loggly创建存储时配置的td代理上出现以下错误。所需信息如下
ubuntu 14.04. fluent-plugin-forest (0.3.3) fluent-plugin-loggly (0.0.8)
2016-10- 10 :18:58 +0000错误:失败配置/启动子输出失败:错误的参数数(2为0) 2016-10: 10:18:58 +0000错误: /opt/td-agent/embedded/lib/ruby/gems/2.1.0/gems/net-http-persistent-3.0.0/lib/net/http/persistent.rb:505:in initia
浏览 4提问于2016-10-10得票数 2
我在CentOS中使用td-agent .
当我输入"service td-agent start“时，我看到了”启动td-agent: OK“。为了检查它，我输入了"service td-agent状态“，但是我看到了”td死了，但是pid文件存在“。我不明白这个结果。请告诉我怎么解决这个问题。
当我输入"service agent start“时，我看到了这条消息。
Starting td-agent: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluentd-0.10.39/lib/fluent/supervi
浏览 7提问于2013-10-08得票数 2
回答已采纳
我正在尝试通过读取stdout中的日志来调试fluentd配置文件。这是我的conf的相关部分： <match mytag>
@type stdout
</match> 我在哪里可以读到stdout？我以td-agent的身份运行fluentd。我用以下命令搜索了进程ID： ps aux | grep td-agent 然后，使用PID，我运行 lsof -p${PID} 这给了我，除了其他东西，这一行： ruby 4887 td-agent 1w CHR 1,3 0t0 7 /dev/nul 我还尝试了这个：
浏览 11提问于2019-10-13得票数 0
回答已采纳
1回答
我想知道如何让在亚马逊linux2上读取apache日志文件。似乎td没有读取日志文件的权限，但我无法修复这个问题。我使用迷航器在virtualbox中安装了亚马逊linux2。
参考
版本
虚拟框: 5.2.16 r123759
流浪汉:流浪者2.1.2
1使用ansible安装apache和td-agent。
# ansible/playbook.yml
# install apache
- name: install httpd (apache)
become: yes
yum:
name: httpd
state: present
# in
浏览 1提问于2018-08-06得票数 0
1回答
我尝试用以下命令安装Fluentd：
$ brew install "http://toolbelt.treasuredata.com/brew/td-agent.rb"
发生了一些错误。以下是错误日志：
/usr/local/Cellar/td-agent/1.1.17/lib/ruby/site_ruby/1.9.1/rubygems/dependency.rb:298:in `to_specs': Could not find 'fluentd' (>= 0) among 7 total gem(s) (Gem::LoadError)
fro
浏览 3提问于2014-03-13得票数 1
回答已采纳
我正在使用离子Fluentd + ElasticSearch + Kibana，我需要使用stdout将mysql数据推送到td-agent.log。当我启动时，它在日志中显示了一些错误。
这是我的错误：
2016-06-09 12:21:36 +0530 [info]: Worker 0 finished unexpectedly with status 1
2016-06-09 12:21:37 +0530 [info]: reading config file path="/etc/td-agent/td-agent.conf"
2016-06-09 12:21:37 +
浏览 8提问于2016-06-09得票数 1
回答已采纳
我让td-agent将消息发送到Kafka队列，没有任何问题。但是现在我得到了以下错误。我重新启动了代理，但没有成功。我手动刷新了缓冲区，但一无所获。 欢迎任何关于这方面的建议。 2019-03-20 16:44:06 +0100 warn：#0发送异常发生:无法向test发送消息-250-events/0 2019-03-20 16:44:06 +0100 warn：#0异常回溯: /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:330:in deliver_mes
浏览 103提问于2019-03-21得票数 0
fluentd配置文件不在默认的/etc/ td-agent /td-agent.conf位置，如何启动td-agent服务？我试着用
td-agent -c /home/charith/Documents/fdConfig/configuration.conf
但不确定在日志文件发生更改后如何重新启动服务！
浏览 9提问于2019-07-24得票数 0
我正在按照步骤使用test启用TLS/SSL加密，并且无法通过测试()：
1)创建证书，
$ openssl req -new -x509 -sha256 -days 1095 -newkey rsa:2048 -keyout fluentd.key -out fluentd.crt
( 2)安装，
$ sudo mkdir -p /etc/td-agent/certs
$ sudo mv fluentd.key fluentd.crt /etc/td-agent/certs
$ sudo chown td-agent:td-agent -R /etc/td-agent/certs
$ su
浏览 3提问于2018-05-05得票数 2
1回答
为什么这不过滤？
<source>
@type dummy
tag kubernetes.log
dummy [{"log":"1234", "stream":"stdout", "kubernetes":{"container_name":"log-collector-fluentd" }, "time":"2017-05-04T15:01:21.000000000Z"}]
</source>
<filte
浏览 2提问于2017-05-05得票数 1
回答已采纳
1回答
我在tg-agent安装中使用了fluentd。我观察到我的默认td-agent.log文件正在增长，没有任何日志轮换。
我使用以下命令来运行td-agent
/etc/init.d/td-agent start
我找到了下面的链接，它告诉我如何配置旋转，看起来这是fluent本身的。
有人知道如何使用我正在使用的命令配置轮换吗？我还有td-agent配置文件。
浏览 6提问于2020-08-08得票数 0
我正在使用fluentd mysql-replicator插件将我的单个mysql数据推送到elasticsearch，但我的fluentd抛出了以下错误。internet上没有足够的文档可用，因此请帮助注册此错误。 我使用的是windows本地的td-agent v3 (fluentd 1.10.x)版本，Elasticsearch版本为7.7.1。我以C:\opt\ Td-agent >fluentd -c etc\td-agent\td-agent.conf的身份从Td-agent命令提示符运行此配置文件 2020-12-07 13:31:42 +0530 [info]: #0
浏览 15提问于2020-12-07得票数 0
回答已采纳
我在GCP虚拟机上安装了td-agent，检查服务是否运行(通过"systemctl status td-agent")。然后我运行"/usr/sbin/td-agent-gem install fluent- plugin -google-cloud“来安装stackdriver输出插件。安装成功，但td-agent在重启后不再工作。systemctl状态td-agent显示：
Job for td-agent.service failed because the control process exited with error code. See "sys
浏览 5提问于2019-10-17得票数 0
我计划将日志发送到我们的协作弹性搜索集群。
我使用td-agent将日志转发到连接到协作弹性搜索集群的Kafka端点。我已经安装了带有td-agent的fluent- plugin -kafka插件，可以将日志发送到连接到协作弹性搜索集群的Kafka端点
插件网址：
日志发送路径如下：
logs --> td-agent+fluent-plugin-kafka --> kafka cluster --> elasticsearch --> kibana
问题是，Kafka端点被配置为支持SASL身份验证而不支持SSL，因为日志只通过协作网络路由，我猜不需要支持SSL。
浏览 17提问于2019-04-30得票数 1
我在服务器上安装了一个名为Fluentd的日志软件，它在/etc/td-agent/td-agent.conf中附带了一个conf文件。这个文件充满了句子和示例，这就是所谓的“标准配置”。我想创建一个shell脚本，删除文件中的所有内容，然后添加以下内容：
{ echo "include /home/adrian/app/config/fluentd/td-agent.conf" } >> /etc/td-agent/td-agent.conf
但是在添加这个之前，我需要擦除文件的内容(而不是文件本身)。我不知道如何打开/etc/td-agent/td-age
浏览 1提问于2013-06-27得票数 0
回答已采纳
1回答
我不知道如何使用fluentd编写日志文件，欢迎任何帮助。附言:我知道我的配置文件可能充满了冗余，这是因为我尝试了很多东西。 我正在使用Td-Agent提示符和以下命令执行: fluentd -c etc\td-agent\td-agent.conff <source>
@type forward
bind 0.0.0.0
port 24230
</source>
<match **>
@type stdout
</match>
<match **>
@type
浏览 23提问于2019-02-01得票数 2
回答已采纳
同时开始流畅地在窗口中作为"fluentd -c 'D:\opt\td-agent\etc\td-agent\td-agent.conf"。
我得到的错误是：
“系统找不到指定的路径。”
浏览 0提问于2019-05-13得票数 0
我正在开发Fluentd、 elasticsearch 和Kibana，以便将mysql数据库数据推入elasticsearch--我使用的是插件fluentd mysql--复制器插件，但是我的失败抛出了错误
2016-06-08 15:43:56 +0530 [warn]: super was not called in #start: called it forcedly plugin=Fluent::MysqlReplicatorInput
2016-06-08 15:43:56 +0530 [info]: listening dRuby uri="druby://12
浏览 4提问于2016-06-08得票数 0
回答已采纳
1回答
我已经为使用Filebeat的集中式日志记录系统配置了ELK-stack (Elasticsearch、Logstash和Kibana)集群。现在，我被要求使用Filebeat重新配置为EFK (Elasticsearch、FluentD和Kibana)。我已经禁用了Logstash并安装了FluentD，但是我不能使用Filebeat配置FluentD。我已经为文件节拍安装了，并修改了/etc/td-agent/td-agent.conf，但它似乎不起作用。
td-agent.conf
<source>
@type beats
tag record['@metad
浏览 0提问于2017-09-21得票数 7
这个问题是关于fluentd的可靠性的。
我有三个节点。在node1和node2上，应用程序正在运行，其日志记录在单独的文件中。Node3是我们用来保存日志的日志服务器。
我在N1和N2上安装了td-agent，在N3上安装了日志收集器td-agent。如果td-agent以某种方式在N1上崩溃，N1将如何收集日志。N1的日志会丢失吗？
浏览 0提问于2015-10-20得票数 0
在Ubuntu18.04上，我运行的是td-agent v4，它使用Fluentdv1.0内核。首先，我使用TCP输入和stdout输出对其进行了配置。它可以很好地接收和输出消息。然后，我将其配置为以10s的刷新间隔输出到文件，但在目标路径中看不到任何生成的输出文件。 这是我的文件输出配置： <match>
@type file
path /var/log/td-agent/test/access.%Y-%m-%d.%H:%M:%S.log
<buffer time>
timekey 10s
timekey_use_utc true
浏览 68提问于2021-02-06得票数 1
我正在尝试将Linux审计日志发送到一个弹性端点。我已经通过RPM包安装了它。对于上下文，我使用的是CentOS Linux版本8.3.2011。我的Linux审计日志在:/var/log/audit.log下。我已经一遍又一遍地检查审计日志是否存在。
日志从来没有显示我曾经跟踪过日志。下面是我的配置：
<source>
@type tail
tag linux_logs.raw
path /var/log/audit/audit.log
read_from_head true
pos_file /etc/td-agent/test.pos
<pars
浏览 8提问于2021-06-15得票数 0
我使用fluentd来跟踪日志文件，并将日志推送到一个弹性搜索索引。我有两个问题-
1)对于给定的文件，fluentd如何存储它最后读取的位置？我的pos文件中的一个示例是-
/myfolder/myfile.log 00000000004cfccb 0000000000116ce0
值00000000004cfccb和0000000000116ce0表示什么？
2)这个特定的文件(myfile.log)总共有2520行。由于某种原因，最后100行没有被读取。我重新启动了td代理，但它仍然无法读取最后100行。这种情况什么时候会发生？
我的td-agent源码看起来像这样
浏览 8提问于2015-08-19得票数 3
1回答
我已经在我的Ubuntu18.04机器上下载了elasticsearch & kibana。它们都运行得很好，我可以访问它们。以下是elasticsearch的详细信息：
{
"name" : "TX-G1-000",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "AobC_iiNSyyNftYl3pUJ7w",
"version" : {
"number" : "7.1
浏览 251提问于2021-09-20得票数 0
我目前有一个Dockerfile，其中包含以下CMD行：
CMD ["/bin/bash", "-c", "envsubst < td-agent.conf | tee /etc/td-agent/td-agent.conf && td-agent"]
映像构建得很好，但当我运行它时，它会抱怨：
Usage: td-agent [options]
-s, --setup [DIR=/etc/td-agent] install sample configuration file to the directory
-c, --
浏览 1提问于2016-10-07得票数 1
场景如下:我使用out_forward和in_forward插件将数据/包从一个fluentd节点发送到另一个节点，并希望将这些数据保存在mongodb中。为了实现这一点，我将上述数据写入文件，并使用@tail协议跟踪文件，如我的配置中所示。文件。然而，这些数据在mongodb中都不可用，这是我不理解的。我很感谢所有人的帮助，提示一下。谢谢。
<source> #in forward
@type forward
port 24224
bind 0.0.0.0
</source>
<match **>
@type file
path
浏览 0提问于2018-07-31得票数 0
1回答
我继续得到以下错误：
2015-06-16 05:21:17 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2015-06-16 05:21:17 +0000 error_class="Faraday::SSLError" error="Unable to verify certificate, please set `Excon.defaults[:ssl_ca_path] = path_to_certs`, `ENV['SSL_CERT_DIR'] = path_
浏览 6提问于2015-06-16得票数 2
我使用fluentd作为数据收集器。但距离时间的毫秒数正在被删除。您能建议一个解决方案，使生成的输出保持毫秒级吗？
只有当我指定logstash_format为真时，时间才会被解析。但正因为如此，即使我指定了索引名称，索引也被创建为'Logstash**‘。如果我没有指定'logstash_format true‘，那么除了时间域之外，所有的东西都会被解析。
下面是我fluentd配置文件，
<source>
type tail
tag json.nwdata
path /etc/td-agent/access.log
pos
浏览 0提问于2015-08-14得票数 0
2回答
在Amazon Linux上进行yum更新后，Td-agent无法工作。
Td-agent 1.1.20-0起作用，但1.1.21-0不起作用，s3中没有日志数据。
错误消息是
2015-01-15 06:36:40 +0900 [error]: failed to configure sub output s3: Other '' plugin already use same buffer_path: type = , buffer_path = /var/log/td-agent/buffer/s3
2015-01-15 06:36:40 +0900 [error]: /
浏览 6提问于2015-01-15得票数 1
我们在我们的项目中使用的是spring boot java应用程序，在将日志数据写入文件时有一些日志内容丢失，所以我们希望在运行应用程序时将直接从控制台生成的日志发送到fluentd，目前我们正在使用fluentd中的tail插件将日志从文件发送到kibana，有没有办法在控制台中收集直接生成的日志
<source>
@type tail
path /var/log/test.log
pos_file /var/log/td-agent/testlog.pos
tag apache.access
<parse>
@type json
</parse>
浏览 2提问于2021-02-27得票数 0
我正在尝试将fluent-bit客户端(在Docker容器中运行)连接到运行Fluentd with TLS的服务器。 流畅位客户端配置： [SERVICE]
Flush 2
Daemon Off
Log_level debug
[INPUT]
Name Dummy
[OUTPUT]
Name forward
Host SERVER_IP
Port PORT
tls on
tls.ca_file /tls/certs/ca.crt.pem
tls.crt_fi
浏览 167提问于2020-11-07得票数 0
我正在学习使用FluentD。我试着用它发送日志到coralogix。我已经安装了td，并通过使用尾插件来跟踪日志文件并输出插件将其写入另一个目录，从而使它以一种基本的方式工作。因此，我知道我的安装工作，但我不能让http插件发送数据到coralogix。我甚至没有让td-agent.service守护进程运行，在the日志文件中也没有错误信息。我得到的只有来自systemctl状态的以下信息：
ec2-user@ip-172-31-8-39 td-agent$ sudo systemctl状态-l td-agent.service td-agent-agent:基于Fluentd的数据收集器
浏览 8提问于2022-10-03得票数 0
回答已采纳
我正在尝试使用@type record_transformer屏蔽密码，我的一些应用程序日志语句没有消息，因为td-agent日志文件中出现以下错误，是否有任何可以克服这个问题的方法。如果找不到消息字段，如何忽略此字段。 2021-09-28 18:05:15.751529402 +0000 fluent.warn: {"error":"#<RuntimeError: failed to expand `record[\"message\"].gsub(/[Pp]assword*([^,]*)/,'******').gsub(/(
浏览 22提问于2021-09-28得票数 0
我目前正在做一些关于异步事件日志项目的研究。在fluentd的文档中，我看到了内置的in_forward插件。我试着用fluentd的php事件记录器来使用它。我正在尝试使用fluentd的不同插件将本地日志转发到中央日志服务器。例如，我使用cassandra-cql插件来保存cassandra列族上的事件日志。
所以，我的问题是：
在使用forward时，我到底什么时候能得到响应？
是在成功写入本地td-agent之后吗？是在成功写入cassandra之后吗？它是完全异步的吗？
浏览 2提问于2013-07-19得票数 0
我有一个安装了ElasticSearch1.3.2的CentOS 6.5服务器。
我的elasticsearch.yml配置文件是对以elasticsearch作为默认值的一次配送的最小修改。删除所有注释行后，它看起来如下：
cluster.name: xxx-kibana
node:
name: "xxx"
master: true
data: true
index.number_of_shards: 5
index.number_of_replicas: 1
path:
logs: /log/elasticsearch/log
浏览 0提问于2014-10-10得票数 13
回答已采纳
1回答
我正在尝试使用fluentd将mongo指标发送给statsd，但我遇到了一些问题。
这是我的conf：
<source>
type serverstatus #https://gist.github.com/chrischang12/943a69b02f3435281557
uri mongodb://user:pass@localhost:27017/admin
stats_interval 2s
</source>
<match serverstatus.**>
type statsd
host udp.mystatsdserver
浏览 0提问于2014-10-09得票数 0
我正在寻找一种将source_hostname发送到fluentd目标服务器的方法。
我在logstash上，但我们有代理/服务器端，并且我们有变量来获取logstash服务器配置文件中的源主机名。
我使用FluentD搜索类似的方法，但我找到的唯一方法是在源标记"#{Socket.gethostname}“中设置主机名。但是在这种情况下，我不能在目标日志文件的路径中使用主机名。基于来源：
在服务器端，这就是我想要做的：
<source>
type forward
port 24224
bind 192.168.245.100
</source
浏览 5提问于2015-04-09得票数 3
运行Fluentd3.5，这似乎是在未能刷新缓冲区之后放弃的。我可以看到有一个retry_forever参数当前设置为false，但是我宁愿找出导致它的原因，并将重试阈值设置为更高的值。
配置：
<source>
@type tail
path "XXX"
tag "XXX"
pos_file "XXX"
<parse>
@type "json"
</parse>
</source>
<match *.**&g
浏览 3提问于2019-10-03得票数 5
我有一个场景，nginx运行在一个容器中，fluentd运行在另一个容器中，我将nginx日志映射到var/logs/nginx目录，但是无法使用fluentd将日志检索到elastic search，对此，请帮助我：
fluentd.conf
<source>
@type forward
port 24224
bind 0.0.0.0
</source>
<source>
@type tail
path /var/log/nginx/access_in_log
#pos_file /var/log/td-agent/nginx-ac
浏览 0提问于2017-10-09得票数 2
我们能连接多个名为captures的正则表达式吗？
我正在尝试使用以下regex在fluentd文件中获取"User“& "Serial_Number”，但只能获得名(User)。
td-代理机构f：
<source>
type tail
format /(?<User>(?<=user:).*?(?=\]))(?<Serial_Number>(?<=sn:).*?(?=\]))/
tag xxxxxx
path /app/logs/xxxx.log
pos_file /var/log/td-
浏览 2提问于2015-07-29得票数 4
回答已采纳
1回答
我正在尝试使用FluentD通过fluent-plugin-sql从SQL Server获取数据。我安装了tiny_tds和activerecord-sqlserver-adapter gem，我的配置如下所示： <source>
@type sql
@id output_sql
host "sqlserverhost.aws_region.rds.amazonaws.com"
database db_name
adapter sqlserver
username user
password pwd
tag_prefix myrdb # optional, but
浏览 26提问于2020-11-19得票数 0
我目前正试图建立一个系统的转发器和聚合实例的流畅。我的转发器配置是->
<source>
@type tail
format json
path /app/node-apps/something-fe/logs/itt-logs.log
tag td.pm2.access
</source>
## File output
## match tag=local.** and write to file
<match td.pm2.*>
@type file
path /opt/td-agent/forward/log/flue
浏览 1提问于2017-01-20得票数 1
回答已采纳
我已经部署了一个fluentd侧面容器和我的应用程序在一个荚收集日志从我的应用程序。
这是我的侧舱单sidecar.yaml
spec:
template:
spec:
containers:
- name: fluentd
image: fluent/fluentd
ports:
- containerPort: 24224
protocol: TCP
imagePullPolicy: IfNotPresent
resources
浏览 7提问于2020-10-16得票数 0
目前，我们有以下设置：
多台AWS EC2机器，有些有一个码头容器正在运行，有些是无码头的。为了检索Syslogs、webserver日志(Apache)和应用程序日志，我们在EC2实例上运行了一个Fluentd代理(td- agent )。它们将错误日志消息转发到集中式Fluentd服务器(日志聚合器)，然后再将它们发送到Graylog。对于访问日志，实例上的所有td-代理将它们直接转发给，后者每5分钟将这些日志存储在S3上(缓冲)，并将由AWS雅典娜搜索。Docker容器上的访问日志被写入stdout，错误日志被写入stderr。用于fluentd的对接程序日志驱动程序用于将它们转发到安装
浏览 0提问于2017-10-18得票数 1
回答已采纳
我正在尝试将日志从fluentd发送到另一个fluentd，它们都安装在我通过PuTTy访问的两台不同的机器(ubuntu)中。
日志转发器的Fluentd.conf的match子句如下：
<source>
@type tail
path /opt/bitnami/apache2/logs/*.gz
pos_file /var/log/td-agent/httpd-access.log.pos
tag apache.access
format apache2
</source>
<match **>
@type copy
<store&
浏览 4提问于2022-04-13得票数 0
如何使用时间戳生成日志文件名，例如Catalina日志是使用时间戳生成的。 catalina.2018-11-05.log catalina.2018-12-03.log catalina.2018-12-10.log 我想让fluentd根据文件名中的时间戳访问最新的日志文件。你能建议在td-agent.conf中源路径应该是什么样子吗？ <source>
@type tail
path D:\apache-tomcat-9.0.12\logs\catalina.**[TODAY]**.log
pos_file C:\opt\td-agent\javalogs.lo
浏览 10提问于2019-01-02得票数 0
回答已采纳
1回答
我使用Fluentd来捕获和合并HDFS中的Apache日志数据。我将代理配置为将数据写入HDFS，即/etc/td-agent/td-agent.conf文件包含：
<source>
type tail
path /var/log/httpd/access_log
pos_file /var/log/td-agent/httpd-access.log.pos
tag apache.access
format apache2
</source>
<match apache.access>
type webhdfs
host fq
浏览 4提问于2015-01-21得票数 0
回答已采纳
我已使用tdagent成功连接了本地计算机上的elasticsearch，但在过渡环境中，我需要连接aws elasticsearch，如果我使用ruby安装了fluentd，则会有一个插件
gem 'fluent-plugin-aws-elasticsearch-service'
但是，当使用fluentd和tdagent时，我们如何配置aws-elasticsearch？
<match catalog>
@type elasticsearch
host https://elastic_devel_aws.com
# port 9200
logst
浏览 47提问于2020-02-14得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
