Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >logstash之input配置file类型详解

logstash之input配置file类型详解

作者头像
苦咖啡
发布于 2018-04-28 05:07:30
发布于 2018-04-28 05:07:30
1.5K00
代码可运行
举报
文章被收录于专栏:我的博客我的博客
运行总次数:0
代码可运行
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
监听文件变化,记录一个.sincedb的数据库文件跟踪监听文件读取位置(记录的是时间戳)

配置案例
input {
 file {
 path => ["/data/test/test/*.log"]
 type => "demo-log"
 start_position => "beginning"
 }
}
output {
 stdout{
 codec=>rubydebug
 }
}
检查配置
bin/logstash -f /etc/logstash/conf.d/demo.conf -t
启动
bin/logstash -f /etc/logstash/conf.d/demo.conf
测试
在/data/test/test/目录建立1.log文件,然后执行
echo `date` >> /data/test/test/1.log
观察
{
          "path" => "/data/test/test/1.log",
    "@timestamp" => 2017-06-12T06:43:15.742Z,
      "@version" => "1",
          "host" => "192-168-56-201",
       "message" => "Mon Jun 12 06:43:15 UTC 2017",
          "type" => "demo-log"
}

配置说明
path 	监听文件绝对路径,可以使用字符串或数组
excude 	排除不监听的文件,可以使用字符串或者数组
type 	事件添加分类字段 
start_position 	只能是"beginning"或者"end",默认是end,end类似tail -f;beginning是从文件开头开始(导入历史数据)
stat_interval 	每隔多久检查一次文件变化,默认1s
add_field		新增一个字段
tags			用于增加一些标签,这个标签可能在后续的处理中起到标志的作用
delimiter		分行标识
discover_interval 每隔多久检查是否有新文件,默认15s
close_older		如果监听的文件达到设置的时间内未改动则关闭文件句柄,默认3600
ignore_older	在每次检查文件列表的时候,如果一个文件的最后修改时间超过这个值,就忽略这个文件。默认是 86400 秒
sincedb_path	记录读取文件位置
sincedb_write_interval	每隔多久写入读取文件位置信息,默认15s  
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017年6月12日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
[logstash-input-file]插件使用详解
  前篇介绍过Logstash的使用,本篇继续深入,介绍下最常用的input插件——file。   这个插件可以从指定的目录或者文件读取内容,输入到管道处理,也算是logstash的核心插件了,大多数的使用场景都会用到这个插件,因此这里详细讲述下各个参数的含义与使用。 最小化的配置文件   在Logstash中可以在 input{} 里面添加file配置,默认的最小化配置如下: input { file { path => "E:/software/logstash-1.5.
用户1154259
2018/01/17
1.5K0
[logstash-input-file]插件使用详解
LogStash的配置详解
Logstash用{}来定义区域。区域内可以包括插件去预定义,可以在一个区域内定义多个插件。插件区域则可以定义键值对来设置。示例:
趣学程序-shaofeer
2023/09/09
1.6K0
Logstash:处理多个 input
这里的 input 可以支持多个 input,同时多个 worker 可以处理 filter 及 output:
腾讯云大数据
2020/07/31
2.9K0
Logstash:处理多个 input
logstash 配置
https://github.com/chudaozhe/efk/tree/master/logstash
崔哥
2022/05/25
5360
Logstash:多个配置文件(conf)
在前面的一篇文章 “Logstash:处理多个input” 中,我们介绍了如何使用在同一个配置文件中处理两个 input 的情况。在今天这篇文章中,我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法,有多个处理方法:
腾讯云大数据
2020/08/05
4K0
Logstash:多个配置文件(conf)
LogStash的安装部署与应用
1、Logstash是一个接收,处理,转发日志的工具; 2、Logstash支持网络日志、系统日志、应用日志、apache日志等等,总之可以处理所有日志类型; 3、典型应用场景ELK:logstash负责采集、解析日志,elasticsearch负责数据存储,kibana负责前端报表展示。
趣学程序-shaofeer
2019/09/19
2.8K0
LogStash的安装部署与应用
kibana日志管理与配置
131上执行 在logstash的那台机器上面查看下端口 # netstat -lntp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:22 0.0.0.0:*
老七Linux
2018/05/31
6.3K0
docker安装logstash
需要使用docker 安装Logstash,来收集文件/var/log/messages
py3study
2020/09/24
9.2K0
docker安装logstash
Linux安装Logstash
本文环境是在腾讯云服务器CentOS7.2搭建的,JDK1.8,Logstash-5.4.2。
dalaoyang
2018/11/07
1.6K0
第五章·Logstash深入-日志收集
-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
DriverZeng
2022/09/26
5330
第五章·Logstash深入-日志收集
《Learning ELK Stack》3 使用Logstash采集、解析和转换数据
3 使用Logstash采集、解析和转换数据 理解Logstash如何采集、解析并将各种格式和类型的数据转换成通用格式,然后被用来为不同的应用构建多样的分析系统 ---- 配置Logstash 输入插
yeedomliu
2020/07/02
1.7K0
ELK在渗透测试中的利用与安全配置解析
通过此文章,我将提供有关ELK攻击利用与安全防护的知识。关于利用ELK 的信息在网上非常罕见。因此,这篇文章只是本人在日常工作和学习中的个人笔记,虽不完善,但可作为学习参考。通过这篇文章希望能为你提供一些在渗透测试期间可能有用的方法。
Ms08067安全实验室
2021/04/23
1.6K0
SpringBoot 使用 ELK 日志收集之 Logstash 安装
本文环境是在腾讯云服务器CentOS7.2搭建的,JDK1.8,Logstash-5.4.2。
IT技术小咖
2019/06/26
8360
SpringBoot 使用 ELK 日志收集之 Logstash 安装
CentOS7.4下ELK6.2.4从零开始安装部署
公司原本已经做了日志收集,不过是收集于单台云服务器,还需要研发以及运维去登陆查看日志。以前用的都是低版本的ELK(2.X),这次准备体验试用下最新版本的。理论以及架构这些不再说明,网上很多请自行查看!
星哥玩云
2022/07/28
2420
【全文检索_11】Logstash 基本使用
  Logstash 是由 JRuby 编写的,使用基于消息的简单架构,在 JVM 上运行(本篇博客主要介绍 Logstash 基本使用,介绍请见 ☞【全文检索_09】Logstash 基本介绍)。Logstash 的事件处理流水线有三个主要角色完成:inputs → filters → outputs。必须定义这些过程的配置才能使用 Logstash,尽管不是每一个都必须的。在过滤器的部分,它可以对数据源的数据进行分析,丰富,处理等等,但是我们可以不使用过滤器。在输出的部分,我们可以有多于一个以上的输出。
Demo_Null
2021/03/02
8030
【全文检索_11】Logstash 基本使用
ELK日志收集分析系统配置
ELK是日志收益与分析的利器。 1、elasticsearch集群搭建 略 2、logstash日志收集 我这里的实现分如下2步,中间用redis队列做缓冲,可以有效的避免es压力过大: 1、n个agent对n个服务的log做日志收集(1对1的方式),从日志文件解析数据,存入broker,这里用的是redis的发布订阅模式的消息队列,当然你可以选用kafka,redis比较方便; 2、indexer做日志汇总,从redis队列中拿数据入es; 下面给出agent和index的配置示例: 1、driver_s
用户1225216
2018/03/05
8770
日志管理ELK
报如下错误:说明不能以root账户启动,需要创建一个普通用户,用普通用户启动才可以。
全栈程序员站长
2022/09/05
4270
日志管理ELK
ELK7.x日志系统搭建 2. Nginx、Cluster等日志收集
接着上篇文章,我们把环境搭建好后,我们需要对一些应用程序进行日志收集了,方便我们对整个项目的监控和管理。虽然这种东西在单节点项目上带来的好处比带来的成本要低的低,但是对于我们开发一些分布式的项目是有极大的便利的。
憧憬博客
2020/07/21
5860
ELK7.x日志系统搭建 2. Nginx、Cluster等日志收集
ELK日志分析方案
1.在微服务服务器上部署Logstash,作为Shipper的角色,对微服务日志文件数据进行数据采集,将采集到的数据输出到Redis消息队列。
dalaoyang
2018/12/05
1.1K0
ELK日志分析方案
ELK7.x日志系统搭建 1. elk基础搭建
什么是 ELK ? 通俗来讲, ELK 是由 Elasticsearch 、 Logstash 、 Kibana 三个开源软件组成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,他们组成了一套完整的日志系统的解决方案。
憧憬博客
2020/07/21
1.5K0
相关推荐
[logstash-input-file]插件使用详解
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验