假如我订单服务总共部署在20台服务器上,如果我们直接登录服务器查询日志的话,那得先看一号机器,没有再看二号机器……并且日志量较多的话,可能一个时间段内日志就被切分成好几个文件,这样查询实在是太麻烦了,ELK就是解决这个问题的。
elk 是 elasticsearch、logstash、kibana 的合称。
这三种技术我都不会,需要额外地去学习吗?
可能很多人有这个疑问,其实是不需要的,搭建 elk 不需要你会任何一种技术!
localhost:9200
,出现如下界面就启动成功了。elasticsearch
下载地址:logstash
下载后解压,拷贝 config 目录下的 logstash-sample.conf,改名为 logstash.conf,修改其配置,内容如下:
input {
tcp {
mode => "server"
host => "127.0.0.1"
port => 9001
codec => json_lines
}
}
output {
elasticsearch {
hosts => ["http://127.0.0.1:9200"]
index => "elk-search-%{+YYYY.MM.dd}"
}
}
简单解释一下这段配置:
./logstash -f ../config/logstash.conf
,如果是 windows 版本,执行logstash.bat -f ../config/logstash.conf
即可。./kibana
就可以启动了,windows 执行 kibana.bat
即可。localhost:5601
,看到如下界面就启动成功了。kibana
引入依赖,比如我用的 logback,那么需要如下依赖:
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>7.0.1</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.30</version>
</dependency>
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
<version>1.2.3</version>
</dependency>
编写logback-spring.xml,内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="undefinedAppName"/>
<jmxConfigurator/>
<logger name="org.springframework.web" level="INFO"/>
<logger name="org.apache.velocity.runtime.log" level="INFO"/>
<!-- 控制台输出 -->
<appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<Pattern>[%X{traceid}] %d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %M:%L - %msg %n</Pattern>
</encoder>
</appender>
<appender name="dailyRollingFileAppender" class="ch.qos.logback.core.rolling.RollingFileAppender">
<File>logs/logback-today-${APP_NAME}.log</File>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!-- daily rolling over -->
<FileNamePattern>logs/${APP_NAME}.%d{yyyy-MM-dd}.log</FileNamePattern>
<!-- keep 30 days' log history -->
<maxHistory>30</maxHistory>
</rollingPolicy>
<encoder>
<Pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %msg %n</Pattern>
</encoder>
</appender>
<!-- 输出到文件 -->
<appender name="FILE" class="ch.qos.logback.classic.AsyncAppender">
<!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
<discardingThreshold>0</discardingThreshold>
<!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
<queueSize>256</queueSize>
<!-- 添加附加的appender,最多只能添加一个 -->
<appender-ref ref="dailyRollingFileAppender"/>
</appender>
<!-- 输出到logstash -->
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<!--logstash的ip和端口-->
<destination>127.0.0.1:9001</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
<encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
<providers>
<timestamp>
<timeZone>Asia/Shanghai</timeZone>
</timestamp>
<pattern>
<pattern>
{
"app_name":"${APP_NAME}",
"traceid":"%X{traceid}",
"ip": "%X{ip}",
"server_name": "%X{server_name}",
"level": "%level",
"trace": "%X{X-B3-TraceId:-}",
"span": "%X{X-B3-SpanId:-}",
"parent": "%X{X-B3-ParentSpanId:-}",
"thread": "%thread",
"class": "%logger{40} - %M:%L",
"message": "%message",
"stack_trace": "%exception{10}"
}
</pattern>
</pattern>
</providers>
</encoder>
</appender>
<root level="INFO">
<appender-ref ref="CONSOLE"/>
<appender-ref ref="FILE"/>
<appender-ref ref="LOGSTASH"/>
</root>
</configuration>
这里的核心配置就是输出到 logstash 那一段,主要 logstash 的 ip 和端口要和刚才配置的一致。
localhost:5601
,点击左侧最下方图标【Management】--> 【Index Patterns】--> 【Create index pattern】index pattern
这里就可以看到刚才在 logstash 配置文件中配置的 index 了,即 elk-search-2022.04.11,我们新建一个 index pattern 能够匹配到这个 index 就好了,比如我新建的叫 elk-search*
,然后保存即可。
discover