【应急响应】日志自动提取分析项目&ELK&Logkit&LogonTracer&Anolog等

日志自动提取-七牛Logkit&观星应急工具

1、七牛Logkit：(Windows&Linux&Mac等) https://github.com/qiniu/logkit/ 支持的数据源（各类日志，各个系统，各个应用等） File: 读取文件中的日志数据，包括csv格式的文件，kafka-rest日志文件，nginx日志文件等,并支持以grok的方式解析日志。

Elasticsearch: 读取ElasticSearch中的数据。
MongoDB: 读取MongoDB中的数据。
MySQL: 读取MySQL中的数据。
MicroSoft SQL Server: 读取Microsoft SQL Server中的数据。
Postgre SQL: 读取 PostgreSQL 中的数据。
Kafka: 读取Kafka中的数据。
Redis: 读取Redis中的数据。
Socket: 读取tcp\udp\unixsocket协议中的数据。
Http: 作为 http 服务端，接受 POST 请求发送过来的数据。
Script: 支持执行脚本，并获得执行结果中的数据。
Snmp: 主动抓取 Snmp 服务中的数据。

在这里插入图片描述

2、观星应急工具：（Windows系统日志） SglabIr_Collector是qax旗下的一款应急响应日志收集工具，能够快速收集服务器日志， 并自动打包，将收集的文件上传观心平台即可自动分析。

在这里插入图片描述

日志自动分析-操作系统-Gscan&LogonTracer

1、Linux 系统 - GScan https://github.com/grayddq/GScan

2、Windows 系统 -LogonTracer https://github.com/ffffffff0x/f8x(自动搭建项目) https://github.com/JPCERTCC/LogonTracer（建议手工安装不要docker安装） 如何安装使用： https://github.com/JPCERTCC/LogonTracer/wiki/ 不建议Docker安装： https://www.freebuf.com/sectool/219786.html docker pull jpcertcc/docker-logontracer docker run –detach –publish=7474:7474 --publish=7687:7687 --publish=8080:8080 -e LTHOSTNAME=你的ip jpcertcc/docker-logontracer 建议手工安装： 1.下载并解压neo4j：tar -zvxf neo4j-community-4.2.1-unix.tar 2.安装java11环境：sudo yum install java-11-openjdk -y 3.修改neo4j配置保证外部访问： dbms.connector.bolt.listen_address=0.0.0.0:7687 dbms.connector.http.listen_address=0.0.0.0:7474 ./bin/neo4j console & 4.下载LogonTracer并安装库： git clone https://github.com/JPCERTCC/LogonTracer.git pip3 install -r requirements.txt 5.启动LogonTracer并导入日志文件分析 python3 logontracer.py -r -o [PORT] -u [USERNAME] -p [PASSWORD] -s [IP地址] python3 logontracer.py -r -o 8080 -u neo4j -p xiaodi -s 47.98.99.126 python3 logontracer.py -e [EVTX文件] -z [时区] -u [用户名] -p [密码] -s [IP地址] python3 logontracer.py -e Security.evtx -z -13 -u neo4j -p xiaodi -s 127.0.0.1 6.刷新访问LogonTracer-web_gui查看分析结果 踩坑：1、上传按钮不能上传 2.上传失败记得上传选模式对应值

日志自动分析-Web-360星图&Goaccess&ALB&Anolog

1、Web - 360星图（IIS/Apache/Nginx） 这里以我之前搭的Apache服务器日志为例

在这里插入图片描述

安全分析报告

在这里插入图片描述

不知道这是哪位hxd扫的

在这里插入图片描述

常规分析报告

在这里插入图片描述

可疑访问

在这里插入图片描述

漏洞攻击

在这里插入图片描述

2、Web - GoAccess（任何自定义日志格式字符串） https://github.com/allinurl/goaccess 使用手册： https://goaccess.io/man 输出报告：

goaccess -f /home/wwwlogs/access.log --log-format=COMBINED > ./aa.html

实时监控：

goaccess -f /home/wwwlogs/access.log --log-format=COMBINED --real-time-html > /home/wwwroot/default/x.html

3、Web - 自写脚本（任何自定义日志格式字符串） 参考：https://github.com/Lucifer1993/ALB

python ALB.py -f F:\access.log -t 200

在这里插入图片描述

参考：机器语言 4、Web -机器语言（任何自定义日志格式字符串） https://github.com/Testzero-wz/analog https://analog.testzero-wz.com/

日志综合平台-Elasisearch+Filebeat+Redis+Logstash+Kibana