借助chatgpt解决GrayLog下使用rsync+nxlog采集日志时出现大量日志重复读取的问题

yuanfan2012

发布于 2023-09-06 08:34:10

3680

发布于 2023-09-06 08:34:10

文章被收录于专栏：WalkingCloud

借助chatgpt解决GrayLog下使用rsync+nxlog采集日志时出现大量日志重复读取的问题

一、场景

《业务服务器免装插件，使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1》

之前有做一定的优化

参考此篇：《使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1【优化篇】》进行了rsync同步脚本的优化，优化内容如下 1、只同步源服务器上当天的日志文件（日志文件名中有日期）

2、排除掉异常的日志文件，加到排除名单文件中

vi /opt/server_logfiles_rsync.sh 
#!/bin/bash
LOCK=/var/log/logs_rsync_record.log
FILENAME_MONTH=`date +%m`
FILENAME_DAY=`date +%e`
echo "同步日期:" >> ${LOCK} 2>&1
echo `date '+%Y-%m-%d_%T'`  >> ${LOCK} 2>&1
echo "=================  logs Rsync starting==============================="   >> ${LOCK} 2>&1
rsync --progress -avz --exclude-from='/opt/exclude-files.txt' --perms --chmod=ugo+r -og --chown=root:root -e "ssh -p 22" root@192.168.31.170:/data/*_${FILENAME_MONTH}_${FILENAME_DAY}_*.txt /datarsync/ >> ${LOCK} 2>&1
echo "================= logs Rsync Finished==============================="   >> ${LOCK} 2>&1

然后crontab定时同步

crontab -e
crontab -l
#每分钟同步一次
*/1 * * * * /opt/server_logfiles_rsync.sh

二、后面再次优化

crontab定时任务最多能实现1分钟执行一次的频率

借助telegraf的inputs.exec模块实现秒级的shell脚本定时执行

参考此篇：《【优化篇】telegraf+shell脚本实现秒级的服务状态异常监测与告警》

telegraf部分配置如下

[[inputs.exec]]
  commands = [
    "sudo sh /opt/server_logfiles_rsync.sh"
  ]
  name_override = "rsync"
  timeout = "10s"
  interval = "10s"
  data_format = "value"
  data_type = "string"

同步的频率设置成10秒1次

三、问题

但是发现rsync+nxlog采集后发送给Graylog，Graylog的收到日志量暴增，如下图所示

(图片点击放大查看)

且业务侧反馈Graylog上面查询到的告警日志经常会有很多重复的日志，一直没有找到原因

四、借助chatgpt解决该问题的过程

后来经过借助chatgpt询问

rsync 将文件同步到本地Linux服务器上，在本地的Linux服务器上用nxlog读取该文件，发现读取时有重复，这是什么原因导致的？

(图片点击放大查看)

(图片点击放大查看)

(图片点击放大查看)

接着在原来的脚本的基础上面增加-u --update增量同步的参数

rsync --progress -avzu --min-size=1 --perms --chmod=ugo+r -og --chown=root:root -e "ssh -p 22" root@192.168.31.170:/data/*_${FILENAME_MONTH}_${FILENAME_DAY}_*.txt /datarsync/ >> ${LOCK} 2>&1

但是发现加了这个参数后问题依旧，还是会有重复读取的问题这是觉得可能是nxlog的配置问题

继续询问chatgpt

(图片点击放大查看)

(图片点击放大查看)

(图片点击放大查看)

发现真正的原因是：日志文件被修改或替换：如果日志文件在 nxlog 启动后被修改或替换，可能导致文件的位置信息不准确。例如，当 rsync 同步过程中文件被替换为新的文件时，nxlog 可能会将其视为新文件，并从头开始读取。

这如何避免rsync同步时重复读取的这种情况？

(图片点击放大查看)

并且日志重复读取的时候，tail -f /var/log/nxlog/nxlog.log发现

nxlog 日志中出现大量 "reopening possibly rotated file”关键字

(图片点击放大查看)

(图片点击放大查看)

(图片点击放大查看)

五、最终的解决办法：

配置 rsync 的 --inplace 参数：通过将 rsync 命令中的 --inplace 参数添加到命令中，可以使 rsync 在同步过程中直接将更新写入目标文件，而不是创建一个新的临时文件后再替换。这样可以确保文件的 inode 和修改时间保持不变，避免引起 nxlog 重新读取文件。

这时修改脚本即可，添加--inplace参数 server_logfiles_rsync.sh 最终的脚本如下

#!/bin/bash
FILENAME_MONTH=`date +%m`
FILENAME_DAY=`date +%d`
LOCK=/var/log/rsynclogs/logs_rsync_record_${FILENAME_MONTH}_${FILENAME_DAY}.log
echo "同步日期:" >> ${LOCK} 2>&1
echo `date '+%Y-%m-%d_%T'`  >> ${LOCK} 2>&1
echo "=================  logs Rsync starting==============================="   >> ${LOCK} 2>&1
rsync --progress -avuz --inplace --exclude-from='/opt/exclude-files.txt' --perms --chmod=ugo+r -og --chown=root:root -e "ssh -p 22" root@192.168.31.170:/data/*_${FILENAME_MONTH}_${FILENAME_DAY}_*.txt /datarsync/ >> ${LOCK} 2>&1
echo "================= logs Rsync Finished==============================="   >> ${LOCK} 2>&1

然后日志量明显下降，且日志未再重复