【开发日记】记一次服务器问题排查

全栈开发日记

发布于 2023-12-18 07:36:38

19600

代码可运行

文章被收录于专栏：全栈开发日记全栈开发日记

运行总次数：0

代码可运行

问题

客户端访问服务器时提示一下报错：

描述为Redis报错，连接不了Redis。

排查

进入服务器终端，由于使用的是FinalShell界面中就已经提示了磁盘已经满了的状态，所以基本可以确定为因为磁盘满了导致的。

【查看磁盘占用】

使用以下命令查看当前系统磁盘占用：

df -h

文件系统        容量  已用  可用 已用% 挂载点
...
/dev/vda1        50G   49G     0  100% /
overlay          50G   49G     0  100% /data/docker/overlay2/...
...

结果显示确实是磁盘已经满了，并且基本是docker占用；但是磁盘容量只有50G，不科学。

【检查磁盘挂载】

使用以下命令查看当前系统磁盘挂载情况：

lsblk

NAME   FSTYPE    SIZE MOUNTPOINT
sr0    iso9660 203.7M 
vda               50G 
└─vda1 ext4       50G /
vdb    ext4      200G

结果显示确实是有一个200G磁盘未挂载。

【解决Docker占用】

进入上面docker目录cd /data/docker ，在该目录下执行以下命令来查看各目录大小：

du -h --max-depth=1 ./

结果显示目录containers占用最大，继续使用以下命令查看该目录的详细占用：

du -h --max-depth=1 ./containers/

...
12G     ./containers/c5a7aaa213d8077ab3792ec93029f7929882eb498ab944f77b93273e336b9e72
...

结果显示该容器占用磁盘较大，使用如下命令查看该容器目录对应的是哪个容器：

 docker inspect -f '{{.Id}} - {{.Name}} - {{range .Mounts}}{{.Source}} -> {{.Destination}}; {{end}}' $(docker ps -q)

...
c5a7aaa213d8077ab3792ec93029f7929882eb498ab944f77b93273e336b9e72 - /gitlab - ...
...

从结果中可以看到原来是gitlab占用太多导致。

进入/data/docker/containers目录下占用最多的容器目录，并使用 ls -lh命令展示所有的文件及目录占用大小发现占用最多的是一个log文件。

解决

到这里就已经找到罪魁祸首了，由于服务器磁盘太小，而gitlab一直在输出日志占用了太多的磁盘空间，由于服务器中的gitlab不是我搭建的，不知道是否有用，只能暂时把服务停掉删掉日志文件。

最后重启Redis服务和数据库服务，服务恢复，问题解决。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2023-12-18，如有侵权请联系 cloudcommunity@tencent.com 删除

容器

本文分享自全栈开发日记微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

暂无评论