-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
rsyslog是一个快速处理收集系统日志的开源程序,提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版,它将多种来源输入输出转换结果到目的地, rsyslog被广泛用于Linux系统以通过TCP/UDP协议转发或接收日志消息。
MongoDB是由C++编写的NoSQL的分布式文件数据库,用的json格式的k-value存储方式。
一、修改主机名 习惯了在Centos6系统下修改主机名的操作,但是Centos7下修改主机名的操作却大不相同!操作笔记如下:
Linux,全称 GNU/Linux,是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。伴随着互联网的发展,Linux 得到了来自全世界软件爱好者、组织、公司的支持。它除了在服务器方面保持着强劲的发展势头以外,在个人电脑、嵌入式系统上都有着长足的进步。使用者不仅可以直观地获取该操作系统的实现机制,而且可以根据自身的需要来修改完善Linux,使其最大化地适应用户的需要。 Linux 的基本思想有两点:一切都是文件;每个文件都有确定的用途。其中第一条详细来讲就是系统中的所有都归结为一个文件,包括命令、硬件和软件设备、操作系统、进程等等对于操作系统内核而言,都被视为拥有各自特性或类型的文件。至于说 Linux 是基于 Unix 的,很大程度上也是因为这两者的基本思想十分相近。
当Linux主机发生安全事件需要进行入侵排查时,一般可以使用常见的shell命令,通过分析主机的异常现象、进程端口、启动方式、可疑文件和日志记录等信息以确认主机是否被入侵。
1、每天0点1分自动替换/etc/work_alert.txt文件中@的人员姓名,相关每周每日轮班为不同人员
之前有介绍CentOS7下搭建Rsyslog Server记录远程主机系统日志,但由于syslog是UDP 514端口明文传输,基于安全考虑,可以采用TCP over TLS(SSL)方式传输日志
通俗来讲,ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,ELK 又称为ELK stack,官方域名为elastic.co,ELK stack的主要优点有如下几个:
日志文件记录了时间,地点,人物,事件四大信息,故系统出现故障时,可以查询日志文件。 系统的日志文件默认都集中放置到/var/log/目录内,其中又以message记录的信息最多。 日志文件的重要性主要体现在以下三方面:
DBSyncer是一款开源的数据同步中间件,提供Mysql、Oracle、SqlServer、Elasticsearch(ES)、Kafka、SQL(Mysql/Oracle/SqlServer)等同步场景。支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。
CentOS7.6日志服务是rsyslogd ,CentOS6.x日志服务是syslogd 。rsyslogd功能更强大。rsyslogd的使用、日志文件的格式,和 syslogd 服务兼容的。原理示意图
序言:红帽7教学环境介绍 rht-vmctl命令介绍; $ rht-vmctl start desktop 启动desktop虚拟机 $ rht-vmctl view desktop 显示(查看)desktop虚拟机 $ rht-vmctl stop desktop 停止(关闭)desktop虚拟机 $ rht-vmctl reset desktop 重置desktop虚拟机(恢复到全新状态) 第一章:访问命令行 目标:用户bash shell在
centos7开始j系统使用2个日志服务用于系统日志,一个服务是systemd-journald,这个服务把日志存放到内存中。另一个服务是rsyslogd,它可以从systemd-journald获取日志并把日志存放在磁盘上。journalctl命令主要开始承担了查看日志还有一些日志的配置功能,经常需要用到这个命名去查看日志和设置日志的一些参数。借用他山之石(系统centos7,腾讯云cvm,故日志中会有qcloud ntp还有云监控agent的一些log)总结一下:
1) 日志文件是重要的系统信息文件,其中记录了许多重要的系统事件,包括用户的登录信息、系统的启动信息、系统的安全信息、邮件相关信息、各种服务相关信息等。
Linux 有一个显著的特点,在正常情况下,你可以通过日志分析系统日志来了解你的系统中发生了什么,或正在发生什么。的确,系统日志是系统管理员在解决系统和应用问题时最需要的第一手资源。我们将在这篇文章中着重讲解 Apache HTTP web server 生成的 Apache access 日志。
防火墙:主要用户信息安全防护,主要有软件防火墙和硬件防火墙。firewalld防火墙是软件防火墙 在centos7 之前默认采用的防火墙是iptables,而在centos 7则是采用firewall
如下图所示我们需要将区域A的GrayLog采集的交换机/Linux服务器日志转发到右侧总部区域的GrayLog上
功能上和ELK类似,但又比ELK要简单,依靠着更加简洁,高效,部署使用简单的优势很快受到许多人的青睐
ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。
在管理和维护Linux系统时,有一些常用的命令可以帮助您进行系统初始化和配置。这些命令涵盖了各种任务,包括系统设置、用户管理、软件安装和网络配置等。
上面截图的这块日志,是CentOS7系统,messages中的一段日志,很多人在排查问题的时候,看到messages里面大量的这种类型的日志,都是一脸懵逼,搜索引擎一搜,也没有上面结果,大多说这是正常的日志,不用担心,如果需要关闭,redhat官网有提示如何关闭
进入/etc/sysconfig/network-scripts文件夹,可以看到文件夹中有ifcfg-ensxxx的文件,我这里是ifcfg-ens33
在攻击结束后,如何不留痕迹的清除日志和操作记录,以掩盖入侵踪迹,这其实是一个细致的技术活。你所做的每一个操作,都要被抹掉;你所上传的工具,都应该被安全地删掉。
欢迎大家使用天兔数据库监控系统(以下简称为Lepus)。Lepus是一套开源的数据库监控平台,目前已经支持MySQL、Oracle、PostgresQL、GreatSQL、MongoDB、Redis等数据库的基本监控和告警。Lepus无需在每台数据库服务器部署脚本或Agent,只需要在数据库创建授权帐号后,即可进行远程监控,适合监控数据库服务器较多的公司和监控云中数据库,这将为企业大大减化监控部署流程,同时Lepus系统内置了丰富的性能监控指标,让企业能够在数据库宕机前发现潜在性能问题进行处理,减少企业因为数据库问题导致的直接损失。
在 CentOS 6.x 中,日志服务已经由 rsyslogd 取代了原先的 syslogd。Red Hat 公司认为 syslogd 已经不能满足工作中的需求,rsyslogd 相比 syslogd 具有一些新的特点:
作用:DNS(Domain Name System)配置文件,DNS主要负责将网站域名解析为对应的IP地址,从域名到IP的解析过程,称作A记录,即Address Record
swap空间对于操作系统来说比较重要,当我们使用操作系统的时候,如果系统内存不足,常常会将一部分内存数据页进行swap操作,以解决临时的内存困境。swap空间由磁盘提供,对于高并发场景下,swap空间的使用会严重降低系统性能,因为它引入了磁盘IO操作。
2) 下载新的CentOS-Base.repo 到/etc/yum.repos.d/
jdk1.8+tomcat8.5+mysql5.7 🙃🙃1. 上传及下载文件 1.1 安装及使用lrzsz 1.2 上传: rz 1.3 下载: sz 文件名 🙃🙃2. 上传jdk和tomcat的安装文件到指定文件夹 mkdir /usr/local/mytools 🎃🎃 注1:安装见资料 apache-tomcat-8.5.20.tar.gz jdk-8u151-linux-x64.tar.gz 🙃🙃3. linux压缩和解压命令
此方案为暂定方案,有可能会变更。如果直接使用CDH会更加方便,但是如果进行自行配置,需要做实验。
之前写了一篇《快速自检电脑是否被黑客入侵过(Windows版)》, 这次就来写写Linux版本的。 前言 严谨地说, Linux只是一个内核, GNU Linux才算完整的操作系统, 但在本文里还是用通俗的叫法, 把Ubuntu,Debian,RedHat,CentOS,ArchLinux等发行版都统称为Linux. 本文里所说的方法不仅对Linux的发行版适用, 部分方法对Mac OSX操作系统也是适用的. 异常的帐号和权限 如果黑客曾经获得过命令运行的机会, 对方往往会想要将这个机会持续下去, 业内称之
之前写了一篇快速自检电脑是否被黑客入侵过(Windows版), 这次就来写写Linux版本的.
通过rpm -qa 查询到系统通过rpm安装的所有软件,太多了,不方便查看,所以我们可以通过管道符 | 配合着grep进行过滤查询。
Ambari是apache下面的开源项目,主要通过web UI方式对Hadoop集群进行统一创建和管理,以节省Hadoop集群的运维成本。本文通过安装过程中的截图简要介绍一下相关步骤供需要的朋友参考。
针对上述问题,为了提供分布式的实时日志搜集和分析的监控系统,我们采用了业界通用的日志数据管理解决方案 - 它主要包括 Elasticsearch 、 Logstash 和 Kibana 三个系统。通常,业界把这套方案简称为ELK,取三个系统的首字母。调研了ELK技术栈,发现新一代的logstash-forward即Filebeat,使用了golang,性能超logstash,部署简单,占用资源少,可以很方便的和logstash和ES对接,作为日志文件采集组件。所以决定使用ELK+Filebeat的架构进行平台搭建。
日志文件是包含系统本身已记录的一组记录(或事件列表)的文件。使用日志文件,系统管理员可以跟踪在特定日期或特定时间发生的情况。管理员通常将日志文件用于故障排除。日志文件是自动生成的,并保存在公共目录-/ var / log /下。我们还可以将消息手动添加到Linux系统日志文件中。例如,设置日志服务器后,您可能要检查日志服务器是否正常运行。为此,我们可以在日志文件中手动添加一些条目以测试日志服务器。这是logger命令派上用场的地方。
Linux 操作系统的启动首先从 BIOS 开始,接下来进入 boot loader,由 bootloader 载入内核,进行内核初始化。内核初始化的最后一步就是启动 pid 为 1 的 init 进程。这个进程是系统的第一个进程。它负责产生其他所有用户进程。init 以守护进程方式存在,是所有其他进程的祖先。init 进程非常独特,能够完成其他进程无法完成的任务。
Fail2Ban 可以说是保护 Linux 服务器并保护其免受自动攻击的最佳软件,启用后,它会提供许多可自定义的规则来禁止可能试图访问您的计算机的源地址。Fail2Ban 与防火墙协同工作,因此我们建议您将它们作为单独的安全层进行安装和启用。
4.域名--->CDN--->负载均衡--->云服务器ECS+数据库RDS(主从)+缓存Redis
1.1 下载Centos7( CentOS-7.0-1406-x86_64-DVD.iso )的ISO安装文件,地址:https://www.centos.org/download/,选择DVD ISO或者EVERYTHING ISO 。
Linux 系统也会在使用很长一段时间后出现硬盘空间开始不够的情况,而这并不一定是正常使用的文件占用,而是像 Windows 系统一样,在系统的运行和使用中会出现垃圾日志,就像 CentOS 系统中有两个日志服务,分别是传统的 rsyslog 和 systemd-journal 就会自动生成一些系统日志,久而久之就造成了服务器存储空间的浪费。
1、Centos下python3环境的部署 2、Python uwsgi 3、Python uwsgi+nginx部署 4、mysql主从备份介绍 5、Linux下的mysql安装 6、基于mysql的Django读写分离
环境:关闭防火墙、selinux 注意:虚拟机进行网络安装的话,7.3以后的系统是需要2G以上的内存 [root@kickstart ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) [root@kickstart ~]# uname -r 3.10.0-693.el7.x86_64 [root@kickstart ~]# getenforce Disabled [root@kickstart ~]# systemctl sta
MAILTO是针对用户配置的,于是将该参数加入/var/spool/cron/internal下;
领取专属 10元无门槛券
手把手带您无忧上云