说起查看日志排查 bug 的方式,早些年的时候我都是直接登陆 linux 服务器直接查看,或者下载下来查看。
MongoDB 可以在mac/win/linux上安装,我个人建议在linux上安装会更好,这样测试起来更方便。一般来说本地只装mysql或者MariaDB,其余的中间件一律放linux,让电脑软件解耦,毕竟你的电脑不是一直处于工作状态,有时候也是用于娱乐的~
Logstash 是一个 Java 程序,当作为收集日志的 Agent 时,显得太臃肿了。这时需要一个轻量级的日志收集 Agent,其实可以先看看官方是否提供相关的 Agent,现在的需求是收集特定的日志文件, 官方提供了这样的工具:Filebeat,官方给 Filebeat 的定义就是轻量级的日志收集工具。
在之前的文章“利用群晖的File Station+SFTP实现第三方人员快速获取服务器应用日志”的基础上
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。 通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。 集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们
文件系统是用来管理和组织保存在磁盘驱动器上的数据的系统软件,其实现了数据完整性的保证,也就是保证写入磁盘的数据和随后读出的内容的一致性。除了保存以文件方式存储的数据以外,一个文件系统同样存储和管理关于文件和文件系统自身的一些重要信息(例如:日期时间、属主、访问权限、文件大小和存储位置等等)。这些信息通常被称为元数据(metadata)。
近期 Docker 发布了全新的 Docker Desktop 3.0.0 版本,这个版本采用补丁形式进行增量更新,减少了每次更新的容量。官方还删除稳定和边缘频道,以单一发布串流代替,减少版本之间的混淆。而 Docker Engine 则发布 20.10版本,并开始支持 Cgroups V2。
命令直接下载:wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.2.4.tgz
总体而言,Linux操作系统是一个强大、灵活且可定制的操作系统,广泛应用于服务器、嵌入式系统、超级计算机等各种领域。
ELK 是 Elasticsearch、Logstash、Kibana 的简称,这三者是核心套件,但并非全部。
1、创建仓库文件vi /etc/yum.repos.d/mongodb-org-4.2.repo
这些数据都是一些非结构化的数据,我们可以统一将这些数据统一采集到splunk之后,splunk可以对这些数据进行索引、调查、监控、可视化等。
github地址:https://github.com/onlyGuo/nginx-gui
有客户要求安装给Linux系统安装免费的杀毒软件,说实话,之前只部署过火绒企业版的Linux版本——很多Linux服务器根本就不安装杀毒软件,所以Linux系统下的杀毒软件接触得并不多。
《Docker下ELK三部曲》一共三篇文章,为您揭示如何快速搭建ELK环境,以及如何将web应用的日志上报到ELK用,三部曲内容简述如下:
nginx-gui这个东西真的要吹一波,太好用了,而且源码公开。对于我这样一个作为Linux菜鸟的Java开发来说,这个可视化配置工具简直是福音!
Gradle是一款非常优秀的构建系统工具,它的DSL基于Groovy实现,可以让你很方便的通过代码控制这些DSL来达到你构建的目的,其构建的大部分功能都是通过插件的方式来实现,所以非常灵活方便,如果内置插件不能满足你的需求你可以自定义自己的插件。
来源:leanote.zzzmh.cn/blog/post/5cc7f63616199b068300001c
ELK介绍 在平时的工作当中,需要一个日志分析系统来分析各种各样的告警信息,而ELK可以简单满足这个需求。
官网下载地址:https://www.mongodb.com/download-center/community
前面我们安装的Elasticsearch版本是7.10.2,所以Logstash和接下来要安装的Kibana都要安装7.10.2这个版本。
欢迎大家使用天兔数据库监控系统(以下简称为Lepus)。Lepus是一套开源的数据库监控平台,目前已经支持MySQL、Oracle、PostgresQL、GreatSQL、MongoDB、Redis等数据库的基本监控和告警。Lepus无需在每台数据库服务器部署脚本或Agent,只需要在数据库创建授权帐号后,即可进行远程监控,适合监控数据库服务器较多的公司和监控云中数据库,这将为企业大大减化监控部署流程,同时Lepus系统内置了丰富的性能监控指标,让企业能够在数据库宕机前发现潜在性能问题进行处理,减少企业因为数据库问题导致的直接损失。
SecureCRT是一款支持SSH的终端仿真程序,同时支持Telnet和rlogin协议等, 之前在Windows用过一段时间,之后切换到Linux平台,minicom替代了SecureCRT, minicom的功能太弱了. 无意中浏览官网,发现支持linux版本,果断回归.
前 3 篇文章给大家讲解了 Appium 环境安装,Appium 理念以及实现方式(四大点),第一个 app 自动化脚本。
链接:https://leanote.zzzmh.cn/blog/post/5cc7f63616199b068300001c
最近公司搭了套kibana的日志系统,感受比原来查看日志方便多了。记得以前查看日志是通过ssh到服务器,查看系统日志用vi查看器查看或者下载到本地,用logview查看搜索,可读性很低。自从用了kibana后感觉查看日志是如此方便高效,这里推荐给大家。 大致步骤
Splunk是一款功能强大,功能强大且完全集成的软件,用于实时企业日志管理,可收集,存储,搜索,诊断和报告任何日志和机器生成的数据,包括结构化,非结构化和复杂的多行应用程序日志。
https://www.chiark.greenend.org.uk/~sgtatham/putty/
MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包,你可以从MongoDB官网下载安装,MongoDB 预编译二进制包下载地址:https://www.mongodb.com/try/download/community
https://www.elastic.co/cn/downloads/elasticsearch
我们在做主机安全检查或安全事件处置时,避免不了要去检查系统的安全情况。在进行 Linux 安全检查时,需要使用相关的脚本对系统的安全情况进行全面分析,一方面需要尽可能的收集系统的相关信息,另一方面在数量较多的时候尽可能的提高效率。由于在多次的安全检查中遇到检查时都是几十台服务器要做一个全面检查的情况,如果人工手写脚本的话,一方面效率较低另一方面需要安全检查者熟悉所需要检查的项。在这种情况下,本人写了一个 Linux 安全检查的脚本,该脚本主要在以下场景使用:
我记得之前测试mysql社区版安装percona审计插件是不行的(大概是8.0.33版本左右), 所以才写了个旁挂审计脚本. 但今天看到https://www.percona.com/blog/using-the-percona-audit-logging-plugin-on-mysql-community-8-0-x/ .....
一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大也就是日志量多而复杂的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。
每个android开发攻城狮应该都经历过,在开发完给测试同事打包时候:先合并代码,然后在本地构建,最后apk上传,成功后通知其他同事。首先,构建得话几分钟,上传又得话几分钟。万一电脑不给力,花的时间更长,这个过程又臭又乏味。那有没有办法当我们提交完代码后,后面的一系列操作都能自动帮我们完成,而且有详细的构建日志呢?of course。 这里我们使用jenkins来构建。下面介绍详细的步骤:
MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包,你可以从MongoDB官网下载安装,MongoDB 预编译二进制包下载地址:
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展高性能数据存储解决方案。
1、Linux:CentOS Linux release 7.8.2003 (Core) 2、mongodb:3.4.24 3、redis:4.0.14 4、node:8.9.0
安装 [url]http://sourceforge.net/projects/awstats/[/url] 下载安装包后: GNU/Linux:tar zxf awstats-version.tgz awstats的脚本和静态文件缺省都在wwwroot目录下:将cgi-bin目录下的文件都部署到 cgi-bin/目录下:/home/apache/cgi-bin/awstats/ mv awstats-version/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats 把图标等文件目录复制到WEB的HTML文件发布目录下,例如:/home/apache/htdocs/ 下发布 更多的批量更新脚本等在tools 目录下,可以一并放到cgi-bin/awstats/ 目录下 升级国内主要 搜索引擎和蜘蛛定义,安装GeoIP的应用库:C [url]http://www.maxmind.com/download/geoip/api/c/[/url] 解包,编译安装 perl -MCPAN -e ‘install “Geo::IP”‘ 或者使用纯Perl包 perl -MCPAN -e ‘install “Geo::IP::PurePerl”‘ 下载GeoIP/GeoIPCityLite包:解包并部署到awstats目录下:
目前已实现前两条: 配置管理,和性能监控,日志分析监控这块还需要另找方案实现,目前方案直接套用大神开发的 nginx-gui, 这个东西真的要吹一波,太好用了,而且源码公开。
liunx查找大于100M的文件 find / -type f -size +100M
Jenkins CLI,简称 jcli,一个使用 Golang 开发的开源的 Jenkins 命令行工具。它可以帮忙你轻松地管理 Jenkins。无论你是 Jenkins 插件开发者,还是 Jenkins 管理员或者只是一个普通的 Jenkins 用户,它都是为你而生!
Beats是一个开放源代码的数据发送器。我们可以把Beats作为一种代理安装在我们的服务器上,这样就可以比较方便地将数据发送到Elasticsearch或者Logstash中。Elastic Stack提供了多种类型的Beats组件。
首先,需要从 MySQL 官方网站或其他可靠来源下载 MySQL 5.7 的安装包。确保选择与你的 CentOS 系统架构(如 x86_64)对应的版本。
1:MongoDB的官方网址:https://www.mongodb.com MongoDB的中文社区:http://www.mongoing.com/(老外也很看重中国市场啊,知道大家英语不好
本文介绍几款 Linux 运维比较实用的工具,希望对 Linux 运维人员有所帮助。
最近在学习研究linux,今天就教教大家怎么在linux上安装配置MongoDB数据库
此事件是去年应急处置时完成的报告,距今有半年时间了。一直存在电脑里,最近准备完善应急响应中遇到的各类安全事件,这篇文章作为这一系列的开端。
领取专属 10元无门槛券
手把手带您无忧上云