接上一篇:【Graylog告警联动篇】部署webhook服务实现自动传参并自动执行shell脚本
笔者所在的项目组有多个测试环境,偶尔会出现由于程序错误导致负载飙升或日志打满磁盘的问题。基于早发现、早治疗的原则,我们可以构建一个web应用,从而对服务器的负载及磁盘空间进行监控。在本文中,前端我们使用易于上手的Vue、饿了么开源的Element以及百度的Echarts,后端接口使用基于Python的Flask框架。
最近这周都是查测试环境的问题,比如,我上一篇写的问题排查:问题排查:nginx的反向代理感觉失效了一样 ,就是说这个事的。在文章里,最终查到是nginx的全连接队列满了(每个监听端口有个队列,完成三次握手的请求会进入这个监听端口的全连接队列,队列大小是只有128,比较小),我当时的解决方式,是把队列大小调大到了512,然后重启nginx,果然功能正常了。
有别于市面上常见的jumpserver方案,使用本文所搭建的跳板机将不会存储任何Linux服务器的账号、密码、密钥等信息,杜绝了信息泄露的可能。本文最大的特点是借助Linux的PAM机制,通过修改Linux服务器系统层配置,部分接管了Linux系统的身份认证能力,关于这一点,下文将详细描述。
本篇是系列中的第六篇内容,继续聊聊如何把一个简化过的私有云环境部署在笔记本里,以满足低成本、低功耗、低延时的实验环境。
DigitalOcean是一家类似于AWS,Microsoft Azure,Google Cloud Platform等的云提供商。他们提供不同的Linux发行版实例,这些实例被称之为“droplets”。与AWS类似,DigitalOcean在世界各地都有数据中心,甚至在有的国家拥有多个数据中心。
1. 什么是linux服务器load average? Load是用来度量服务器工作量的大小,即计算机cpu任务执行队列的长度,值越大,表明包括正在运行和待运行的进程数越多。 参考资料:http://en.wikipedia.org/wiki/Load_average
3 Ways to find the largest files in Linux
最近在进行Linux系统的相关学习的时候,发现Linux系统上有很多常用的命令,所以在网上找了很多大佬的总结,然后简单的搜集汇总了一下。有不足和补充的地方还望各位大佬指正。
Linux常用命令大全,小贴士:Ctrl+F 快速查找Linux命令(点标题可收缩、展开)
/dev/null 可无限接收数据,你可以认为是一个黑洞,因此如果我们需要丢弃某些终端输出,可以重定向到这里:
Linux,全称GNU/Linux,是一套免费使用和自由传播的类Unix操作系统,同时也是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。
| 作者:周晓,腾讯游戏 CROS 体系高级工程师,负责多套HDFS集群的维护管理,并为Apache Hadoop社区提交过2个Patch。同时也作为游戏DBA,稳定支撑包括穿越火线、天天酷跑等在内多款游戏的DB管理维护。 ---- 1 这次我吐血整理了一些在维护hdfs工作中遇到的问题,有的是血的教训,有的是花了不少功夫定位,也有的是一些知识点或者技巧,其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验,汇总了hadoop hdfs集群需要关注的告警指标。 一、定期bloc
然后修改deepin.iso为你下载的ISO文件名称即可,保存退出 其中,有两个在启动阶段报找不到文件错误的地方是:
远程连接unix系统的工具,以前用的最多的就是SSH了,不过SSH有一个硬伤,不能设置客户端编码,有时候看中文很容易乱码,而且不能分组记录多服务器地址。putty虽然能设置客户端编码,但是我最不习惯的就是他的左键->直接复制,右键->直接黏贴,这跟windows下的操作习惯完全不同,ssh也不会这样,这样快捷简单倒是简单,但是对于我目前的工作是非常危险的,因为现在经常维护数据库,一不小心右键粘帖了不该粘帖的命令,而很多时候是一长串命令,带了回车符的,粘帖到SQL交互界面就直接执行了,后果可能是相当严重的。
远程连接unix系统的工具,以前用的最多的就是SSH了,不过SSH有一个硬伤,不能设置客户端编码,有时候看中文很容易乱码,而且不能分组记录多服务器地址。putty虽然能设置客户端编码,但是我最不习惯的就是他的左键->直接复制,右键->直接黏贴,这跟windows下的操作习惯完全不同,ssh也不会这样,这样快捷简单倒是简单,但是对于我目前的工作是非常危险的,因为现在经常维护数据库,一不小心右键粘帖了不该粘帖的命令,而很多时候是一长串命令,带了回车符的,粘帖到SQL交互界面就直接执行了,后果可能是相当严重的。因此PUTTY已弃之不用,近段开始用secureCRT,发现这个工具还是很好用的,不但能分组管理各类服务器,还能设置编码,各种颜色,字体,相当方便,除了传输文件操作没有SSH的传文件工具那么智能,如果是经常做一些远程shell维护操作,这个工具是第一位要推荐的,我现在就用secureCRT + SSH文件传输工具,两个配合工作起来还是满方便的。
今天查看两个月前上线的小项目,发现运行非常慢,而且增删改查失效了(吓我一大跳),急急忙忙的就开始了我的线上问题排查之路。
touch -t 0712250000 file1 修改一个文件或目录的时间戳 - (YYMMDDhhmm)
1 – 记录主机信息 每当您正在使用新的Linux主机进行安全增强时,您需要创建一个文档并记录本文档中列出的项目,工作完成后,您将需要检查这些项目。另外,在开始时该文档,您需要记录有关Linux主机的信息: 设备名称 IP地址 MAC地址 负责安全提升工作的人(实际上是你) 日期 资产编号(如果您正在开展业务,则需要记录设备的资产编号) 2 – BIOS保护 您需要为此主机的BIOS设置密码,以确保最终用户无法修改或覆盖BIOS中的安全设置,这非常重要!设置BIOS管理员密码后,您需要从外部媒体设备(US
tar : tape (磁盘,磁带) archive(档案) 最初的设计的目的是将文件备份到磁盘上,因此的名tar tar -jxvf demo-tbz demo tar -zxvf demo-tgz demo x :解压缩包 v:显示详细信息 f : 指定文件 z : tar .gz j : tar.bz2 grep : global search regular expression and print out the line 全面搜索正则表达式并把行打印出来 sudo
您可以使用 arch 命令了解计算机体系结构。Arch 命令打印诸如“i386、i486、i586、alpha、arm、m68k、mips、sparc、x86_64 等”。
如上例子在本机当前文件夹下移动文件 test.zip 到远程服务器 root@192.168.1.252下的dataset文件夹。从远程移动到本地反过来就行。拷贝文件夹使用如下命令:(-r recursion递归)
网络 rz # 通过ssh上传小文件 sz # 通过ssh下载小文件 ifconfig eth0 down # 禁用网卡 ifconfig e
今天,带来一篇 Linux 命令总结的非常全的文章,也是我们平时工作中使用率非常高的操作命令,命令有点多,建议小伙伴们可以先收藏后阅读。
Linux常用命令大全(非常全!!!) 最近都在和Linux打交道,感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短小但却功能强大。我将我了解到的命令列举一下,仅供大家参考:
GPFS文件系统能够横跨在所有主机上,分布在所有磁盘上,条带化读写,高性能。信令管理机制,并发性好。可配置failgroup组,可用性高。下面是GPFS集群的部署过程......
按需要选择自己的服务器,刚开始按1核2G的配置就可以了,如果内存只有1G可能会造成某些程序崩溃。配置也不需要太高,之后若网站等造成服务器流量访问开始上升,可以按需要升级配置。
本文是马哥教育特约金牌讲师、Linux运维专家魏巍的分享《Anisble常用模块入门指南》的文字整理篇。 朋友们晚上好: 今天我为大家带来的分享是 Ansible系列课堂之基础入门-基础模块的使用 难度指数: 2星(满星5星) 技术指数: 5星(满星5星) 理论指数: 2星(满星5星) 面向人群: 自动化运维&初中级运维 简单做下自我介绍: 魏巍: 出生时经医生证实为90后超早期,狂热的单车与开源爱好者,6年Linux一线运维经验,《Ansible权威指南》一书联合作者,做事情常出于“我不懂所以我想知道
对于刚接触嵌入式 Linux 系统开发的同学来说,搭建开发环境是一个不小的挑战,我看到过很多在入门边缘的新人为了搭建一个开发环境,苦苦尝试好几天还不得要领的情况,因此写下了这篇文章,希望能为大家做一些参考。
前言: 额~我有两台Linux系统的主机,想将一台主机上的磁盘或者某个目录共享给另一台主机,说白了就是:多台Linux主机使用同一个磁盘或目录。 ---- 解决方案: 使用nfs(network file system)网络文件系统工具,它是通过网络使不同机器或者操作系统之间分享部分文件,用于宿主机和目标机之间的文件分享。 ---- 场景: 服务端( 硬盘本地宿主主机 ): IP :172.16.168.1 共享目录:/media/alic/asus 客户端( 将远程挂载磁盘主机 ): IP:17
关于磁盘空间中索引节点爆满的问题还是挺多的,借此跟大家分享一下: 一、发现问题 在公司一台配置较低的Linux服务器(内存、硬盘比较小)的/data分区内创建文件时,系统提示磁盘空间不足,用df -h命令查看了一下磁盘使用情况,发现/data分区只使用了66%,还有12G的剩余空间,按理说不会出现这种问题。 二、分析问题: 后来用df -i查看了一下/data分区的索引节点(inode),发现已经用满(IUsed=100%),导致系统无法创建新目录和文件。 [root@bastion-IDC ~]# df
现在是资源共享的时代,同样也是知识分享的时代,如果你觉得本文能学到知识,请把知识与别人分享。
学习环境中,一般使用VMware虚拟机克隆Linux系统,用来进行集群服务器的搭建。VMware支持两种类型的克隆: 完整克隆、链接克隆
对于生活,用文字表达是一种非常好的方式,作为技术人,我决定使用一个脚本来映射技术生活中的一些小故事,也是在今天突然想到的。 对的,你没有看错,就是下面这个命令。但凡接触过Linux系统,这个命令还是很熟悉的,不熟悉也没有关系,就是查看服务器的磁盘空间。 df -h 我们像对待艺术品一样围着这个命令,认真的看看它,为什么叫df,想必是Disk Filesystem的意思吧,而为什么是-h选项,你还真想对了,其实-k -g等选项 -a 显示所有文件系统的磁盘使用情况,包括0块(block)的文件
软RAID:由操作系统模拟的RAID,一旦硬盘损坏,操作系统就会损坏,RAID会丧失作用(练习模拟使用)
Linux服务器的安全设置,首先从iptablesip可以设置特定安全规则,搞个默认禁止,只允许域内已知主机访问特定几个必须端口如:80 53 443 25这几个即可。关闭服务器sshagent转发功能,卸载不必要的服务。禁用root账户远程访问的功能,限制ftp用户,禁用telnet等不安全连接,ssh要使用v2以上版本,配置上登录密码设置最大尝试次数、口令长度字符构成。ssh登录的加密算法设置ASE128位,sha256以上的安全加密算法。禁止icmp重定向,限制su命令用户组。类似的东西太多了,开源操作系统还是给我们提供很多安全防护手段的,大家可以一点点百度慢慢了解。以上只是操作系统的安全防护,web安全就是另一套东西了,一定程度上取决于你的app是否足够安全。对于小企业官网来说,黑客一般不会去主动黑你,但也不乏有些人通过扫描的方式,入侵你的服务器作为肉鸡或者在你的服务器上植入挖矿程序,导致你CPU跑满,无法正常运行网站,针对这些问你题,该如何做好防护呢?在阿里云上做好安全防护相对于在自建机房更加便捷,建议遵循以下几点:
注释:如果输出的信息中有vmx,说明intel处理器支持完全虚拟化。如果显示svm,说明是AMD的处理器支持虚拟化。
对每个系统/网络管理员来说,每天监测Linux系统性能是一项非常艰巨的任务。在IT业从事5年的Linux系统管理员后,我发现监控和保持系统正常运行真不是件容易的事,为此,我总结了8个非常实用的命令行工
文件就是操作系统记录和保持信息的通用结构体。与其他操作系统不同,类似 UNIX 的操作系统将一切视为通用文件。 这意味着,不仅分区作为文件装载,而且特定设备(如 RAM、智能手机、外部磁盘和光盘)的目录都是文件。除了这些,套接字和管道也是文件!
本篇文章会尽可能详细的介绍如何在相对廉价的笔记本上搭建高性价比的 Linux 学习环境,让学习和工作都轻松和高效一些。尤其是针对国内网络环境下,如何快速的完成系统的安装和基础配置。
再相对高效一点的方法是通过du的-d参数,或--max-depth,设置查询的目录深度,目录深度增加,所查询的目录,展示出来会很多,这个时候可以通过grep进行过滤
对于每个系统管理员或网络管理员来说,每天要监控和调试 Linux 系统性能问题都是非常困难的工作。我已经有5年 Linux 管理员的工作经历,知道如何监控系统使其保持正常运行。为此,我们编写了对于 Linux/Unix 系统管理员非常有用的并且最常用的20个命令行系统监视工具。这些命令可以在所有版本的 Linux 下使用去监控和查找系统性能的实际原因。这些监控命令足够你选择适合你的监控场景。 1. top —Linux系统进程监控 top 命令是性能监控程序,它可以在很多 Linux/Unix 版本下使
ls cd pwd mkdir touch file ldd 查看c库依赖 ld GNU链接器(放在这里不太合适主要是和ldd做一下区分) ln 创建链接(一般用作软连接) mount 挂载外部文件 man 查看手册
转载:运维研习社 如果我们的服务器配置了企业微信或者钉钉的报警,那么我们可能会收到如下的消息. image-20220117165235844 登录服务器,通过 df -Hl 查看 和告警信息一致,接着我们就是要找到导致磁盘空间满的目录或文件,如何找到占用空间大的目录或文件?一种比较笨的方法是,在根目录下,通过 du -hs 命令,列出各目录所占空间大小 之后再用同样的方法继续到对应目录下去找 再相对高效一点的方法是通过 du 的 - d 参数,或 --max-depth,设置查询的目录深度,目
1.Top Top命令是一个性能监控程序,它按一定的顺序显示所有正在运行而且处于活动状态的实时进程,而且会定期更新显示结果。这条命令显示了CPU的使用率、内存使用率、交换内存使用大小、高速缓存使用大小、缓冲区使用大小,进程PID、所使用命令以及其他。 它还可以显示正在运行进程的内存和CPU占用多的情况。对性能测试的工程师来说,top命令式是非常有用的,我在另外一篇文章“老李分享:应用程序性能瓶颈定位方法和原理”,里面提供了一个案例,来帮助我们进行性能定位。
之前魏艾斯博客写过一个宝塔服务器管理助手 Linux 面版-安装教程,这个教程是 3.X 版本的,基于宝塔面板每周三更新的频率,现在的 4.X 版本安装方式和之前有了变化,速度也快了很多,为了建站新手考虑,老魏重新写了一次宝塔 Linux 面板 4.X 版本安装教程。 老魏写本文时候更新到宝塔 Linux 面板 – 6 月 14 日更新 – 4.5 版,不排除宝塔 Linux 面板的安装方式以后还会有变化。 安装要求: Python 版本: 2.6/2.7 内存:128M 以上,推荐 512
本文使用「署名 4.0 国际 (CC BY 4.0)」许可协议,欢迎转载、或重新修改使用,但需要注明来源。 署名 4.0 国际 (CC BY 4.0)
领取专属 10元无门槛券
手把手带您无忧上云