Linux/Unix 系统会为每个文件保存一些时间戳信息,我们可以根据这些时间戳来判断文件什么时候被读取过,什么时候被修改过内容,以及什么时候被修改过文件的权限。以下是 atime,ctime,mtime 三个时间戳的介绍。
无论何时登录公司的某些生产系统,你都会看到一些登录消息、警告或关于你将登录或已登录的服务器的信息,如下所示。这些是登录导语login banner。
借助chatgpt解决GrayLog下使用rsync+nxlog采集日志时出现大量日志重复读取的问题
某套应用,部署在Linux下的中间件上,在某个时刻开始报警,从日志看是无法获取JDBC连接,
作为互联网公司,网站监测日志当然是数据的最大来源。我们目前的规模也不大,每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成,之前,业务中对实时的要求并不高,最多也就是准实时(延迟半小时以上),因此,我们使用Flume将数据收集到HDFS,然后进行清洗和分析。
本文要介绍的是一个发生在我们线上环境的真实案例,问题发生在某次大促期间,对我们的线上集群造成了比较大的影响,这篇文章简单复盘一下这个问题。
我们在服务器运行一些服务经常会产生很多临时文件, 而有些临时文件不定期处理很容易就打满了整个磁盘; 所以有必要去定期清理,基于这个需求我们就可以搞一个脚本结合crontab或者服务调度这些来使用;
1. 如何看当前Linux系统有几颗物理CPU和每颗CPU的核数? 物理cpu个数:cat /proc/cpuinfo |grep -c ‘physical id’ CPU一共有多少核:grep -c processor /proc/cpuinfo 将CPU的总核数除以物理CPU的个数,得到每颗CPU的核数。 2. 查看系统负载有两个常用的命令,是哪两个?这三个数值表示什么含义呢? 两个命令分别是 w 和 uptime 这三个系统负载值分别表示在1分钟、5分钟和15分钟内平均有多少个任务处于活动状
ShortMessageTask 短信任务v1.4 使用vs.net 2005 beta2写的,使用outlook.dll读取联系人,二进制文件保存信息 介绍:将短信放入任务列表,指定在某一时刻发送给某人 好友的生日你忘了没有,发个短信?忘记了怎么办? 将短信放入短信任务吧,他会及时将信息发送出去(只要你不关机 1.2版本:支持后台运行,添加了短信状态的图标显示 1.3版本: 1、对联系人的选择进行了优化,速度有所提高,特别是第二次选择的时候。增加了left键上翻,right键下翻的功能 2、增加了多发的方法,直接选择多个联系人或者使用“;”对手机号进行分割 3、信息列表中增加了显示时间:如果是当天的信息显示“时:分”,如果不是当天的信息显示"日/月" 1.4版本:请大家注意这个版本只有3个文件 1、短信显示将分两行显示: 第一行状态图标和短信息内容(内容为一行,可能显示不全); 第二行显示时间(当天的为时间,其他的为日期)和联系人名称(没有的显示手机号,群发可能显示不全) 2、联系人选择:如果联系人有多个电话号码,弹出对话框进行选择(针对有的朋友又有小灵通又有手机) 3、选项: 发送后自动删除短信息 自动启动发送短信后退出程序 源代码下载: http://files.cnblogs.com/mobile/ShortMessageTask1.4.Source.rar
这几天开发的过程中,碰见了一些问题,有些是属于常识问题,知道了记住了,下次就不会犯错,有些是属于知识模糊,需要理解,在此总结记录。
which命令 which 搜索命令的绝对路径(搜索的目录,默认为 echo $ PATH 该变量下的目录),前提必须得在默认变量下的目录下,同时还得有执行权限,才能搜索得到。 whereis、locate命令 whereis命令是搜索文件的 whichis命令,通过预先生成的一个文件列表库查找与给出的文件名相关文件。 (有局限性) whereis 【-bms】 【文件名】 -b:只查找二进制文件 -m:只查找帮助文件(在man目录下的文件) -s:只查找源代码文件 locate命令——>安
在欧洲开源峰会上,Linus Torvalds 宣布,他将在当天(在内核维护者峰会上)推动 Rust 进入即将推出的 6.1 Linux 内核。
在渗透完成之后,为了减少被发现和追溯的概率,攻击者有必要清除自己的攻击痕迹,本文分别对windows和linux上清理痕迹的方式做一个总结。
由于文件标题是中文,直接读取会报错,所以加了encoding编码申明。一般encoding设置成GBK、utf-8、GB2312即可满足读取需求。
本文需要使用到的工具有: Charles抓包工具、夜神模拟器、微信开发者工具、wxapkg反编译工具CrackMinApp; 提示:需要安装好Charles和夜神模拟器并配置好App抓包环境,以及安装好微信开发者工具 / 反编译工具CrackMinApp Charles&夜神模拟器安装教程:https://blog.csdn.net/EXIxiaozhou/article/details/127767808 微信开发者工具 / 反编译工具CrackMinApp 下载安装:https://blog.csdn.net/EXIxiaozhou/article/details/128110468 该文章涉及到App抓包以及微信小程序反编译逆向等相关的Spider技术
1.需要备份的文件和目录由一个列表指定。 2.备份应该保存在主备份目录中。 3.文件备份成一个tar.gz文件。 4.zip存档的名称是当前的日期和时间。 5.我们使用标准的tar.gz命令.
在博客园写文章有一段时间了,除了自己有一些新的发现想与别人分享外,推动我写文章的最大动力就是看博客园排名不断增长啦!然而在博客园后台,只能看到当天的积分与排名,历史值和趋势却没有办法查询,对于文章发表后对自己积分与排名的影响并不直观,于是就想到自己动手做一个积分与排名趋势图这样一个工具。
整个架构图分为三层,从下往上看,最下面一层是数据安全,包括受限域认证系统、加工层权限系统,应用层权限系统,安全审计系统,来保证最上层数据集成与处理的安全;
在 Linux 系统使用中,作为一个管理员,我希望能查找系统中所有的大小超过 200M 文件,查看近 7 天系统中哪些文件被修改过,找出所有子目录中的可执行文件,这些任务需求 find 命令都可以轻松胜任。
「 傍晚时分,你坐在屋檐下,看着天慢慢地黑下去,心里寂寞而凄凉,感到自己的生命被剥夺了。当时我是个年轻人,但我害怕这样生活下去,衰老下去。在我看来,这是比死亡更可怕的事。--------王小波」
这是搭建个人博客系统系列文章的最后一篇,如果你是从第一篇一路跟下来的,那么恭喜你,即将完成整个博客网站的搭建。OK,话不多说,开始我们的收官之战。
最快的时间内,通过不同命令对Linux系统状态的把控,也是运维的基本功。今天一起来汇总一下,看看都有哪些。 1 使用w查看系统负载 相信所有的linux管理员最常用的命令就是这个 w 了,该命令显示的信息还是蛮丰富的。第一行从左面开始显示的信息依次为:时间,系统运行时间,登录用户数,平均负载。第二行开始以及下面所有的行,告诉我们的信息是,当前登录的都有哪些用户,以及他们是从哪里登录的等等。其实,在这些信息当中,我们最应该关注的应该是第一行中的 ‘load average:’ 后面的三个数值。 第一个
其中,access.log是业务主日志,按天进行滚动,日志文件最大为128MB, 当天日志超出128MB后也进行滚动,最多保留15个日志文件;滚动后的日志文件会立即进行压缩。
在pdf中生成一个可变表头的表格,并向其中填充数据。通过泛型动态的生成表头,通过反射动态获取实体类(我这里是User)的get方法动态获得数据,从而达到动态生成表格。
有一家公司,为了增进员工之间的联系和友谊,决定在员工生日当天给他们发生日祝福。然而,公司中有200多名员工,手动发送祝福将需要花费大量时间和精力。这时候Python就派上用场啦!下面是使用Python自动给Excel表格中的员工发送生日祝福的步骤:
当面试官问:"网站高并发怎么做?"时,该怎么回? 在高并发下,我们(初级程序员)能做什么? 一:mysql方面 mysql方面,我们主要要从以下几点去考虑: 1:索引 mysql其实没有想象中的那
微信号:freebuf 意大利安全研究人员Christian Galeone最近发现一枚Java官网存在的重大安全漏洞,该漏洞可读取网站敏感数据,包括超过460位Oracle公司员工的邮箱。 Java官网本地文件包含(LFI)漏洞 Java JDK7网站上存在目录浏览(Path Traversal)/本地文件包含(Local File Inclusion)漏洞。 研究人员测试,通过漏洞可读取服务器端敏感数据(Important Sensible Server-Side Data)也包含在内。如果该漏
在 OpenXML 里的图表存放的日期时间很多存放的是数值,需要进行转换才能获取到用户可见的字符串
1.常见的Linux发行版本都有什么?你最擅长哪一个?它的官网网站是什么?说明你擅长哪一块?
原文链接:https://rumenz.com/rumenbiji/linux-at.html
前两天业务方突然找到我说当天索引ES查询很慢,原来毫秒级的查询现在竟然要20s,让我处理下。我看了下索引大小,原来是1分片6g左右,今天突然就变成了1分片32g。然后我就一脸硬气的告诉他,你们业务膨胀了5倍,为什么不和平台这边沟通,一分片30多g肯定慢。然后业务一脸懵逼的查了一通,告诉我业务大小没变化。业务方说数据大小没变,我这边logtash也没动过,难道是推送kafka的时候,多推送了几次?(我自己没做改动,不可能有问题的好吗?肯定是别人有问题。。。。。)我让负责kakfa的同学帮忙查了一下,他告诉我kafka接收到的数据和往常一样,没变化。业务数据量没变,kafka接收到的数据量也没变,那只能是logtash的问题。但logstash我也没改,为什么今天就突然变大了呢? 然后我试着查看其他业务当天的索引,发现也特别慢。查看segments发现,一个一分片0副本的索引segments竟然有1400多。这肯定慢,从一个文件中查询与从1400个文件这个性能差的不是一点半点。
最近网上流传了一份没有答案的Linux运维面试题。51CTO博主豪鹫趁工作之余,利用自己三年的运维经验交出了一份答卷。欢迎大家一起来点评~
我有一个习惯,就是不断的记录在工作中反复用到的知识点,原本我很喜欢使用印象笔记和有道云笔记,其一是云笔记的同步功能,其二是云笔记的搜索功能,当你输入的笔记多了之后,你才会发现搜索功能是多么的重要。 鉴于公司内部对信息安全管理比较严格,这种云笔记在内部禁止了。很遗憾。大凡优秀的企业都不应该在限制这些条条框框。 没办法。在本地使用Atom 加上 Markdown 插件编写笔记。 初期我是这么做: 每天一个页面 这个页面包含当天的待办事项、遇到的问题收集、以及解决办法的思路。 后期,我不这么做了,是因为Atom
最近在写一个覆盖公司产品全站页面性能测试的项目,随着代码量逐渐上升, 单纯的脚本执行的姿势,使维护成本上去了,代码散落各地,调用要打一大串。 所以直接搞成CLI改善使用体验和降低维护成本。
上次跟大家分享了一个《神器工具:新一代多系统启动 U 盘装机解决方案》这篇文章发出后,当天阅读量突破 2000,截止目前在看:66 个,留言:20 条,赞赏:7 个,被转载:5 次,通过这一数据来看,阅读数已经是我平时的好几倍了,这并不算什么。
今天就来说一下其中的统计服务:目的主要是为了实现 H5 页面的分渠道统计(其实不仅仅是分渠道统计,核心是想做一个自定义事件统计服务,只是目前有分渠道统计的需求),查看每个渠道具体的 PV 情况。(具体会在 url 上面体现,会带上页面名称、id、渠道类型等)
-平安夜当天,Slax 开发者 Tomas Matejicek 宣布了 Slax 9.3 GNU/Linux 发行版已正式到来。Slax 9.3 是自开发者休眠 2 年以来的第二个稳定版更新,不过这一次,其已经基于 Debian GNU/Linux 打造,而不是 Slackware 。
-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
下图是宝塔面板后台云服务器的上行速度、下行速度、总发送、总接收流量图,橘红色代表的是上行速度曲线,蓝色代表的是下行速度曲线,鼠标移动到一个时间点,会显示上行和下行的网速,右上角“全部”可以选择网卡。
判定方法: 1 在任务管理器中增加显示 pid 字段。就可以看到占用内存或者 cpu 最高的进程 pid ! 2 在命令提示符下运行 iisapp -a。注意,第一次运行,会提示没有js支持,点击确定。然后再次运行就可以了。这样就可以看到 pid 对应的应用程序池。 3 到 iis 中察看该应用程序池对应的网站就可以了!然后真对站点排除错误!(如果运行后出现 error - no no results 这样的提示,说明你的站点没有开启或还没有被访问过!) 解决方法: 1 尝试删除系统路径\System32\Logfiles\W3SVC1 下当天的错误日志文件,如:ex060904.log,然后重新启动IIS,等待一段时间,看看有没有问题。 注:有时非法重启或者写入日志错误都有可能造成 w3wp.exe 进程锁死。 2 设置应用程序池的CPU监视,不超过25%,每分钟刷新,超过限制时自动关闭。 注:此方法只能用来做为测试,在真正的环境下,这个可能会引起网站时好时坏。不推荐长期使用。 3 检查你的程序代码,或者网页调用,程序没写好或者有死循环,是最容易造成 w3wp.exe 锁死的。 注:方法是先停止IIS,再删除当天的网站日志(系统路径\System32\Logfiles\对应的网站目录下),然后开启IIS,等待CPU高占用的出现,这时在1分钟内打开新建的日志文件,按出现时间,对应检查里面所罗列出现的文件,检查代码是否有问题。 4 检查数据库完整性和 ODBC 的有效性。 注:有些写得不好的 ASP 程序,在访问数据库无法做到容错性,所以有些时候数据库损坏或者 ODBC 传送数据不正常,都有可能造成多次强制查询,从而体现为 w3wp.exe 高 CPU 占用。 5 检查文件的权限。 注:不要奇怪,某些时候真的出现这种事情,一个文件无法写入或者无法读取,都会引起很大的问题。 ---------------------------- 以上才是真正的解决手段和方法,网上流传的资料,不是很让人满意。 就我自己网站来说吧,原因在于 LinPHA 这个相册系统,不知道为什么,这个系统,在收到非标准的搜索 search 代码时,就会出现变量无法赋值的问题。 在调试的时候,我就发现了,Google Bot 在搜索时,能准确的识别出我的语言代码页,搜索所赋值的变量数值合法,所以不出问题。 而遇到 Baidu 蜘蛛时却就有意外发生了,因为 Baidu 本身不认 Unicode 代码,所以他会将你的代码页当成 GBK 来搜索,自然在 Unicode 的搜索页里就出现赋值不是合法数值的问题,然后导致运算出错,最后把w3wp.exe 锁死,等90秒或者更长时间,系统强制回收变量时,才能自动恢复。 这就是前段时间,本站访问不正常的根本原因。
www.oschina.net/news/108412/pypi-malicious-python-libraries
百度站长工具提交链接——curl推送方法,百度给出了一个示例,但是对于不懂linux命令不懂代码的人来说,这个确实不容易理解,通常大家使用的是sitemap来提交链接,curl有个好处就是提交后,百度反馈的收录很快,以我的新站为例,我在WenYtao.com未公开的情况下,我先把内容做起来,接着再提交链接。如果恰好你也使用的是帝国cms,那么可以选curl推送。
百度收录问题一直是不少渣渣头痛的问题,而官方其实提供了普通收录和快速收录这样的接口,直接调用官方api接口,大力出奇迹,你需要相信,你尽管seo,有排名算我输,不收录,怎么会呢,不是给你留了一个首页网址么?以前写过熊掌号的api网址提交,可惜被清退了,也不知道能不能用了。
/** * sar man手册简译, 欢迎大家补充、指正 * Author: cnscn * Time : 2006-10-17 09:10 * */ sar --- 收集、报告或保存系统活动信息 Collect, report, or save system activity information Options: -A 列出保存的当天的所有活动的文件内容, 等同于-bBcdqrRuvwWy -I SUM -n FULL -P ALL -b 报告I/O和传送速率统计。
把所有的考研单词存储到数据库中,每天定时在两个时间点,上午7:30、下午6:30,将属于当天的单词发送到指定的邮箱中。一个月一遍。一年12遍,我想再笨的人也会背下来的。
[root@hadoop1 /]# awk ‘pattern + action’ {filename}
领取专属 10元无门槛券
手把手带您无忧上云