“线上服务停了,要重启一下”?久经职场做研发的程序员,视线会逐渐转移到线上应用的运行状态。设想一下,如果你在半夜两点正在酣眠美梦时,微信群里突然炸开锅:“服务停了,先重启。。。”,对于有起床气的你而言,美梦终结,是否能忍?
所谓假死现象,是指 Linux 内核 Alive,但是其上的某个或所有操作的响应变得很慢的现象。
默认情况下Tomcat的相关内存配置较低,需要修改,否则并发上来可能会报OOM异常
Tomcat 重启脚本,送给有需要的 JSP 环境运维同行们~ 运行环境:XP/windows 2003 测试通过,其他环境由于手头上条件限制未测试; 脚本功能:在常规调用 tomcat 自带的关闭/重启脚本中加入假死判断,若出现假死则予以强行 Kill 掉相关 JAVA 进程; 脚本特点:可在 tomcat/Jboss/apache 混合平台使用,针对性的只重启 tomcat 相关进程; 注意事项:就是注意 tomcat 环境变量是否正确即可。 @echo off title Tomcat重啟脚本 cal
好久没写 Node.js 故障案例了,今天是一枚全新的进程假死无响应案例。 特点是完全不同于之前常规遇到的类死循环引发的阻塞假死,值得记录分析的过程,希望对遇到其它的类似案例的开发者有所启发。
pulsar版本是2.8.0,部署在openjdk11上,具体版本号是:11.0.12。 在aws海外部署,使用机型是c5a.2xlarge(8c16g),一共是3台,每台部署一个broker、bookie、zk。启动命令的参数没有修改都是默认值。
今天上午没出去,重新折腾了一下,把另外的一个域名h4ck.ws绑定到了blog上。绑定多个域名的方法网上介绍的也比较多,这里我使用的是最简单的PS WP Multi Domain插件,直接从插件页面搜索安装插件即可。现在可以同时使用h4ck.org.cn和h4ck.ws来访问本博客了。同时修改了一下Google Friend Connect小插件,让这个东西在两个域名下可以同时访问。说白了方法挺简单的,就是另外创建了一个独立的页面,挂载到原来的域名下,在网页中嵌入GFC的地方直接使用iframe页面嵌入即可。但是由于这个GFC动态创建的,没有固定大小,现在使用的是固定大小的方法,显示效果并不是很好。如果谁有更好的办法还望不吝赐教。
最近有新的spring boot服务部署测试, 发现测试一段时间之后, 就无法收到返回数据, 直到调用端timeout为止.
---- 前言 调试内核肯定不是什么轻松的事情, 这里是使用kgdb进行调试, 你理解的没错, 就是kernel版的gdb. ---- 虚拟机串口设置 首先克隆下已经重新编译内核的虚拟机 然
首先要实现多任务,我们需要设计Master-Worker模式,Master负责分配任务,Worker负责执行任务。因此,多任务环境下,通常是一个Master,多个Wroker。
Linux下查看Nginx的并发连接数和连接状态 : 查看Web服务器(Nginx Apache)的并发请求数及其TCP连接状态: netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 或者: netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"t",state[key]}' 返回结果一般如下: LAST_ACK 5 (正在等待处
Consumer Group :Kafka提供的可扩展且具有容错性的消息者机制。 1、重要特征: A:组内可以有多个消费者实例(Consumer Instance)。 B:消费者组的唯一标识被称为Group ID,组内的消费者共享这个公共的ID。 C:消费者组订阅主题,主题的每个分区只能被组内的一个消费者消费 D:消费者组机制,同时实现了消息队列模型和发布/订阅模型。 2、重要问题: A:消费组中的实例与分区的关系: 消费者组中的实例个数,最好与订阅主题的分区数相同,否则多出的实例只会被闲置。一个分区只能被一个消费者实例订阅。 B:消费者组的位移管理方式: (1)对于Consumer Group而言,位移是一组KV对,Key是分区,V对应Consumer消费该分区的最新位移。 (2)Kafka的老版本消费者组的位移保存在Zookeeper中,好处是Kafka减少了Kafka Broker端状态保存开销。但ZK是一个分布式的协调框架,不适合进行频繁的写更新,这种大吞吐量的写操作极大的拖慢了Zookeeper集群的性能。 (3)Kafka的新版本采用了将位移保存在Kafka内部主题的方法。 C:消费者组的重平衡: (1)重平衡:本质上是一种协议,规定了消费者组下的每个消费者如何达成一致,来分配订阅topic下的每个分区。 (2)触发条件: a,组成员数发生变更 b,订阅主题数发生变更 c,定阅主题分区数发生变更 (3)影响: Rebalance 的设计是要求所有consumer实例共同参与,全部重新分配所有用分区。并且Rebalance的过程比较缓慢,这个过程消息消费会中止。
正文开始前的废话: 这里的程序即包括b/s的web application,也包括standalone的类c/s的java application。 为什么要自我重启? 场景1:分布式环境中,一般会有很多应用(即包括c/s的java application,又有b/s的web application)部署在不同的环境中,为了管理方便,通常会把一些公用的配置,比如:报警发邮件用的邮箱账号/密码/smtp信息,公用的ftp账号信息,甚至jdbc的连接串信息等,统一放在某个位置(共享的网络存储目录、redis缓存
本项目通过WebSocket实现同时在线用户量几千的推送服务器(可内网运行)。且可实时查看用户在线状态。
一个很友好的Redis Web界面管理工具。基于.NET实现。可以通过Mono部署到Linux上,下面是我部署在CentOS 5.7 + Mono 2.10.8 + Jexus 5.0.1: 详情介绍
作者:白宁超 成都信息工程大学硕士 原文:http://www.cnblogs.com/baiboy/p/4639474.html hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得。以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问题。但是网上一些文档大多互相抄袭,里面错误百出。笔者结合自学书籍视频等资料,完成这一套配置资料。实验结果和过程经过反复测试无误后方整理出来的。配置过程中,初学者若有实验环境,可以在真机环境下完成,若无条件,可补习下
如果二进制文件中存在 ELF 符号(通常情况下,除非运行 strip(1)),那么也会打印符号地址。如果进程是线程组的一部分,那么 pstack 将为组中的每个线程打印栈跟踪。
这里使用的是最简易的方式,使用python的子进程管理模块,调用系统的ping命令,代码如下:
本文提供两种方式来查看消费者组的消费情况,分别通过命令行和 java api 的方式来消费 __consumer_offsets 。
这两天,打算给现有的Apache Hadoop2.7.1的集群装个hue,方便业务人员使用hue的可视化界面,来做一些数据分析任务,这过程遇到不少问题,不过大部分最终都一一击破,收获经验若干,折腾的过程,其实也是一个学习的过程,一个历练的过程,我相信优秀的人,都是经历过无数磨难成就的,并且有着坚持不放弃的心态,迎接各种挑战,如果你总是遇到困难就放弃,那么你永远也不能成为最优秀的人,废话不多说了,下面开始进入正题: 框架版本如下: Centos6.5 Apache Hadoop2.7.1 Apac
Tomcat 优化分为系统优化,Java虚拟机调优,Tomcat本身的优化。
在 2 月10 号下午大概 1 点半左右,收到用户方反馈,发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader,导致某些消息发送到该分区时,会报如下 no leader 的错误信息:
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ajianyingxiaoqinghan/article/details/89736329
执行 python-2.7.12.amd64.msi文件,不需要修改安装路径,默认为C:/Python27即可
5年前,ubuntu8.04的时候就接触了ubuntu了,不过一直需求不大,仅仅当玩具。、
消息队列(Messeage Queue,MQ)是在分布式系统架构中常用的一种中间件技术,从字面表述看,是一个存储消息的队列,所以它一般用于给 MQ 中间的两个组件提供通信服务。
本文由马哥教育面授班25期学员推荐,转载自互联网,作者为lingcc,内容略经小编改编和加工,观点跟作者无关,最后感谢作者的辛苦贡献与付出。 最近在问答社区上看到一个问答题目,关于在高效率Linux用户节省时间Tips。将该题目的回答进行学习总结,加上自己的一些经验,记录如下,方便自己和大家参考。 下面介绍的都是一些命令行工具,这些工具在几位回答者的日常工作中都很有用。对于任何不了解的命令,请使用“man “查看,或者使用Google。有些命令需要先用 yum, apt-get install 命令安
一次服务上线没多久,页面处于刷新状态,系统发生假死,查看后台日志,并未发现任何的异常信息,在请求接口处增加debug日志后发现,程序在执行到数据库查询相关的地方卡死了。
1.1 JPS (JVM Process Status Tool),查看当前机器上所有JVM进程的状态和启动参数
Mycat前世今生 如果我有一个32核心的服务器,我就可以实现1个亿的数据分片,我有32核心的服务器么?没有,所以我至今无法实现1个亿 的数据分片。——Mycat ‘s Plan 上面这句话是Mycat 1.0快要完成时候的一段感言,而当发展到Mycat 1.3的时候,我们又有了一个新的Plan: 如果我们有10台物理机,我们就可以实现1000亿的数据分片,我们有10台物理机么?没有,所以,Mycat至今没有机会验证 1000亿大数据的支撑能力——Mycat ‘s Plan 2.0 “每一个成功的男人背后都有一个女人”。自然Mycat也逃脱不了这个法则。Mycat背后是阿里曾经开源的知名产品—— Cobar。Cobar的核心功能和优势是MySQL数据库分片,此产品曾经广为流传,据说最早的发起者对Mysql很精通,后来从阿里 跳槽了,阿里随后开源的Cobar,并维持到2013年年初,然后,就没有然后了。 Cobar的思路和实现路径的确不错。基于Java开发的,实现了MySQL公开的二进制传输协议,巧妙地将自己伪装成一个MySQL Server,目前市面上绝大多数MySQL客户端工具和应用都能兼容。比自己实现一个新的数据库协议要明智的多,因为生态环境在 哪里摆着。 Cobar使用起来也非常方便。由于是基于Java语言开发的,下载下来解压,安装JDK,然后配置几个不是很复杂的配置文件,猛 击鼠标,就能启动Cobar。因此这个开源产品赢得了很多Java粉丝以及PHP用户的追捧。当然,笨人(Leader us)也跟着进入,并 且在某个大型云项目中——“苦海无边”的煎着熬,良久。 爱情就像是见鬼。只有撞见了,你才会明白爱情是怎么回事。TA是如此神秘,欲语还羞。情窦初开的你又玩命将TA的优点放大, 使自己成为一只迷途的羔羊。每个用过Cobar的人就像谈过一段一波三折、荡气回肠的爱情,令你肝肠寸断。就像围城:里面的 人已经出不来了,还有更多的人拼命想挤进去。 仅以此文,献给哪些努力在IT界寻求未来的精英和小白们,还有更多被无视的,正准备转行的同仁,同在江湖混,不容易啊,面 试时候就装装糊涂,放人家一马,说不定,以后又是一个Made in China的乔布斯啊。 如果我有一个32核心的服务器,我就可以实现1个亿的数据分片,我有32核心的服务器么?没有,所以我至今无法实现1个亿的数 据分片。——Mycat ‘s Plan 曾经的TA 曾经的TA,长发飘飘,肤若凝脂,国色天香,长袖善舞,所以,一笑倾城。 那已成传说,一如您年少时的坚持:“书中自有黄金屋…” Cobar曾是多少IT骚年心中的那个TA,有关Cobar的这段美好的描述(不能说是广告)俘虏了众多程序猿躁动纯真的心: Cobar是阿里巴巴研发的关系型数据的分布式处理系统,该产品成功替代了原先基于Oracle的数据存储方案,目前已 经接管了3000+个MySQL数据库的schema,平均每天处理近50亿次的SQL执行请求。 50亿有多大?99%的普通人类看到这个数字,已经不能呼吸。当然,我指的是**RMB**。99%的程序猿除了对工资比较敏感,其 实对数字通常并不感冒。上面这个简单的数字描述,已立刻让我们程序型的大脑短路。恨不得立刻百度Cobar,立刻 Download,立刻熬夜研究。做个简单的推算,50亿次请求转换为每个schema每秒的数据访问请求即TPS,于是我们得到一个让 自己不能相信的数字:20TPS,每秒不到20个访问。 Cobar最重要的特性是分库分表。Cobar可以让你把一个MySQL的Table放到10个甚至100个位于不同物理机上的MySQL服务器 上去存储,而在用户看来是一张表(逻辑表)。这样功能很有价值。比如:我们有1亿的订单,则可以划分为10个分片,存储到 2-10个物理机上。每个MySQL服务器的压力减少,而系统的响应时间则不会增加。看上去很完美的功能,而且潜意识里,执行 这句SQL: select count(*) from order 100%的人都会认为:会返回1条数据,但事实上,Cobar会返回N条数据,N=分片个数。 接下来我们继续执行SQL: select count(*) from order order by order_date 你会发现奇怪的乱序现象,而且结果还随机,这是因为,Cobar只是简单的把上述SQL发给了后端N个分片对应的MySQL服务器去执 行,然后把结果集直接输出…. 再继续看看,我们常用的Limit分页的结果…可以么?答案是:**不可以** 这个问题可以在客户端程序里做些工作来解决。所以随后出现了Cobar Client。据我所知,很多Cobar的使用者也都是自行开发 了类似Cobar Client的工具来解决此类问题。从实际应用效果来说,一方面,客户端编程方式解决,困难度很高,Bug率也居高 不下;另一方面,对于DBA和
Condition 是 JDK 1.5 中提供的用来替代 wait 和 notify 的线程通讯方法,那么一定会有人问:为什么不能用 wait 和 notify 了? 哥们我用的好好的。老弟别着急,听我给你细说...
Tomcat 是 Apache 的扩展,是 Apache 的一个子项目,它具备 Web 服务器的所有功能,不仅可以监听接受请求并响应静态资源,而且可以在后端运行特定规范的 Java 代码 Servlet,同时将执行的结果以 HTML 代码的形式返回客户端。 Tomcat 虽然和 Apache 或者 Nginx 这些 Web 服务器一样,具有处理 HTML 页面的功能,然而由于其处理静态 HTML 的能力远不及 Apache 或者 Nginx,所以 Tomcat 通常是作为一个 Servlet 和 JSP 容器,单独运行在后端。
Python爬虫假死是指在使用Python进行网络爬虫时,程序在执行过程中突然停止响应,无法继续执行或响应的情况。这种情况通常是由于网络请求被目标网站限制或阻止,导致爬虫无法正常访问和获取数据。
本篇博文是《从0到1学习 Netty》中实战系列的第二篇博文,主要内容是通过引入心跳检测机制来解决假死连接问题,避免资源浪费和通信失败,往期系列文章请访问博主的 Netty 专栏,博文中的所有代码全部收集在博主的 GitHub 仓库中;
非常强大的监视jvm内存工具。可用来查看堆内各个部分的使用量,以及载入类的数量。使用时,需指定java进程号。一般使用 -gcutil 查看gc情况。
从事软件开发多年,而且大多数情况都是在linux完成代码的编写,自从第一次接触linux之后就再也离不开了,目前linux系统主要用在服务器端以及开发者使用,针对消费者的大众这块还是非常稀少,linux内核的代码主要是C语言和汇编两种编程语言完成,C语言本身语法没有那么复杂,但灵活性极强非常适合性能要求极高,所以很多性能要求的系统都喜欢用C语言来完成。
最近在Quora上看到一个问答题目,关于在高效率Linux用户节省时间Tips。将该题目的回答进行学习总结,加上自己的一些经验,记录如下,方便自己和大家参考。 下面介绍的都是一些命令行工具,这些工具在几位回答者的日常工作中都很有用。对于任何不了解的命令,请使用“man <COMMANDNAME>“查看,或者使用Google。有些命令需要先用 yum, apt-get install 命令安装。 1、基本命令 了解基本的bash 通读整个bash man page. 学习VIM 在Linux系统上,虽然你
生产环境最佳实践 1.linux 系统: 1】关闭文件系统/分区的atime 选项 Vi /etc/fstab 在对应的分区项后面添加noatime ,nodiratime LABEL=/1 / ext3 defaults 1 1 LABEL=/data1 /data ext4 defaults,noatime,nodiratime 1 2 2】设置文件句柄4k+,目前该配置已经集成到启动脚本中。 Vi /etc/security/limit.conf * soft nproc 65536
Windows 32位的Redis一直有些问题,前一阵经常重新启动服务,今天终于抓到一个报错信息:“MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk Redis被配置为保存数据库快照,但它目前不能持久化到硬盘。用来修改集合数据的命令不能用。请查看Redis日志的详细错误信息。“,网上查了一下,使用了”通过redis-cli连接到服务器后执行命令:config set stop-writes-on-bgsave-error no“,但接着发现有篇文章介绍这样做不好,其实是掩耳盗铃的做法,这只是让程序忽略了这个异常,使得程序能够继续往下运行,但实际上数据还是会存储到硬盘失败!,说是有个参数可以解决:”修改vm.overcommit_memory=1“,但我死活没找到在哪里修改,先记录下来,监控一下运行的情况再说。
“庄恕接到陆晨曦电话了解了大致情况,现如今救陆妈妈的办法只能是“强抢”,也就是人造休眠让陆妈妈撑到一个小时的时间,用低温治疗法。这种办法是庄恕在美国时听教授说起过,每一分每一秒都要配合到位,而且成不成全靠机率,不是医学上通用的范畴。好在庄恕和到位的大夫护士配合默契,为陆妈妈做了缝合止血,接下来就是送去手术室做人造休眠。”
Linux 内核编程总结
上一篇文章介绍到云存储项目,下一个做的项目就是统一日志。这一个项目前前后后做了一年多,版本迭代更新了很多版本,架构升级都做了3次以上。做这一个项目是收获最大的,我在这一个项目中锻炼了大型分布式系统的架构设计能力,也从0开始完全自主研发和设计的一个分布式系统。里面涉及到了很多技术,例如日志实时抓取和采集技术、数据实时传输、数据压缩、软负载均衡、zookeeper等。统一日志项目从最开始的3个人到最多的时候19人,到最后又只剩下3个人。从每天除了几GB的数据到每天处理每天几百TB的数据,从每天处理几千条日志
在压测过程中,使用了过期的cookie导致访问应用接口鉴权失败,访问接口走协议里约统一认证里面去了。里约统一认证压测多次,准入网关假死,报错504与502
从事十几年,涉及到的编程语言差不多有十几种,但真正常用的差不多三种,C/C++ java三种编程语言,不同的编程语言可能涉及使用的编辑器也会有所差异,其实编辑器的好坏主要是个人习惯问题,以及接触的第一门编程语言有很大的关系,毕竟在第一门编程语言留给自己第一印象最深刻,现在就把自己经历过的编程语言编辑器在这作为过来人在这总结下。
-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
腾讯大数据 JVM 团队基于 OpenJDK11 自研的 Tencent Kona JDK11,目前已将 ZGC 特性孵化成熟,性能优于 OpenJDK 所提供的版本,使 Java 能够轻松构建响应时间在 ms 级别的强实时性在线服务,极大提高研发和运维效率,目前在腾讯内部多业务场景生产落地,实现业务延迟 SLA 提升 2-3 个数量级。 随着 2021 年 4 月 30 日 Tencent Kona JDK 11.0.10-GA 正式对外发布,生产可用的 ZGC 也正式对外开源。 背景 经过二十
领取专属 10元无门槛券
手把手带您无忧上云