昨天发现线上有一些业务逻辑没有执行到,但是代码入口代码日志已经打印,深入下去一看,底层库里有一个事件执行的方法在每次执行时都会 new 一个 thread,在以往量不大时没有问题,量大时就可能导致线程创建不出来,报OOM错误(由于有同事在我看这个时重启了服务导致 gc 日志被清空和栈信息丢失,这个原因只是一个猜测)。
进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元,在传统的操作系统中,进程既是基本的分配单元,也是基本的执行单元。进程的概念主要有两点:第一,进程是一个实体。每一个进程都有它自己的地址空间,一般情况下,包括文本区域(text region)、数据区域(data region)和堆栈(stack region)。文本区域存储处理器执行的代码;数据区域存储变量和进程执行期间使用的动态分配的内存;堆栈区域存储着活动过程调用的指令和本地变量。第二,进程是一个“执行中的程序”。程序是一个没有生命的实体,只有处理器赋予程序生命时(操作系统执行之),它才能成为一个活动的实体,我们称其为进程。
当下线上服务为了减少上线,经常搞成配置化,配置化对于版本以及持续集成本身是很大破坏,对于此,我个人持保留态度, 是反对过多东西进行配置化,其实配置化本身没有什么问题,关键是动态对配置进行修改而没有与代码进行版本关联,但越来越多 人迎合潮流与领导。 对于线上服务,存在定时拉取配置平台配置,一定进行相应检查,只要人配置东西就一定会有问题,或者说容易发生问题,线 上服务重启时,需要稳赢一下,呆一会看一下启动是否成功,一定不要一次全部服务批量重启,出了问题,就完全没法处理了,并且 需
摘要: 线上的系统出现了bug,可能是请求的数据出现了问题,这个时候,日志就为我们提供了解决问题的办法。但是线上的产品系统,一般的优先级都在INFO之上,如果修日日志级别,获取丰富的信息,可能需要重启服务,对线上的影响比较大。如何能做到 动态的修改日志的级别,而且不用重启服务,对线上环境的影响减少到最小呢?Log4jConfigListener就上场了
在上一篇中我们介绍了数据迁移的套路,但是没有介绍具体的方案,这篇着重介绍下具体的数据迁移方案
“ 在深入理解Java虚拟机一书的高效并发部分中提到:按照线程安全的安全程度由强至弱来排序,可以将Java语言中各种操作共享数据分为5类:不可变,绝对线程安全,相对线程安全,线程兼容和线程对立(这种划分也是Brian Goetz在IBM developWorkers中发表的一篇论文提出的)。”
派大星:当往线程池中提交任务的时候,会先判断线程池中线程数是否是核心线程数,如果小于,会创建核心线程并执行任务。如果线程数大于核心线程数,会判断阻塞队列是否已满,如果没有满,会把任务添加到阻塞队列中等待调度执行。如果阻塞队列已满,会判断线程数是否小于最大线程数,如果小于,会继续创建最大线程数并执行任务。如果线程数大于最大线程数,会执行拒绝策略,然后结束。
将整个hash值得区间组织成一个闭合的圆环,计算每台服务器的hash值、映射到圆环中。使用相同的hash算法计算数据的hash值,映射到圆环,顺时针寻找,找到的第一个服务器就是数据存储的服务器。
JAVA中操作共享数据按照线程安全程度大致分为5类: 不可变,绝对线程安全,相对线程安全,线程兼容和线程对立
在程序员的职业生涯中,总会遇到数据库表被锁的情况,前些天就又撞见一次。由于业务突发需求,各个部门都在批量操作、导出数据,而数据库又未做读写分离,结果就是:数据库的某张表被锁了!
在真实高并发场景下,一般不会直接使用 Thread 类创建线程,而是使用线程池来创建并管理线程。可以这么说,学好线程池对于并发编程是非常重要的。
线程:程序流执行的最小单元。线程是比进程更轻量级的调度执行单位,线程的引入,可以把一个进程的资源分配和执行调度分开,各个线程既可以共享进程资源(内存地址、文件I/O等),又可以独立调度(线程是CPU调度的基本单位)。
我们在编写程序的时候,一般是有个顺序的,就是先实现再优化,并不是所有的牛P程序都是一次就写出来的,肯定都是不断的优化完善来持续实现的。因此我们在考虑实现高并发程序的时候,要先保证并发的正确性,然后在此基础上来实现高效。所以线程安全是高并发程序首先需要保证的。
前面的几篇文章主要介绍了线程的一些最基本的概念,包括线程的间的冲突及其解决办法,以及线程间的协作机制。本篇主要来学习下Java中对线程中断机制的实现。在我们的程序中经常会有一些不达到目的不会
发生故障后,不要只顾闷头排查问题,还要及时向你的直属领导汇报故障现象、影响范围、修复措施和修复进度,如果可以,最好再汇报一个大概的恢复时间。这不是浪费时间,而是让你的领导快速了解故障情况,评估风险,以便于协调内外部资源,同时争取更多的决策时间应对老板或业务部门的催促。如果是等级较高的故障就需要联系该系统相关人员一起排查,同时与该业务线的前后端开发、测试、运维及 DBA,多线程并行作战。在清楚故障现象后,各自排查自己负责的模块,最大限度地动用可利用的资源。严重的线上故障一定是要协调各方资源一起排查,因为只有掌握了足够多的信息,才能做出解决问题的正确决策。有必要的情况下,对故障升级要求更多的人投入进来解决该问题
栅栏同步是一个原语, 在很多并行编程语言中都很常见. 在CUDA中, 同步可以在两个级别执行:
本文讲解了 Java 中线程优先权的模拟和其应用场景,并给出了样例代码。线程优先级是指操作系统在调度多个线程时给予每个线程的优先级。
最近公司一个系统发生线上故障,系统架构为C/S的,客户端是APP;系统的功能有:联系人、短信、通话记录等,每个业务都有备份、恢复的功能,即用户可以在APP内备份自己的联系人、短信、通话记录至服务端,然后可以后续某个时间段恢复数据。
该过程需要本地环境和线上环境至少保证指定端口互通,该端口指的是线上debug对项目的监听端口。
在项目工程中,基于池化思想的技术应用很多,例如基于线程池的任务并发执行,中间件服务的连接池配置,通过对共享资源的管理,降低资源的占用消耗,提升效率和服务性能。
在Spring Cloud中我们用Hystrix来实现断路器,默认是用信号量来进行隔离的,我们可以通过配置使用线程方式隔离。
前段时间公司里有个项目需要进行重构,目标是提高吞吐量和可用性,在这个过程中对原有的线程模型和处理逻辑进行了修改,发现有很多基础的多线程的知识已经模糊不清,如底层线程的运行情况、现有的线程池的策略和逻辑、池中线程的健康状况的监控等,这次重新回顾了一下,其中涉及大量java.util.concurrent包中的类。本文将会包含以下内容:
并发不一定都要用到线程,比如PHP中用到的是多进程。但是在Java中并发基本上都是使用线程来实现的。我们先来看看线程在Java虚拟机中是如何实现的。
《eclipse集成Java性能分析神器JProfiler》讲解了eclipse集成Jprofiler,这篇讲解一下IDEA如何集成JProfiler。
mysqldump的产出物是一个包含了建表,插入数据的SQL语句集合,类似于这样:
这事情还得从两天前说起...话说迭代上了个接口,该接口横跨多个应用服务,链路如下图所示:
单例模式写法有很多,于是我看到了这么一种写法: public class SingletonTest {
线上故障通常是指大规模的影响线上服务可用性的问题或者事件,通俗点讲就是:掉“坑”里了,这个“坑”就是线上故障!线上故障的处理过程可以形象地表达为:“踩坑”、“跳坑”、“填坑”、“避坑”。
最近偶然间看见一道名为史上最难的java面试题,这个题让了我对线程安全的有了一些新的思考,给大家分享一下这个题吧:
最近在面试找工作吧,关于线程池的问题被面试官问得还是蛮多。但是发现大多面试官也问不出啥来,大都会问有哪几个核心参数,自己拉吧拉吧的讲12345个参数,然后就没然后了(就下一个问题了)。但不排除有些面试官确实可以,会针对你的理解,问你一些稍微源码级别或者给你设计一些场景给你回答(个人还是比较喜欢这种)。
一、概述 多线程的优先级,小伙伴们应该都或多或少的用过或者见到过,但是,对于具体用法可能还是有点不太清楚,这篇文章就对这个问题进行一个探讨,也欢迎小伙伴们一起留言讨论。 在不同的JVM中(JVM也算是一个操作系统),有着不同的CPU调度算法,对于大部分的JVM来说,优先级也是调度算法中的一个参数。 所以,线程优先级在一定程度上,对线程的调度执行顺序有所影响,但不能用于保证线程的执行顺序,因为优先级仅仅是其中一个参数而已,其他参数还可能有线程的等待时间、执行时间等。而且操作系统也可抗能可以完全不用理会JA
一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。
导语 专职做 DBA 已经 6 年多的时间了,一路上,跌跌撞撞,从小公司 DBA,到腾讯高级 DBA,再到现在的金融数据库 DBA。看同行、同事犯了太多的错误,自己也犯了非常多的错误。一路走来,感触非
http://dev.mysql.com/doc/refman/5.7/en/set-statement.html
专职做 DBA 已经 6 年多的时间了,一路走来,感触非常深。看同行、同事犯了太多的错误,同样我自己也犯了非常多的错误,然而绝大多数的错误其实都是很低级的错误。 有的是因为不了解某个引擎的特性导致、有的是因为对线上环境不了解导致、有的是因为经验不足导致。一路上,跌跌撞撞,从小公司 DBA,到腾讯高级 DBA,再到现在的金融数据库 DBA。 不由得想起 5 年前的我,刚进入 DBA 行业,缺乏经验,经常犯错误,不是我不够努力,更多的是初来乍到的我根本不知道应该在哪方面下功夫。 本文就是基于这方面的考虑
Java创建一个线程很方便,只需new Thread()就可以, 但是当有多个任务需要进行进行处理时,频繁的进行创建和启用线程同样需要系统开销,也不利于管理,于是同mysql的连接池一样,自然有对线程的管理池即线程池。
如果一个变量在多个线程的工作内存中都存在副本,那么这个变量就是这几个线程的共享变量。
在线程的相关介绍中,有讲到“线程的实现”分为三种:内核支持,用户级以及两者混合。(这只是一种简要的分类)
在最近的项目中,碰到了@Scheduled注解失效的问题,分析原因后,使用@Scheduled注解做定时任务需求需要格外小心,避免踩入不必要的坑。
由于线程的创建和销毁对操作系统来说都是比较重量级的操作,所以线程的池化在各种语言内都有实践,当然在 Java 语言中线程池是也非常重要的一部分,有 Doug Lea 大神对线程池的封装,我们使用的时候是非常方便,但也可能会因为不了解其具体实现,对线程池的配置参数存在误解。
多线程之间除了竞争访问同一个资源外,也经常需要相互协作,怎么协作呢?本节就来介绍Java中多线程协作的基本机制 wait/notify。
定义:当多个线程访问一个对象时,如果不用考虑这些线程在运行时环境下的调度和交替执行,也不需要进行额外的同步,或者在调用方进行任何其他的协调操作,调用这个对象的行为都可以获得正确的结果,那这个对象是线程安全的。
项目在重新发布的过程中,如果有的请求时间比较长,还没执行完成,此时重启的话就会导致请求中断,影响业务功能,优雅重启可以保证在停止的时候,不接收外部的新的请求,等待未完成的请求执行完成,这样可以保证数据的完整性。
1 线程安全 当多个线程访问一个对象时,如果不用考虑这些线程在运行环境下的调度和交替执行,也不需要进行额外的同步,或者在调用方进行任何其他的协调操作,调用这个对象的行为都可以获得正确的结果,那么这个对象是线程安全的 1.1 Java语言中的线程安全 按照线程安全的“安全程度”由强至弱来排序,我们可以将Java语言中各种操作共享的数据分为 不可变(Immutable) 不可变的对象一定是线程安全的。 保证对象行为不影响自己状态的途径有很多种,最简单的就是把对象中带有状态的变量都声明为final Jav
从图中可以看到结果是正确的。可是这不对啊,多线程操作同一变量,结果肯定是小于预期值的。加上Console.WriteLine之后,结果就是正确的了,这有问题。它能让线程同步?也不对,它与a的操作都不是同一行,怎么能影响到a呢?
为了保证多条命令组合的原子性,Redis提供了简单的事务功能以及集成Lua脚本来解决这个问题。简单介绍Redis中事务的使用方法以及它的局限性。
并发不一定要依赖多线程(如PHP的多进程并发),但在Java中谈论并发,大多数都与线程脱不开关系
《对线面试官》是我一字字敲出来的,是我准备跳槽时按照自己的思路撰写而成。 它不会花长的篇幅讲述基础API相关的知识,会着重讲解重点高频率面试题,又或是实际工作中如何使用这项技术的它。模拟真实的面试场景,面试者实际的回答内容可能是怎么样的。 如果有看过的人,自然就懂,跟大部分的面试题是有区别的,这个系列也使我在知乎获近万赞,至少我认为它是有价值。等我下次跳槽,我绝对会回看我自己写的对线面试官系列。 为了增添趣味性会有图片版本(在其中穿插大量表情包或者梗),为了复习效率性会有纯文版本,纯文版本还有离线PDF电子
在上篇博客(【死磕Java并发】—–深入分析volatile的实现原理)LZ提到过由于存在线程本地内存和主内存的原因,再加上重排序,会导致多线程环境下存在可见性的问题。那么我们正确使用同步、锁的情况下,线程A修改了变量a何时对线程B可见? 我们无法就所有场景来规定某个线程修改的变量何时对其他线程可见,但是我们可以指定某些规则,这规则就是happens-before,从JDK 5 开始,JMM就使用happens-before的概念来阐述多线程之间的内存可见性。 在JMM中,如果一个操作执行的结果需要对另一个
领取专属 10元无门槛券
手把手带您无忧上云