为了减少频繁创建和销毁进程的开销，apache在启动之初，就预先fork一些子进程，然后等待请求进来。每个子进程只有一个线程，在一个时间点内，只能处理一个请求。
KafkaConsumer是非线程安全的，多线程需要处理好线程同步，多线程的实现方式有多种，这里介绍一种：每个线程各自实例化一个KakfaConsumer对象，这种方式的缺点是：当这些线程属于同一个消费组时，线程的数量受限于分区数，当消费者线程的数量大于分区数时，就有一部分消费线程一直处于空闲状态
http://www.liuqianfei.com/article/065b0f1ee59a4cf0b94a84c4e33af127
今天，我们将介绍一系列新的博客文章，其中将介绍Apache Impala的最新增强功能，许多是性能改进，例如下面所述的功能，可以更高效地利用所有CPU内核，将性能提高2倍至7倍。此外还有大量的工作，确保Impala在存储计算分离的场景中能最优地运行，比如数据存储在对象存储或远程HDFS的场景。鉴于越来越多的用户正在运行容器化的Impala集群，例如Cloudera Data Warehouse（CDW）服务中提供的集群，这一点尤其重要。
Apache 是一个非常成熟的Web服务器，工作模式也在不断优化 现在 Apache 已经有了 3 个核心工作模式，看下他们各自的工作方式是什么样的 （1）prefork MPM，多进程工作模式 先生成主进程，完成基础的初始化工作，然后，通过fork预先产生一批的子进程（子进程会复制父进程的内存空间，不需要再做基础的初始化工作），然后等待服务 之所以预先生成，是为了减少频繁创建和销毁进程的开销 多进程的好处，是进程之间的内存数据不会相互干扰，同时，某个进程异常终止也不会影响其他进程。但是，就内存而言，每个子
作为老牌服务器，Apache仍在不断地发展，就目前来说，它一共有三种稳定的MPM（Multi-Processing Module，多进程处理模块）。它们分别是 prefork、worker 和 event 。
测试方法 为了对Ignite做一个基本了解，做了一个性能测试，测试方法也比较简单主要是针对client模式，因为这种方法和使用redis的方式特别像。测试方法很简单主要是下面几点： 不作参数优化，默认配置进行测试 在一台linux服务器上部署Ignite服务端，然后自己的笔记本作客户端 按1，10，20，50，100，200线程进行测试 测试环境说明 服务器： [09:36:56] ver. 1.7.0#20160801-sha1:383273e3 [09:36:56] OS: Linux 2.6.32-2
转载自 https://blog.csdn.net/fuyuwei2015/article/details/71860349
1 Java日志框架性能比较 前面几章，笔者分别介绍了log4j,logback,log4j2三大日志实现框架。 接下来，就用具体的数据比较下，哪个日志框架的性能更好！ 单线程：外循环100次，内循环100000次； 多线程：开启100个线程，每个线程执行100000次； 1.1 测试代码： (1)log4j: public class log4jDemo { Logger logger = Logger.getLogger(log4jDemo.class); @Test pub
本文来自拥有十年IT从业经验、擅长网站架构设计、Web前端技术以及Java企业级开发的夏俊，此文也是《关于大型网站技术演进的思考》系列文章的最新出炉内容，首发于CSDN，各位技术人员不容错过。 以下为正文： 一、引子 《关于大型网站技术演进的思考》已经连载完了两个系列，它们分别是《存储的瓶颈》和《网站静态化的处理》，这两个系列对应到网站里的组件就是存储端和浏览器端，网站除了这两端外，还有一端那就是服务端了，服务端上接浏览器端，下承存储端，所以当我们想让网站的浏览器端或存储端性能更加优秀的时候，就不得不去考虑
Netty4的主从多线程模型是全局多线程，局部单线程（事件循环），用线程封闭技术实现的无锁化设计实现并发安全。
PHP两种运行模式是WEB模式、CLI模式。无论哪种模式，PHP工作原理都是一样的，作为一种SAPI运行。
ps aux|grep httpd|grep -v grep|wc -l //查看prefork模式的
1. 进程是操作系统分配资源的基本单位，进程是程序的实体，程序软件是静止的，而进程是将程序运行起来，进程是活动的。
查看你的httpd使用了哪种模式： /usr/local/apache2/bin/httpd -V |grep 'Server MPM' 使用哪种模式，需要在编译的时候指定 --with-mpm=prefork|worker|event 当然也可以编译的时候，让三者都支持： --enable-mpms-shared=all 然后在配置文件中，修改 LoadModule mpm_worker_module modules/mpd_mpm_worker.so 2.2版本默认为worker，2.4版本默认为eve
基于流的方式进行数据写入，可以使用 Apache POI 库中的 SXSSFWorkbook 类，该类采用了基于流的方式进行数据写入，避免将所有数据一次性加载到内存中。下面是一个简单的代码示例，假设需要将数据导出到名为 “test.xlsx” 的 Excel 文件中：
首先要实现多任务，我们需要设计Master-Worker模式，Master负责分配任务，Worker负责执行任务。因此，多任务环境下，通常是一个Master，多个Wroker。
任何的服务器的性能都是有极限的，面对海量的互联网访问需求，是不可能单靠一台服务器或者一个CPU来承担的。所以我们一般都会在运行时架构设计之初，就考虑如何能利用多个CPU、多台服务器来分担负载，这就是所
任何的服务器的性能都是有极限的，面对海量的互联网访问需求，是不可能单靠一台服务器或者一个CPU来承担的。所以我们一般都会在运行时架构设计之初，就考虑如何能利用多个 CPU、多台服务器来分担负载，这就是所谓分布的策略。分布式的服务器概念很简单，但是实现起来却比较复杂。因为我们写的程序，往往都是以一个 CPU，一块内存为基础来设计的，所以要让多个程序同时运行，并且协调运作，这需要更多的底层工作。
话说这个背景挺惨的，某系统使用了poi-ooxml-3.5-final做excel导出功能。起初使用该版本的poi的HSSF配合多线程生成excel，没有任何问题，后来改成了XSSF生成后上线，导出3w条数据时，cpu使用率达到了100%，内存达到了100%，打死了整个服务器！
PHP暂时还不支持像Java那样JIT运行时编译热点代码，但是PHP具有opcache机制，能够把脚本对应的opcode缓存在内存，PHP7中还支持配置opcache.file_cache导出opcode到文件.第三方的Facebook HHVM也支持JIT.另外PHP官方基于LLVM围绕opcache机制构建的Zend JIT分支也正在开发测试中.在php-src/Zend/bench.php测试显示，PHP JIT分支速度是PHP 5.4的10倍.
本文将从消费顺序性这个问题出发，深度剖析 Kafka/RocketMQ 消费线程模型。
文章来自：博客 http://blog.csdn.net/hguisu/article/details/7377520 1、PHP的运行模式： PHP两种运行模式是WEB模式、CLI模式。无论哪种模式，PHP工作原理都是一样的，作为一种SAPI运行。 1、当我们在终端敲入php这个命令的时候，它使用的是CLI。 它就像一个web服务器一样来支持php完成这个请求，请求完成后再重新把控制权交给终端。 2、当使用Apache或者别web服务器作为宿主时，当一个请求到来时，PHP会来支持完成这个请求。一般有： 多
很多时候，我们在做PHP环境配置的时候，很多人都是直接去乱下载PHP版本的，但是他不清楚：从2000年10月20日发布的第一个Windows版的PHP3.0.17开始的都是线程安全的版本，直至5.2.1版本开始有Thread Safe(TS，线程安全)和None Thread Safe(NTS，非线程安全)之分。
在PHP诞生的初期，它总是以单线程的CGI方式运行的，因此，根本不需要考虑多线程问题，因为进程的处理不会超过单个请求。
对于多线程的理解不是非常深刻，工作中用到多线程代码的机会也不多，前不久遇到了一个使用场景，通过编码实现后对于多线程的理解和应用有了更加深刻的理解。场景如下：现有给用户发送产品调研的需求，运营的同事拿来了一个Excel文件，要求给Excel里面大约六万个手机号发送调研短信。
PHP 从设计之初到流行起来都没有出现明显需要用多线程才能解决的需求。某些需要用到多线程的地方也有相应的解决方案和替代方案。多线程并不总是比单线程优，多线程可能会引入其他问题（例如：两个线程同时调用一个类里的同一个方法时，可能出现死锁的情况）。
首先要抛弃原有的模型结构，将每个多线程任务都当做一个可管理对象，需要有一个中断方法，然后有一个全局的运行状态的管理类，包含一些基础添加，删除，终止单个多线程任务的能力。
nginx 使用的 epoll 是非阻塞的，但不是异步IO。 glibc 的 aio 有 bug , kernel 的 aio 只能以 O_DIRECT 方式做直接 IO , libeio 也是 beta 阶段。epoll 是成熟的，但是 epoll 本身是同步的。Linux 上目前没有像 IOCP 这样的成熟异步 IO 实现。
我们都知道Linux上常见的web服务器有：apache、nginx、tomcat！
但新版本KafkaConsumer是双线程的，主线程负责：消息获取，rebalance，coordinator，位移提交等等，
本文讲得内容比较简单，多线程大家接触很多，但是真正理解到位可能需要一点时间，尤其对新手来说。
距离上次对FunTester测试框架功能规划之后，已经很久没有更新过功能规划了，主要因素是FunTester测试框架目前支持的功能已经完全满足工作需求。无论是分布式性能测试框架，还是全链路性能测试支持，以及量化模拟线上流量，基本技术验证都完成了，余下的都是在技术方案的上进行调整以更适应现在工作需求，不存在技术障碍。
SAPI是Server Application Programming Interface（服务器应用编程接口）的缩写。PHP通过SAPI提供了一组接口，供应用和PHP内核之间进行数据交互。
上期将了定时和定量两种压测模式的虚拟类，本期分享一下基于单个HTTP请求对象HTTPrequestbase的两个压测模式的具体实现类。比较关键的就是GCThread的启动和结束，还有就是doing()方法的实现，就是把HTTPrequestbase对象发送请求然后解析响应，这里并没有去管响应结果的校验和断言，原因就是比较复杂，需要具体情况具体处理，难以通过一个通用的方法校验，还有一个原因就是很多时候没必要，可以通过监控服务端日志和其他统计方式统计相关业务数据来达到判断所有请求是否有报错和不成功的请求。其中应该着重注意就是对象拷贝，不管是多线程类对象还是HTTPrequestbase对象，如果不实现clone()方法，可能会有BUG。
Web服务器Apache在Uninx下目前一共有三种稳定的MPM（Multi-Processing Module，多进程处理模块）模式。在apache的早期版本2.0默认prefork，2.2版本是worker，2.4版本是event，它们同时也代表这Apache的演变和发展。
Apache 2.0在性能上的改善最吸引人.在支持POSIX线程的Unix系统上,Apache可以通过不同的MPM运行在一种多进程与多线程相混合的模式下,增强部分配置的可扩充性能.相比于Apache 1.3,2.0版本做了大量的优化来提升处理能力和可伸缩性,并且大多数改进在默认状态下即可生效.但是在编译和运行时刻,2.0也有许多可以显著提高性能的选择.
在上文中介绍了Producer API的使用，现在我们已经知道如何将消息通过API发送到Kafka中了，那么现在的生产者/消费者模型就还差一位扮演消费者的角色了。因此，本文将介绍Consumer API的使用，使用API从Kafka中消费消息，让应用成为一个消费者角色。
最近研究了Java多线程的几种实现方式，写了这个项目用于练手。实现了通过多线程的方式获取人民日报的新闻标题（其实同时存了内容，但是我后续懒得处理了，毕竟这个项目的主题是多线程的实现）
在Kafka的生产者模式主要详细的介绍了作为生产者的中间价，把消息数据写入到Kafka，这样消费者才可以消费数据，以及针对这些数据进行其他的如数据分析等。但是在实际的应用中，会有大批量的实时数据需要写入到Kafka的系统里面，因此作为单线程的模式很难满足实时数据的写入，需要使用多线程的方式来进行大批量的数据写入，当然作为消费者也是写多线程的方式来接收这些实时的数据。比如举一个案例，需要把日志系统的信息写入到Kafka的系统里面，这就是一个实时的过程，因为在程序执行的过程中，日志系统在进行大量的IO的读写，也就意味着这些数据都需要写入到Kafka里面。
公众号介绍：分享在京东工作的技术感悟，还有JAVA技术和业内最佳实践，大部分都是务实的、能看懂的、可复现的
如果读者对Java 中的阻塞队列有所了解的话，看到这里或许就能够明白原 因了。 Java 中的BlockingQueue 主要有两种实现， 分别是ArrayBlockingQueue 和 LinkedBlockingQueue。 ArrayBlockingQueue 是一个用数组实现的有界阻塞队列，必须设置容量。 LinkedBlockingQueue 是一个用链表实现的有界阻塞队列，容量可以选择 进行设置，不设置的话，将是一个无边界的阻塞队列，最大长度为Integer.MAX_ VALUE。 这里的问题就出在：不设置的话，将是一个无边界的阻塞队列，最大长度为 为什么阿里巴巴禁止使用Executors 创建线程池？ < 35 Integer.MAX_VALUE。也就是说，如果我们不设置LinkedBlockingQueue 的 容量的话，其默认容量将会是Integer.MAX_VALUE。 而newFixedThreadPool 中创建LinkedBlockingQueue 时，并未指定容 量。此时，LinkedBlockingQueue 就是一个无边界队列，对于一个无边界队列 来说，是可以不断的向队列中加入任务的，这种情况下就有可能因为任务过多而导 致内存溢出问题。 上面提到的问题主要体现在newFixedThreadPool 和newSingleThreadExecutor 两个工厂方法上，并不是说newCachedThreadPool 和newScheduledThreadPool 这两个方法就安全了，这两种方式创建的最大线程数可能是 Integer.MAX_VALUE，而创建这么多线程，必然就有可能导致OOM。
前面一篇博客《AsyncTask实现断点续传》讲解了如何实现单线程下的断点续传，也就是一个文件只有一个线程进行下载。
典型的两个现实案例： 我们先看两个用Go做消息推送的案例实际处理能力。 360消息推送的数据： 16台机器，标配：24个硬件线程，64GB内存 Linux Kernel 2.6.32 x86_64 单机80万并发连接，load 0.2~0.4，CPU 总使用率 7%~10%，内存占用20GB (res) 目前接入的产品约1280万在线用户 2分钟一次GC，停顿2秒 (1.0.3 的 GC 不给力，直接升级到 tip，再次吃螃蟹) 15亿个心跳包/天，占大多数。 京东云消息推送系统 (团队人数:4)
起因：线上的一台服务器，最近总是出现 访问 很慢的情况发生，点击一个链接要2秒钟以上才能打开，按照我们对于访问人数的估计，服务器应该不至于响应这么慢，从而需要针对这个问题进行分析，来解决网站访问过慢。
依照领导要求区分了两种压测模式：固定次数压测和固定时间压测。此前一直沿用的都是固定次数，所以本次第二版剥离了固定次数的模式增加了固定时间的模式。
Web服务器Apache目前一共有三种稳定的MPM（Multi-Processing Module，多进程处理模块）模式。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
