在Linux中，每个进程分配的资源是有限制的，以防止某个进程耗尽系统资源，从而影响其他进程的正常运行。开发人员需要时刻关注这些资源的使用情况，避免资源异常导致系统问题。
在看完服务器、客户端的两篇单机达成百万 TCP 连接的文章以后，有很多同学反馈也想实际动手做做实验，感受一下。为了方便大家，我今天就把我实验时使用的源代码整理了出来。
Linux内核是高并发服务的关键组件之一。以下是一些可用于优化Linux内核的配置。
一位工作5年的小伙伴面试时被问到IO相关的问题，说，谈谈你对IO多路复用机制的理解。当时他说只是听过多路复用，具体细节没有了解过。今天，我给大家分享一下我的理解。
什么是多线程 多线程也叫并发编程，那么在写多线程之前，我们先来了解一下并发编程的基础概念。 ①CPU核心数和线程数的关系 核心即CPU，多核就是将多个CPU集成到一个芯片内，每个处理器都是单独的，核心数和线程数是一比一的关系，Interl使用超线程技术，将一个物理CPU模拟成两个逻辑CPU核心数和线程数实现一比二。 即如果一个4核CPU使用超线程技术，就可以同时运行8个线程，未使用超线程技术的话，则同时运行4个线程。 ②CPU时间轮转机制 也叫RR调度，可以理解为将CPU的运行时间进行切片，每一
php-fpm和nginx一样内建了一个状态页，对于想了解php-fpm的状态以及监控php-fpm非常有帮助。为了后续的Prometheus监控，我们需要先了解php-fpm状态页是怎么回事。
很多读者在看完百万 TCP 连接的系列文章之后，反馈问我有没有测试源码。也想亲自动手做出来体验体验。这里为大家的实践精神点赞。
在Linux系统内默认对所有进程打开的文件数量有限制（也可以称为文件句柄，包含打开的文件，套接字，网络连接等都算是一个文件句柄）
select函数监控3类文件描述符，调用select函数后会阻塞，直到描述符fd准备就绪（有数据可读、可写、异常）或者超时，函数便返回。 当select函数返回后，可通过遍历描述符集合，找到就绪的描述符。
Jexus web server 5.1 每个工作进程的最大并发数固定为1万，最多可以同时开启4个工作进程，因此，每台Jexus V5.1服务器最多可以到支持4万个并发连接。但是，按照linux系统的默认设定，linux是不能支持这么高的并发请求的，只有对linux进行一些必要的优化，才能达到让Jexus支持大并发的目的。 一、调整文件描述符数量限制 linux默认文件描述符只有1024个，对于Jexus 等一些服务来说，在大负载的情况下这点文件描述符是远远不够的，因为Jexus 的工作方式，文件描述符
在 32 位的 linux/unix 系统下，每个程序打开一个文件都会有一段 4G 的虚拟地址空间，这部分空间中，有1G是内核地址空间，3G是用户地址空间，这个概念我们在之前的文章中有介绍过，可参考 “不同位置的变量在内存中的排布”，其中在内核地址空间中，维护着一个 PCB 进程控制块，其中包含很多进程相关的信息，比如进程ID、用户ID、组ID等等，但本文我们最关注的，是 PCB 进程控制块中维护的一份“文件描述符表”，表的格式抽象成下图的样子。
在做后端服务器性能测试中，我们会经常听到'分布式'。但你是否了解分布式呢？今天，我们就来给大家讲讲，在企业实战中，如何使用分布式进行性能测试，实战过程中，又有哪些地方要特别注意？
内核参数fs.file-max指定了系统范围内所有进程可打开的文件句柄的数量限制。 合理值计算方法：取决于内存，每1M内存可增加100个。默认情况下，不要将超过10%的内存用于文件。将文件句柄数设置太大的危害是，当大量的文件句柄都为sockets时，会占用大量的内存，这些内存都是不可交换的。要记得的是网络套接字连接符也是文件。对于百万级连接数的进程来说，要设置单个进程可打开的文件句柄数为百万个。 比如256G内存，应该配置的值为：256*0.1*1024*100=2621440 设置方式：
之所以写这篇文章也是因为前几天出的一个问题，当时业务感觉到卡顿，并且伴随着锁超时的报错。最后通过分析发现是由于磁盘I/Q繁忙导致SQL耗时增加，部分锁竞争激烈的热数据出现了锁等待和锁超时。由此可见，系统的硬件环境对数据库整体性能的影响也是非常大的，MySQL在运行环境中并不是孤立存在的，它的整体性能往往受限于系统最薄弱的环节，今天想和大家分享下，都有哪些系统指标会对数据库的整体性能产生影响，我们又如何进行分析。
光速虚拟机是基于安卓系统和ARM处理器架构实现的一套虚拟化技术，在安卓系统的用户态空间无需特殊权限实现了一套完整的安卓内核和硬件抽象层，能够在安卓APP内部运行另外一个安卓系统，虚拟机内部的APP和游戏运行性能能够接近真机的运行性能和兼容性。光速虚拟机也可以认为是一种安卓系统上的库操作系统（libos）。从行业的情况来看，微软和Google分别在不同系统上实现过类似的方案，微软DrawBridge是在Windows上实现Windows，以及其后续发展出来的WSL是Windows上实现linux，Google的gVisor则是linux上实现linux。光速虚拟机是通过安卓来实现安卓。光速虚拟机是市面上第一家在手机上实现完整安卓虚拟化的产品。
DockerCon 2019本周将在旧金山举行 ，DockerCon 是从业者、贡献者、维护者、开发者和容器生态系统学习、网络和创新的一站式活动。 .NET 团队博客发布了《一起使用.NET和Docker - DockerCon 2019更新》，分享.NET团队如何在过去一年中改进使用.NET和Docker的经验。.NET团队去年改进.NET Core Docker体验的大部分工作都集中在.NET Core 3.0上。.NET Core 3.0 是第一个发布实质性运行时更改以使CoreCLR更有效的支持Docker资源限制，并提供更多配置供您调整的版本。
看了一些文章，发现有很多不同的理解，可能是因为大家入切的角度、环境不一样。所以，我们先说明基本的IO操作及环境。
某日线上一个6.4.3版本的Elasticsearch集群，规模只有2核4G*3节点，分片有大约10000个，因为JVM堆内存使用率过高，导致节点频繁掉线，在重启了该集群后，分片逐渐恢复，但是最后只剩不到300个分片迟迟无法恢复，通过GET _cluster/allocation/explain 看到如下原因：
首先我们来看如何标识一个TCP连接？系统是通过一个四元组来识别，(src_ip,src_port,dst_ip,dst_port)即源IP、源端口、目标IP、目标端口。比如我们有一台服务192.168.0.1，开启端口80.那么所有的客户端都会连接到这台服务的80端口上面。有一种误解，就是我们常说一台机器有65536个端口，那么承载的连接数就是65536个，这个说法是极其错误的，这就混淆了源端口和访问目标端口。我们做压测的时候，利用压测客户端，这个客户端的连接数是受到端口数的限制，但是服务器上面的连接数可以达到成千上万个，一般可以达到百万（4C8G配置），至于上限是多少，需要看优化的程度。具体做法如下：
基础的核心模块中，事件模块是非常重要的一个部分，但是，它的配置项其实并不多，常见的或者说需要我们去配置的更少。不过本着基础学习和了解的态度，咱们还是要一个个的学习一下。
前言 互联网公司一般都会运行着几千到几万的服务器。一般的监控会采用类似ganglia/falcon类似的工具，在本地启动一个agent，把数据统计上报到集中式的服务器中，用来监控和分析系统的问题。 另外，有atop这样的工具，可以运行在服务器上，在本地写下record文件，atop命令本身也可以分析record文件，其中保存的数据的粒度更加细致，可以精确到线程级别，还有IPC，主频等等。 经验来看，atop每天生成的record文件大约500M左右，保存最近的一段时间，似乎也不是问题。用集中式的监控，配合上atop，对于问题分析来说，会有一些帮助。 分析 1,atop的改进 atop的代码量本身并不大，官方的代码在： https://github.com/Atoptool/atop.git 在使用atop的过程中，遇到了一些问题，作者也做了相应的修改： https://github.com/bytedance/atop 在bytedance-features分支上。作者把patch发送给maintainer，但是maintainer一直没有回复。在这里，列举一下改动的内容，如下。 2,smaps的优化 尝试使用smaps_rollup代替smaps，用来提高atop收集进程的PSS内存使用的效率。这个patch会在4.14上有所提升。一般情况下，建议在atop收集的时候不要加上-R选项。因为在atop读/proc/PID/smaps的时候，会walk整个PID进程的页表，期间会lock住内存页表的锁。如果在这期间PID进程发生了page fault，也需要lock，就会造成锁的进程。影响PID进程的性能。 3,数据破损问题 atop使用裸数据的方式保存record文件，其中包括三部分：raw record，就是头信息; scompbuf，是系统状态信息的数据; pcompbuf，是task级的状态信息数据，大小和task数量有关系。为了减小record文件的大小，对于 scompbuf和pcompbuf还采用了压缩。所以，数据必须完整的 rr,scompbuf,pcompbuf顺序写下去的，否则atop无法识别数据。 good case : ... rr,scompbuf,pcompbuf ... rr,scompbuf,pcompbuf ... bad case : ... rr,scompbuf[missing] ... rr,scompbuf,pcompbuf … 例如上面的例子，在写完rr,scompbuf之后，atop发生了crash，再重新启动，就会丢失后面的 pcompbuf，造成了整个record文件的不可用。 在patch中，作者使用writev进行写入数据，要么都写入成功，要么都写入不成功，用来防止这种case发生。 4,IPC造成的虚拟机性能抖动 IPC,instructions per cycle。可以用来衡量CPU运行的效率。通常是通过perf采集的数据。 提到perf，就要说明一下它的工作原理：intel的CPU上集成了PMU，用来采集硬件的信息。可以收集的硬件信息很多，可以通过perf list | grep Hardware来看。但是硬件的寄存器有数量限制，所以需要通过wrmsr指令告诉CPU收集哪些具体的事件，再通过rdpmc指令来读取对应的数据。 在虚拟化场景下，在虚拟机中使用PMU又复杂了一下，在虚拟机中执行wrmsr和rdpmc的时候，都需要虚拟机从none-root模式退出，影响了虚拟机的性能。 在patch中，作者让atop支持perfevents的配置，支持三种模式：enable模式，启用perf收集IPC。disable模式，禁用perf收集IPC。auto模式，在启动的时候，atop自动检查是否在虚拟机中运行，如果在虚拟机中，禁用;在物理级中，启用。默认是auto模式。 5,减小record文件 如果是大规格的服务器，40CPU，甚至到96CPU，通常运行大量的docker，里面运行了很多的task。其中很多task占用资源很少，但是依然会占用atop的record文件。 在patch中，支持了配置参数recordcputop & recordmemtop。用来配置收集cpu和内存的topN。其他的task可以忽略。作者测试线上的服务器36CPU, about 500 processes的场景，大约节省了40%的磁盘空间。 6,加速读record 一般在ganglia上看到系统抖动，例如下午三点十分，在对应的服务器上执行： atop -r / var/log/atop/atop_xxxx -b 15:10 如前文所述，因为rawrecord的原因，则会从头读到尾，直到匹配到对应的时间。对于log盘的使用，尤其是虚拟化场景，会限制IOPS。这
select，poll，epoll 都是 IO 多路复用的机制。I/O 多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但 select，poll，epoll 本质上都是同步 I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步 I/O 则无需自己负责进行读写，异步 I/O 的实现会负责把数据从内核拷贝到用户空间。
同步阻塞IO在等待数据就绪上花去太多时间，而传统的同步非阻塞IO虽然不会阻塞进程，但是结合轮询来判断运维
不同于传统的“一个进程处理一个客户端请求”的方式，IO复用可以让一个进程处理多个客户端的请求，更加节省资源。
解决方案： 1. 重新安装新版本的Linux系统 2. 警告不影响使用，可以忽略
在分享这次面试经典题目汇总之前，预告一下，下期分享面试题目汇总，会把之前网友在群里分享的一份面试题目答案完善出来：
Docker是目前最具代表性的容器技术之一，对云计算及虚拟化技术产生了颠覆性的影响。本文对Docker容器在应用中可能面临的安全问题和风险进行了研究，并将Docker容器应用环境中的安全机制与相关解决方案分为容器虚拟化安全、容器安全管理、容器网络安全三部分进行分析。
微服务从传统虚拟机迁移到在 Kubernetes 上运行的 Docker 容器是大势所趋。Docker 容器是完整的可交付软件包和依赖项，通常可以被认为是轻量级虚拟机。虽然这可能是一个非常方便的简化，但了解容器是如何使用 Linux 控制组 (cgroup) 和命名空间实现的很重要。了解这些特性和限制有助于我们提高服务的性能，尤其是在性能压力较大的情况下。
零拷贝技术和多路复用技术是现代计算机系统和网络编程中两项重要的优化手段，旨在提高数据处理和传输的效率。如高性能框架 Netty 中，即使用了零拷贝技术又使用了多路复用技术，同时来保证 Netty 框架的高性能运行。
将应用部署到K8s集群时，开发者面临的主要挑战是如何管理安全风险。快速解决此问题的一个好方法是在开发过程中对应用清单进行安全加固。本文，将介绍10种开发者可以对应用程序应用加固的方法。
说到IO模型，都会牵扯到同步、异步、阻塞、非阻塞这几个词。从词的表面上看，很多人都觉得很容易理解。但是细细一想，却总会发现有点摸不着头脑。自己也曾被这几个词弄的迷迷糊糊的，每次看相关资料弄明白了，然后很快又给搞混了。
epoll有EPOLLLT和EPOLLET两种触发模式，水平触发和边缘触发. 此处略
前几天闲来无事翻微薄，有人写道：“曾经偷情被游街，如今二奶喊干爹；曾经撞人忙救人，如今撞人再杀人；曾经私情偷着干，如今淫乱存U盘；曾经献血为扶伤，如今慈善越重洋；曾经相好牵肚肠，如今小三炫富忙；曾经摩托都挺酷，如今地铁都追尾；曾经县长做皮卡，如今少年开宝马；曾经精英成右派，如今牛逼全二代。”不禁感慨万千，这世道真是变了。
在上篇文章 每个后端都应该了解的OpenResty入门以及网关安全实战 中，我向大家介绍了 OpenResty 的入门使用是 WAF 防御实战，这篇文章将给大家继续介绍 OpenResty 入门之性能测试 篇。
在上篇文章 每个后端都应该了解的 OpenResty 入门以及网关安全实战 中，我向大家介绍了 OpenResty 的入门使用是 WAF 防御实战，这篇文章将给大家继续介绍 OpenResty 入门之性能测试 篇。
socket编程的demo中使用的都是最基本的，但是一般不会真正用在项目中的代码。而实际项目中，需要面临复杂多变的需求环境，比如有多个socket连接，或者服务需要监听的时候，可能有很多socket连接进来。面对这种情况，最直接最简单的想法是，一个socket连接创建一个线程去处理。当然，在socket连接数较少的情况下，这种方式无可厚非，但是如果连接数量较大，就会出现意外情况。
1. 启用 php-fpm 状态功能 修改 php-fpm.conf 文件,如果没有则创建此文件. 在文件夹: php/etc 目录下创建. pm.status_path=/status listen = 9000 #此处是监听 status 的端口, 可以自定义, 要跟等会在 nginx 中配置的一致. 2. nginx配置 在要监控的主机里添加上 locaction. location ~^/(status|ping)$ { include f
磁盘分区表是一种存储在磁盘上的数据结构，用于存储关于磁盘分区的信息，包括分区的大小、位置和类型。MBR 和 GPT 是两种常见的磁盘分区表格式。GPT 格式较新，具有较多优势，包括：
安装代理接口 1.检查操作系统版本和内核版本 lsb_release 操作系统 ********************************** LSB Version: :core-3.1-amd64:core-3.1-ia32:core-3.1-noarch:graphics-3.1-amd64:graphics-3.1-ia32:graphics-3.1-noarch Distributor ID: RedHatEnterpriseServer Description: Red Hat Enterprise Linux Server release 5.4 (Tikanga) Release: 5.4 Codename: Tikanga ********************************** uname -r 内核版本 ********************************** 2.6.18-164.el5 ********************************** 2.安装代理接口 在线代理下载HAproxy 1.5.9版本 安装步骤 （1）tar xzvf haproxy-1.5.9.tar.gz ********************************** haproxy-1.5.9/ haproxy-1.5.9/.gitignore haproxy-1.5.9/CHANGELOG haproxy-1.5.9/LICENSE haproxy-1.5.9/Makefile haproxy-1.5.9/README haproxy-1.5.9/ROADMAP haproxy-1.5.9/SUBVERS haproxy-1.5.9/VERDATE haproxy-1.5.9/VERSION haproxy-1.5.9/contrib/ ...... haproxy-1.5.9/tests/test_hashes.c haproxy-1.5.9/tests/test_pools.c haproxy-1.5.9/tests/testinet.c haproxy-1.5.9/tests/uri_hash.c ***************************************************** (2)针对内核版本进行安装 安装前先要看看内核的版本，我这里是2.6.18 make TARGET=linux26 PREFIX=/usr/local/hapropxy make install PREFIX=/usr/local/haproxy (3)设置配置文件 cd /usr/local/haproxy vi haproxy.cfg ***************************************************** ###########全局配置######### global log 127.0.0.1 local0 #[日志输出配置，所有日志都记录在本机，通过local0输出] log 127.0.0.1 local1 notice #定义haproxy 日志级别[error warringinfo debug] daemon #以后台形式运行harpoxy #nbproc 1 #设置进程数量 pidfile /usr/local/haproxy/haproxy.pid #haproxy 进程PID文件 #ulimit-n 819200 #ulimit 的数量限制 maxconn 4096 #默认最大连接数,需考虑ulimit-n限制 chroot /usr/local/haproxy #chroot运行路径 uid 99 #运行haproxy 用户 UID gid 99 #运行haproxy 用户组gid #debug #haproxy 调试级别，建议只在开启单进程的时候调试 #quiet ########默认配置############ defaults log global mode http #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK #option httplog #日
系统设计得再好，如不能及时完成业务处理也不行。为什么不同业务有不同优化需求，以及常见的优化方式和问题有哪些。
php-fpm和nginx一样，内建了个状态页，可以通过该状态页了解监控php-fpm的状态。
epoll的监控原理：异步阻塞操作 监控由系统完成，用户添加的描述符以及对应事件结构体会被添加到内核的eventpoll结构体中的红黑树中 一旦发起调用开始监控，则操作系统为每个操作符的事件做了一个回调函数，功能室当描述符就绪了关心的事件，则将描述符对应的事件结构体添加到双向链表中 进程自身，只是每隔一段时间，判断双向链表是否为NULL，决定是否有就绪 4.进程遍历获取evs中就绪的事件结构体信息，针对其中的events就绪时间对data.fd进行相应操作
tc(Traffic Control) 是linux系统中常用的来控制传输速率、模拟网络延时丢包等场景的工具，tc命令有三个主要的概念，是qdisc、class和filter，qdisc又分为classless qdisc和classful qdisc，在控制传输速度的方面大致有两种用法
监控php-fpm并自动重启服务的shell脚本,脚本的主要功能：不断检查网站的状态,如果异常就重启php-fpm服务
一个正则表达式通常被称为一个模式(pattern)，为用来描述或者匹配一系列符合某个句法规则的字符串。
流量限制(rate-limiting)，是 Nginx 中一个非常实用，却经常被错误理解和错误配置的功能。我们可以用来限制用户在给定时间内 HTTP 请求的数量。请求，可以是一个简单网站首页的 GET 请求，也可以是登录表单的 POST 请求。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
