ERROR 1040(HY000): Too many connections：DB连接池里已有太多连接，不能再和你建立新连接。
在 Linux 平台上运行的进程都会从系统资源申请一定数量的句柄，而且系统控制了进程能够申请的最大句柄数量。用户程序如果不及时释放无用的句柄，将会引起句柄泄露，从而可能造成申请资源失败，导致系统文件句柄用光连接不能建立。本文主要介绍Linux下如何查看和修改进程打开的文件句柄数，避免这类问题的发生。
再开始这个问题之前，我们先的准备一下环境， mysql 8.027 8G 内存 SSD 磁盘 4核心CPU 。同时通过sysbench来对系统进行测试数据的填充。
epoll简介 epoll 是Linux内核中的一种可扩展IO事件处理机制，最早在 Linux 2.5.44内核中引入，可被用于代替POSIX select 和 poll 系统调用，并且在具有大量应用程序请求时能够获得较好的性能（ 此时被监视的文件描述符数目非常大，与旧的 select 和 poll 系统调用完成操作所需 O(n) 不同， epoll能在O(1)时间内完成操作，所以性能相当高），epoll 与 FreeBSD的kqueue类似，都向用户空间提供了自己的文件描述符来进行操作。 [cpp]
Linux内核是高并发服务的关键组件之一。以下是一些可用于优化Linux内核的配置。
首先我们来看如何标识一个TCP连接？系统是通过一个四元组来识别，(src_ip,src_port,dst_ip,dst_port)即源IP、源端口、目标IP、目标端口。比如我们有一台服务192.168.0.1，开启端口80.那么所有的客户端都会连接到这台服务的80端口上面。有一种误解，就是我们常说一台机器有65536个端口，那么承载的连接数就是65536个，这个说法是极其错误的，这就混淆了源端口和访问目标端口。我们做压测的时候，利用压测客户端，这个客户端的连接数是受到端口数的限制，但是服务器上面的连接数可以达到成千上万个，一般可以达到百万（4C8G配置），至于上限是多少，需要看优化的程度。具体做法如下：
Linux是有文件句柄限制的，而且Linux默认不是很高，一般都是1024，生产服务器用其实很容易就达到这个数量 系统总限制是在这里，/proc/sys/fs/file-max.可以通过cat查看目前的值，修改/etc/sysctl.conf 中也可以控制. /proc/sys/fs/file-nr，可以看到整个系统目前使用的文件句柄数量 linux 中数据的含义 /proc/sys/fs/file-nr [root@localhost logs]# cat /proc/sys/fs/fi
在服务器运维过程中，经常需要对服务器的各种资源进行监控，例如：CPU的负载监控，磁盘的使用率监控，进程数目监控等等，以在系统出现异常时及时报警，通知系统管理员。本文介绍在Linux系统下几种常见的监控需求及其shell脚本的编写。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/106510.html原文链接：https://javaforall.cn
什么是epoll epoll是什么？按照man手册的说法：是为处理大批量句柄而作了改进的poll。当然，这不是2.6内核才有的，它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。 epoll的相关系统调用 epoll只有epoll_create,epoll_ctl,epoll_wait 3个系统调用。 1. int ep
core file size是限制core文件的大小，默认情况下是0，就是没有打开的，ulimit -c参数代表core file size，单位是blocks，一个blocks是1024个字节
本文出自:[url]http://www.nsfocus.com[/url] 维护:小四 6. /etc/system可调资源限制 6.1 Solaris下如何限制每个用户可拥有的最大进程数 6.2 如何配置系统使之支持更多的伪终端 6.3 如何增加每个进程可打开文件句柄数 6.4 6.5 做了setuid()这类调用的程序如何产生core dump 6.6 消息队列调整 -------------------------------------------------------------------------- 6. /etc/system可调资源限制 6.1 Solaris下如何限制每个用户可拥有的最大进程数 A: Casper Dik 在/etc/system设置 set maxuprc = Q: maxusers参数究竟影响了什么 A: Casper Dik 下面以/etc/system语法格式举例说明： * set maxusers = <以MB为单位计的可用物理内存数量> * 系统所允许的最大进程数，通常最多30000 set max_nprocs = 10 + 16 * maxusers * 每个用户可以拥有的最大进程数(为超级用户保留5个) set maxuprc = max_nprocs - 5; # sysdef | sed -n '/System Configuration/,$p' 6.2 如何配置系统使之支持更多的伪终端 A: Argoth 不要试图通过'/usr/bin/adb -k'到达目的。 a. 如果Solaris版本小于7，修改/etc/system，增加如下行 set pt_cnt= 执行/usr/sbin/reboot -- -r，或者Stop-A，执行boot -r b. 对于Solaris 8，支持的伪终端数目根据需要动态改变，系统依然有一个内部限制， 但是这个值非常大。如果"pt_cnt"变量小于这个内部限制，将被忽略。一般情况 下，不再需要指定"pt_cnt"变量。但还是有某些罕见的情形，需要设置"pt_cnt" 变量大于内部限制。 6.3 如何增加每个进程可打开文件句柄数 A: Casper Dik 从Solaris 2.4开始，可以通过修改/etc/system实现 * set hard limit on file descriptors set rlim_fd_max = 4096 * set soft limit on file descriptors set rlim_fd_cur = 1024 软限制超过256时，某些应用程序会出问题，尤其BCP程序。软限制超过1024时，那些 使用select()的应用程序可能会出问题。Solaris 7之前，select()使用的文件句柄 数不能超过1024。Solaris 2.6的RPC代码被重写过了，使用poll()代替select()，可 以使用超过1024的文件句柄。Solaris 2.6之前，如果软限制超过1024，所有RPC服务 很可能崩溃。 Solaris 7下select()可以使用最多达65536的文件句柄，64-bit应用程序缺省情况如 此。如果是32-bit应用程序，需要指定给FD_SETSIZE一个更大的值，重新编译。 如果程序使用标准输入/输出(stdio)，或者调用那些使用stdio的库函数，当打开的 文件超过256时，程序可能会出问题，这个限制是stdio的限制。当程序需要大量文件 句柄时，应该想办法保留一些小数字的文件句柄，让stdio使用它们。 Solaris 7下64-bit应用程序不再受这个stdio限制的影响。如果你的确需要超过256 个FILE *，而又不能使用Solaris 7，或者需要运行32-bit代码，考虑使用来自AT&T 的SFIO([url]http://www.research.att.com/sw/tools/sfio/[/url])。 A: [email]qaz@smth.org[/email] 检查当前设置 # ulimit -H -n 1024 # ulimit -S -n 64 # 对于Solaris，建议修改/etc/system后重启 * set hard limit on file descriptors set rlim_fd_max=0x8000 * set soft limit on file descriptors set rlim_fd_cur=0x8000 然后 ulimit -S -n 8192 对于Linux echo 65536 > /proc/sys/fs/file-max 然后 ulimit -S -n 8192 对于FreeBSD 编辑/etc
同步阻塞IO在等待数据就绪上花去太多时间，而传统的同步非阻塞IO虽然不会阻塞进程，但是结合轮询来判断运维
如果在 Swoole 的日志中遇到了 Too many open files 这种报错，不要慌，在开发 TCP 网络应用的过程中，经常会遇到Too many open files这个问题。
在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。 文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符。 程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。如果此时去打开一个新的文件，它的文件描述符会是3。POSIX标准要求每次打开文件时（含socket）必须使用当前进程中最小可用的文件描述符号码，因此，在网络通信过程中稍不注意就有可能造成串话。标准文件描述符图如下：
建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。
http://www.cnblogs.com/hnrainll/p/3625597.html
由于默认的Linux内核参数考虑的是最通用场景，这明显不符合用于支持高并发访问的Web服务器的定义，所以需要修改Linux内核参数，是的Nginx可以拥有更高的性能；
在确定最大连接数之前，先来看看系统如何标识一个tcp连接。系统用一个4四元组来唯一标识一个TCP连接：{local ip, local port,remote ip,remote port}。
在Linux系统内默认对所有进程打开的文件数量有限制（也可以称为文件句柄，包含打开的文件，套接字，网络连接等都算是一个文件句柄）
单台服务器可以支持的并发TCP连接数取决于多个因素，包括硬件性能、操作系统限制、网络带宽和应用程序设计。以下是一些影响并发TCP连接数的因素：
测试老大看到了，根据经验就推测是应该是文件句柄使用完了，应该有TCP连接很多没释放，果真发现是很多CLOSE_WAIT的状态
Linux，du、df统计的硬盘使用情况不一致问题 在运维Linux服务器时，会碰到需要查看硬盘空间的情况，这时候，通常会使用df -lh命令来检查每个挂载了文件系统的硬盘的总量和已使用量，或者，可以使用du -sh [directory]命令来统计某个目录下所有文件的空间占用。 在使用df、du命令时，常常会遇到统计的硬盘使用情况不一致的问题。比如du统计根目录下文件总共大小为2G，而df判断挂载在根目录的硬盘已用空间达到了3G，20G甚至更多。发生这种情况，有以下三种原因： 1.预留空间 为了预防紧急情
•MapReduce写入Hbase原理：封装了一个TableOutputFormat来实现写入Hbase的数据 •要求 –写入Hbase的数据的V的类型必须为Put类型
I/O模型主要包括：阻塞IO、非阻塞IO、I/O 多路复用、异步I/O和信号I/O;
net.ipv4.ip_local_port_range = 9000 65500
可以发现，很明显是Nginx返回的错误。但是从接口返回看不出太多的细节问题，需要打印nginix日志查看
1.有一个数据A = [a_1,a_2,a_3.....a_n],n的大小不定，请设计算法将A中的所有数据组合进行输出
最近遇到一个非常有趣的问题。其中有一组HAProxy，频繁出现问题。登录上服务器，cpu、内存、网络、io一顿猛查。最终发现，机器上处于TIME_WAIT状态的连接，多达6万多个。
对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
nginx是一款高性能的开源Web服务器和反向代理服务器。它由俄罗斯的工程师Igor Sysoev开发，并于2004年首次公开发布。Nginx的设计目标是提供高性能、稳定性和低资源消耗的解决方案，以应对大流量的网站和应用程序。
在运维Linux服务器时，会碰到需要查看硬盘空间的情况，这时候，通常会使用df -lh命令来检查每个挂载了文件系统的硬盘的总量和已使用量，或者，可以使用du -sh [directory]命令来统计某个目录下所有文件的空间占用。 在使用df、du命令时，常常会遇到统计的硬盘使用情况不一致的问题。比如du统计根目录下文件总共大小为2G，而df判断挂载在根目录的硬盘已用空间达到了3G，20G甚至更多。发生这种情况，有以下三种原因： 1.预留空间 为 了预防紧急情况，linux ext文件系统会预留部分硬盘空间，
一、安装WebSphere MQ之前Linux系统的配置 1.创建MQ安装目录 shell命令： mkdir /opt/mqm //创建安装目录 mkdir /var/mqm //创建工作目录 2.创建MQ用户和用户组 MQ通过Linux本地的用户和用户组来管理MQ服务器，mqm用户组的下属用户成员均为MQ管理员，具有MQ服务器的全部权限。 用户组的名称必须是：mqm 用户名称可自定义，假设为：mqadmin 以root登录Linux shell命令： gr
前言 事件驱动为广大的程序员所熟悉，其最为人津津乐道的是在图形化界面编程中的应用；事实上，在网络编程中事件驱动也被广泛使用，并大规模部署在高连接数高吞吐量的服务器程序中，如 http 服务器程序、ftp 服务器程序等。相比于传统的网络编程方式，事件驱动能够极大的降低资源占用，增大服务接待能力，并提高网络传输效率。 关于本文提及的服务器模型，搜索网络可以查阅到很多的实现代码，所以，本文将不拘泥于源代码的陈列与分析，而侧重模型的介绍和比较。使用 libev 事件驱动库的服务器模型将给出实现代码。 本文涉及到线程
随着业务迭代，部分项目用nodejs重构后，部署到k8s环境下运行。为了便于分析，上了一版代码，增加输出日志的功能。
Tips : OOM(Out Of Memory) killer机制是指Linux操作系统发现可用内存不足时，强制杀死一些用户进程（非内核进程），来保证系统有足够的可用内存进行分配。 Tips : swappiness参数在Linux 3.5版本前后的表现并不完全相同，Redis运维人员在设置这个值需要关注当前操作系统的内核版本。
对于TCP的初始接收窗口大小，linux和centos的实现是不一样的，如linux内核3.10版本的初始接收窗口定义为10mss，但centos 3.10内核中的初始窗口大小定义为TCP_INIT_CWND * 2，即20*MSS大小。(看着linux源码在centos7.4系统上测试，纠结了好久。。)
回顾上篇，解释了场景“2”中的四个标签，也介绍了对应着Windows Server中的四个功能在日常运维中究竟起到什么作用以及如何去驾驭他们。
文件句柄（File Handle）是操作系统中用于访问文件的一种数据结构，通常是一个整数或指针。文件句柄用于标识打开的文件，每个打开的文件都有一个唯一的文件句柄。
Redis的高性能和他的事件模型是密不可分的，最大程度上利用了单线程、非阻塞IO模型来快速的处理请求（单线程处理多链接）。这里存在一个问题，其实严格意义上来讲，Redis 是单线程对外提供服务，redis内部并不单线程的，还存在一些关于数据持久化的线程。
1.概述 在实际工作中会经常遇到一些bug，有些就需要用到文件句柄，文件描述符等概念，比如报错： too many open files, 如果你对相关知识一无所知，那么debug起来将会异常痛苦。在Linux操作系统中，文件句柄（包括Socket句柄）、打开文件、文件指针、文件描述符的概念比较绕，而且windows的文件句柄又与此有何关联和区别？这一系列的问题是我们不得不面对的。 这里先笼统的将一下自己对上面的问题的一些理解： 句柄，熟悉Windows编程的人知道：句柄是Windows用来标识被应用程序
“too many open files”这个错误大家经常会遇到，因为这个是Linux系统中常见的错误，也是云服务器中经常会出现的，而网上的大部分文章都是简单修改一下打开文件数的限制，根本就没有彻底的解决问题。
大量TimeoutException，说明当前redis服务节点上已经堆积了大量的连接查询，超出redis服务能力，再次尝试连接的客户端，redis 服务节点直接拒绝，抛出错误。
在看完服务器、客户端的两篇单机达成百万 TCP 连接的文章以后，有很多同学反馈也想实际动手做做实验，感受一下。为了方便大家，我今天就把我实验时使用的源代码整理了出来。
在一个工作中的实践项目中，项目是一个部署到linux下的中间件项目，当收到一个Client登录的时候，需要为这个Client打开四个文件，当进行 多用户的大压力测试的时候，程序就出问题了： too many opened files。 网上一查，发现有人也碰到过类似的socket/File: Can’t open so many files问题。 在此总结一下这个问题，希望对后来之人有点帮助。
使用python读取一个txt文件的时候，相当于把这个文件从硬盘上，读取到了内存中。
之所以写这篇文章也是因为前几天出的一个问题，当时业务感觉到卡顿，并且伴随着锁超时的报错。最后通过分析发现是由于磁盘I/Q繁忙导致SQL耗时增加，部分锁竞争激烈的热数据出现了锁等待和锁超时。由此可见，系统的硬件环境对数据库整体性能的影响也是非常大的，MySQL在运行环境中并不是孤立存在的，它的整体性能往往受限于系统最薄弱的环节，今天想和大家分享下，都有哪些系统指标会对数据库的整体性能产生影响，我们又如何进行分析。
1.步骤为：File–>Settings–>Appearance & Behavior–>Appearance–>Theme中就可以选择喜欢的主题
在配置我们的 Red Hat Linux 服务器时，确保文件句柄的最大数量足够大是非常关键的。文件句柄设置表示您在 Linux 系统中可以打开的文件数量。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
