ERROR 1040(HY000): Too many connections：DB连接池里已有太多连接，不能再和你建立新连接。
在 Linux 平台上运行的进程都会从系统资源申请一定数量的句柄，而且系统控制了进程能够申请的最大句柄数量。用户程序如果不及时释放无用的句柄，将会引起句柄泄露，从而可能造成申请资源失败，导致系统文件句柄用光连接不能建立。本文主要介绍Linux下如何查看和修改进程打开的文件句柄数，避免这类问题的发生。
在配置我们的 Red Hat Linux 服务器时，确保文件句柄的最大数量足够大是非常关键的。文件句柄设置表示您在 Linux 系统中可以打开的文件数量。
“too many open files”这个错误大家经常会遇到，因为这个是Linux系统中常见的错误，也是云服务器中经常会出现的，而网上的大部分文章都是简单修改一下打开文件数的限制，根本就没有彻底的解决问题。
在一个工作中的实践项目中，项目是一个部署到linux下的中间件项目，当收到一个Client登录的时候，需要为这个Client打开四个文件，当进行 多用户的大压力测试的时候，程序就出问题了： too many opened files。 网上一查，发现有人也碰到过类似的socket/File: Can’t open so many files问题。 在此总结一下这个问题，希望对后来之人有点帮助。
1.概述 在实际工作中会经常遇到一些bug，有些就需要用到文件句柄，文件描述符等概念，比如报错： too many open files, 如果你对相关知识一无所知，那么debug起来将会异常痛苦。在Linux操作系统中，文件句柄（包括Socket句柄）、打开文件、文件指针、文件描述符的概念比较绕，而且windows的文件句柄又与此有何关联和区别？这一系列的问题是我们不得不面对的。 这里先笼统的将一下自己对上面的问题的一些理解： 句柄，熟悉Windows编程的人知道：句柄是Windows用来标识被应用程序
最近遇到一个非常有趣的问题。其中有一组HAProxy，频繁出现问题。登录上服务器，cpu、内存、网络、io一顿猛查。最终发现，机器上处于TIME_WAIT状态的连接，多达6万多个。
日常我们开发时，我们会遇到各种各样的奇奇怪怪的问题（踩坑o(╯□╰)o），这个常见问题系列就是我日常遇到的一些问题的记录文章系列，这里整理汇总后分享给大家，让其还在深坑中的小伙伴有绳索能爬出来。 同时在这里也欢迎大家把自己遇到的问题留言或私信给我，我看看其能否给大家解决。
为了让系统能够支持更大的并发，除了必须安装event扩展之外，优化linux内核也是重中之重。
为了让系统能够支持更大的并发，除了必须安装event扩展之外，优化linux内核也是重中之重，以下优化每一项都非常非常重要，请务必按逐一完成。
网上说什么的也有，你抄我的我抄你的，也是醉了，故自己综合查阅的资料，根据自己的理解和判断以及部分的实践整理下吧，也不敢保证都是对的，如果有比较大的错误，希望看到这篇文章的你提出来，大家共同进步！
通常的分析手法如下(转自：https://blog.csdn.net/xiaolli/article/details/56012228)： (1). 确定是哪类文件打开太多，没有关闭.
首先我们来看如何标识一个TCP连接？系统是通过一个四元组来识别，(src_ip,src_port,dst_ip,dst_port)即源IP、源端口、目标IP、目标端口。比如我们有一台服务192.168.0.1，开启端口80.那么所有的客户端都会连接到这台服务的80端口上面。有一种误解，就是我们常说一台机器有65536个端口，那么承载的连接数就是65536个，这个说法是极其错误的，这就混淆了源端口和访问目标端口。我们做压测的时候，利用压测客户端，这个客户端的连接数是受到端口数的限制，但是服务器上面的连接数可以达到成千上万个，一般可以达到百万（4C8G配置），至于上限是多少，需要看优化的程度。具体做法如下：
无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优：
我们在这里开启了 innodb_file_per_table，但这个参数并非本实验所必须，只是为了演示方便。
欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。
Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境，JDK最低版本要求是8。我们这里使用的是Linux Centos7.9版本，jdk为1.8。
查看系统默认的最大文件句柄数，系统默认是1024 #ulimit -n 1024
Linux是有文件句柄限制的，而且Linux默认不是很高，一般都是1024，生产服务器用其实很容易就达到这个数量 系统总限制是在这里，/proc/sys/fs/file-max.可以通过cat查看目前的值，修改/etc/sysctl.conf 中也可以控制. /proc/sys/fs/file-nr，可以看到整个系统目前使用的文件句柄数量 linux 中数据的含义 /proc/sys/fs/file-nr [root@localhost logs]# cat /proc/sys/fs/fi
Redis的高性能和他的事件模型是密不可分的，最大程度上利用了单线程、非阻塞IO模型来快速的处理请求（单线程处理多链接）。这里存在一个问题，其实严格意义上来讲，Redis 是单线程对外提供服务，redis内部并不单线程的，还存在一些关于数据持久化的线程。
Nginx反向代理并发能力的强弱，直接影响到系统的稳定性。安装Nginx过程，默认配置并不涉及到过多的并发参数，作为产品运行，不得不考虑这些因素。Nginx作为产品运行，官方建议部署到Linux64位系统，基于该建议，本文中从系统线之上考虑Nginx的并发优化。
自接触 linux 后，大家所受的教育就是 ulimit是最便捷的内核优化途径，事实也确实如此。
Oracle 不同平台的数据库安装指导为我们部署Oracle提供了一些系统参数设置的建议值，然而建议值是在通用的情况下得出的结论，并非能完全满足不同的需求。使用不同的操作系统内核参数将使得数据库性能相差甚远。本文描述了linux下几个主要内核参数的设置，供参考。
作者简介 宋顺，携程框架研发部技术专家。2016年初加入携程，主要负责中间件产品的相关研发工作。毕业于复旦大学软件工程系，曾就职于大众点评，担任后台系统技术负责人。 说起Too many open files这个报错，想必大家一定不陌生。在Linux系统下，如果程序打开文件句柄数（包括网络连接、本地文件等）超出系统设置，就会抛出这个错误。 不过最近发现Tomcat的类加载机制在某些情况下也会触发这个问题。今天就来分享下问题的排查过程、问题产生的原因以及后续优化的一些措施。 在正式分享之前，先简单介绍下背景。
本文出自:[url]http://www.nsfocus.com[/url] 维护:小四 6. /etc/system可调资源限制 6.1 Solaris下如何限制每个用户可拥有的最大进程数 6.2 如何配置系统使之支持更多的伪终端 6.3 如何增加每个进程可打开文件句柄数 6.4 6.5 做了setuid()这类调用的程序如何产生core dump 6.6 消息队列调整 -------------------------------------------------------------------------- 6. /etc/system可调资源限制 6.1 Solaris下如何限制每个用户可拥有的最大进程数 A: Casper Dik 在/etc/system设置 set maxuprc = Q: maxusers参数究竟影响了什么 A: Casper Dik 下面以/etc/system语法格式举例说明： * set maxusers = <以MB为单位计的可用物理内存数量> * 系统所允许的最大进程数，通常最多30000 set max_nprocs = 10 + 16 * maxusers * 每个用户可以拥有的最大进程数(为超级用户保留5个) set maxuprc = max_nprocs - 5; # sysdef | sed -n '/System Configuration/,$p' 6.2 如何配置系统使之支持更多的伪终端 A: Argoth 不要试图通过'/usr/bin/adb -k'到达目的。 a. 如果Solaris版本小于7，修改/etc/system，增加如下行 set pt_cnt= 执行/usr/sbin/reboot -- -r，或者Stop-A，执行boot -r b. 对于Solaris 8，支持的伪终端数目根据需要动态改变，系统依然有一个内部限制， 但是这个值非常大。如果"pt_cnt"变量小于这个内部限制，将被忽略。一般情况 下，不再需要指定"pt_cnt"变量。但还是有某些罕见的情形，需要设置"pt_cnt" 变量大于内部限制。 6.3 如何增加每个进程可打开文件句柄数 A: Casper Dik 从Solaris 2.4开始，可以通过修改/etc/system实现 * set hard limit on file descriptors set rlim_fd_max = 4096 * set soft limit on file descriptors set rlim_fd_cur = 1024 软限制超过256时，某些应用程序会出问题，尤其BCP程序。软限制超过1024时，那些 使用select()的应用程序可能会出问题。Solaris 7之前，select()使用的文件句柄 数不能超过1024。Solaris 2.6的RPC代码被重写过了，使用poll()代替select()，可 以使用超过1024的文件句柄。Solaris 2.6之前，如果软限制超过1024，所有RPC服务 很可能崩溃。 Solaris 7下select()可以使用最多达65536的文件句柄，64-bit应用程序缺省情况如 此。如果是32-bit应用程序，需要指定给FD_SETSIZE一个更大的值，重新编译。 如果程序使用标准输入/输出(stdio)，或者调用那些使用stdio的库函数，当打开的 文件超过256时，程序可能会出问题，这个限制是stdio的限制。当程序需要大量文件 句柄时，应该想办法保留一些小数字的文件句柄，让stdio使用它们。 Solaris 7下64-bit应用程序不再受这个stdio限制的影响。如果你的确需要超过256 个FILE *，而又不能使用Solaris 7，或者需要运行32-bit代码，考虑使用来自AT&T 的SFIO([url]http://www.research.att.com/sw/tools/sfio/[/url])。 A: [email]qaz@smth.org[/email] 检查当前设置 # ulimit -H -n 1024 # ulimit -S -n 64 # 对于Solaris，建议修改/etc/system后重启 * set hard limit on file descriptors set rlim_fd_max=0x8000 * set soft limit on file descriptors set rlim_fd_cur=0x8000 然后 ulimit -S -n 8192 对于Linux echo 65536 > /proc/sys/fs/file-max 然后 ulimit -S -n 8192 对于FreeBSD 编辑/etc
中文地址： https://www.oschina.net/translate/c10k
内核参数fs.file-max指定了系统范围内所有进程可打开的文件句柄的数量限制。 合理值计算方法：取决于内存，每1M内存可增加100个。默认情况下，不要将超过10%的内存用于文件。将文件句柄数设置太大的危害是，当大量的文件句柄都为sockets时，会占用大量的内存，这些内存都是不可交换的。要记得的是网络套接字连接符也是文件。对于百万级连接数的进程来说，要设置单个进程可打开的文件句柄数为百万个。 比如256G内存，应该配置的值为：256*0.1*1024*100=2621440 设置方式：
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
服务器应用领域很古老很出名的一个问题，大意是说单台服务器要同时支持并发 10K 量级的连接，这些连接可能是保持存活状态的。
在5.11内核环境下，/proc/sys/fs/file-max值默认为系统内存（kB为单位）的10%。内核源码相关实现见下图
默认情况下，rabbitmq文件句柄数设置是1024。连接数最多为829，连接数的具体计算方式为：
建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。
工作当中遇到的事情比较杂，因此涉及的知识点也很多。这里暂且记录一下，今天遇到的知识点，纯干货~ 关于文件的解压和压缩 如果你的系统不支持tar -z命令 如果是古老的Unix系统，可能并不认识tar -z命令，因此如果你想要压缩或者解压tar.gz的文件，就需要使用gzip或者gunzip以及tar命令了。 关于tar.gz可以这么理解，tar结尾的压缩包，其实只负责把文件打包，并没有进行压缩；而gz结尾的包，则是进行压缩操作。 因此，tar.gz的文件可以理解为，先进行打包，再进行压缩。 那么，压缩
对于高性能即时通讯技术（或者说互联网编程）比较关注的开发者，对C10K问题（即单机1万个并发连接问题）应该都有所了解。“C10K”概念最早由Dan Kegel发布于其个人站点，即出自其经典的《The C10K problem（英文PDF版、中文译文）》一文。
如果在 Swoole 的日志中遇到了 Too many open files 这种报错，不要慌，在开发 TCP 网络应用的过程中，经常会遇到Too many open files这个问题。
2.此时不要关闭mysql服务，查询到mysql的句柄号，通过句柄号恢复ibd文件
在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。 文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符。 程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。如果此时去打开一个新的文件，它的文件描述符会是3。POSIX标准要求每次打开文件时（含socket）必须使用当前进程中最小可用的文件描述符号码，因此，在网络通信过程中稍不注意就有可能造成串话。标准文件描述符图如下：
可以发现，很明显是Nginx返回的错误。但是从接口返回看不出太多的细节问题，需要打印nginix日志查看
从客户端角度看，单机如果能发出百万并发，那我可以做出一个能发出百万并发的压测工具。从服务端角度看，可以优化现有的服务器支持更多的并发。
这几天在做一个性能测试，写了一个模拟发送http的程序。模拟100并发的情况下，随机发http get的请求。放到服务器上运行一段时间抛出Too many open files的异常。 异常信息简单的信息如下： I/O exception (java.net.SocketException) caught when processing request: Too many open files 大致了解下，是文件句柄数设置太低导致的。一般linux服务器默认的句柄数都是1024，执行ulimit -n，查
上一篇文章中我们以REMOVE请求为例讲解了NFS请求的处理过程，其中提到了文件句柄的概念，NFS需要根据文件句柄查找一个文件，这篇文章中我们就来聊聊文件句柄。在普通的文件系统中，我们用文件索引节点编号(ino)表示一个文件。ino就是一个数字，ino保存在磁盘中，整个文件系统中任何两个文件的ino都不相同，因此给定一个ino，我们就能找到对应的文件。当使用NFS文件系统时就出现问题了，我们无法通过文件索引编号找到对应的文件。下面的例子中我们将一个文件系统挂载在另一个文件系统之上导出了。
在Linux下面部署应用的时候，有时候会遇上Socket/File: Can’t open so many files的问题，其实Linux是有文件句柄限制的（就像WinXP？），而且默认不是很高，一般都是1024，作为一台生产服务器，其实很容易就达到这个数量，因此我们需要把这个值改大一些。
当我需要进行性能优化时，说明我们服务器无法满足日益增长的业务。性能优化是一个比较大的课题，需要从以下几个方面进行探讨
1 C10K问题 大家都知道互联网的基础就是网络通信，早期的互联网可以说是一个小群体的集合。互联网还不够普及，用户也不多。一台服务器同时在线100个用户估计在当时已经算是大型应用了。所以并不存在什么C10K的难题。互联网的爆发期应该是在www网站，浏览器，雅虎出现后。最早的互联网称之为Web1.0，互联网大部分的使用场景是下载一个Html页面，用户在浏览器中查看网页上的信息。这个时期也不存在C10K问题。 Web2.0时代到来后就不同了，一方面是普及率大大提高了，用户群体几何倍增长。另一方面是互联网不再是单
单台服务器可以支持的并发TCP连接数取决于多个因素，包括硬件性能、操作系统限制、网络带宽和应用程序设计。以下是一些影响并发TCP连接数的因素：
网络编程 在tcp应用中，server事先在某个固定端口监听，client主动发起连接，经过三路握手后建立tcp连接。那么对单机，其最大并发tcp连接数是多少？
EasyDSS转码集群搭建后需要保证每台服务器都在正常运行，可以通过进 etcd-v3.5.0-linux-amd64 目录运行 ./etcdctl get / --prefix --keys-only 来检查服务是否正常：
说这个问题是在是惭愧, 到底为什么惭愧结尾说, 事情是MYSQL 8.011 的一些机器的max_connections 经常被改为214, 而明明我们的设置的是2000的最大连接数, 但过一段时间就会被改为214.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
