熊军（老熊） 云和恩墨西区总经理 Oracle ACED，ACOUG核心会员 PC Server发展到今天，在性能方面有着长足的进步。64位的CPU在数年前都已经进入到寻常的家用PC之中，更别说是更高端的PC Server；在Intel和AMD两大处理器巨头的努力下，x86 CPU在处理能力上不断提升；同时随着制造工艺的发展，在PC Server上能够安装的内存容量也越来越大，现在随处可见数十G内存的PC Server。正是硬件的发展，使得PC Server的处理能力越来越强大，性能越来越高。而在稳定性
默认情况下，容器是没有资源限制的，它会尽可能地使用宿主机能够分配给它的资源。Docker提供了一种控制分配多少量的内存、CPU或阻塞I/O给一个容器的方式，即通过在docker run或docker create命令时设置运行时配置的标志。
本篇内容涉及Docker的内存与CPU限制，可以用于在实际开发中为指定容器设置限制最大使用的资源量，预计阅读时间为5分钟。
上一次咱们分析了 Linux 的启动流程和初始化流程，今天主要分析一下内存方面的初始化和常见的内存分配方式。
cgroup还有其他一些限制特性，如io，pid，hugetlb等，这些用处不多，参见Cgroupv1。下面介绍下与系统性能相关的io和hugepage，cgroup的io介绍参考Cgroup - Linux的IO资源隔离
/proc/279/status是一个Linux内核中的文件，其中包含了当前进程的状态信息。每行的含义如下：
要想一个系统不崩溃，性能还得好，同步技术是非常关键的。但是，完全避免竞态条件几乎是难于上青天。因为它要求对内核各个功能模块之间的交互得有一个清晰深刻的理解。下面我们看一下Linux内核中一些具体保护数据访问的示例，加深对其理解，甚至可以在自己的内核设计上借鉴一下。
Linux 内核中的同步机制：原子操作、信号量、读写信号量、自旋锁的API、大内核锁、读写锁、大读者锁、RCU和顺序锁。 1、介绍 在现代操作系统里，同一时间可能有多个内核执行流在执行，即使单CPU内核也需要一些同步机制来同步不同执行单元对共享的数据的访问。 主流的Linux内核中的同步机制包括： 原子操作 信号量（semaphore） 读写信号量（rw_semaphore） 自旋锁spinlock 大内核锁BKL(Big Kernel Lock) 读写锁rwlock、 brlock（只包含在2.4内核中
在《一文读懂 HugePages的原理》一文中介绍了 HugePages（大内存页）的原理和使用，现在我们来分析一下 Linux 内核是怎么实现 HugePages 分配的。
在没有业务实例运行的情况下，在服务器上通过测试Redis 实例的基准性能来对比有实例运行情况下的redis性能。通过以下步骤来判断Redis实例是否变慢：
现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道：
现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道： 地址映射 内存管理的方式 缺页异常 先来看一些基本的知识，在进程看来，内
在用户的视角里，每个进程都有自己独立的地址空间，A进程的4GB和B进程4GB是完全独立不相关的，他们看到的都是操作系统虚拟出来的地址空间。但是呢，虚拟地址最终还是要落在实际内存的物理地址上进行操作的。操作系统就会通过页表的机制来实现进程的虚拟地址到物理地址的翻译工作。其中每一页的大小都是固定的。这一段我不想介绍的太过于详细，对这个概念不熟悉的同学回去翻一下操作系统的教材。
所谓假死现象，是指 Linux 内核 Alive，但是其上的某个或所有操作的响应变得很慢的现象。
毋庸置疑，虚拟内存是操作系统中最重要的概念之一。我想主要是由于内存的重要”战略地位”。CPU太快，但容量小且功能单一，其他 I/O 硬件支持各种花式功能，可是相对于 CPU，它们又太慢。于是它们之间就需要一种润滑剂来作为缓冲，这就是内存大显身手的地方。
毋庸置疑，虚拟内存绝对是操作系统中最重要的概念之一。我想主要是由于内存的重要”战略地位”。CPU太快，但容量小且功能单一，其他 I/O 硬件支持各种花式功能，可是相对于 CPU，它们又太慢。于是它们之间就需要一种润滑剂来作为缓冲，这就是内存大显身手的地方。
https://www.cnblogs.com/you-men/p/12839535.html
前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。
前不久组内又有一次我比较期待的分享：”Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题（笑）。
HugePage，就是指的大页内存管理方式。与传统的4kb的普通页管理方式相比，HugePage为管理大内存(8GB以上)更为高效。本文描述了什么是HugePage，以及HugePage的一些特性。
早上6点，我不得不开始处理“叫醒”我的一些问题。因为当这些问题发生的时候，我的手机铃声响了。昏睡中的我非常不情愿地拿起了手机，检查我是否疯狂到将叫醒闹钟设在了早上5点。原来是监控系统发现一个Plumbr服务死掉了。
在“Java运行时参数”字段中设置所需的内存参数。例如，如果你想要设置最小堆大小为256 MB，最大堆大小为512 MB，你可以输入-Xms256m -Xmx512m。
操作系统属于软件范畴，负责管理系统的硬件资源。OS具备的功能：1.为应用程序提供执行环境。2.为多用户和应用程序管理计算机的硬件资源。3.虚拟化功能。4.支持并发。
系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作，ulimit 是我们在处理这些问题时，经常使用的一种简单手段。ulimit 是一种 linux 系统的内键功能，它具有一套参数集，用于为由它生成的 shell 进程及其子进程的资源使用设置限制。
补充说明： ulimit为shell内建指令，可用来控制shell执行程序的资源。
来源 | https://zhenbianshu.github.io/ 前不久组内又有一次我比较期待的分享：”Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题（笑）。 之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C
网上搜索了一筐如何在Linux下安装部署Redis的文章，各种文章混搭在一起勉强安装成功了。自己也记录下，方便后续安装时候有个借鉴之处。
对于用户空间的应用程序，我们通常根本不关心page的物理存放位置，因为我们用的是虚拟地址。所以，只要虚拟地址不变，哪怕这个页在物理上从DDR的这里飞到DDR的那里，用户都基本不感知。那么，为什么要写一篇论述页迁移的文章呢？
究其原因，监控系统计算的可用内存算法有偏差，他只关注了计算机的“实际”内存，忽略了计算机的虚拟内存。
Linux 的同步机制不断发展完善。从最初的原子操作,到后来的信号量,从大内核锁到今天的自旋锁。这些同步机制的发展伴随Linux从单处理器到对称多处理器的过渡;
内存是计算机的重要资源，虽然今天大多数的服务对内存的需求都没有那么高，但是数据库以及 Hadoop 全家桶这些服务却是消耗内存的大户，它们在生产环境动辄占用 GB 和 TB 量级的内存来提升计算的速度，Linux 操作系统为了更好、更快地管理这些内存并降低开销引入了很多策略，我们今天要介绍的是 HugePages，也就是大页[^1]。
下图中 , 最上层是 " 系统调用 " , 中间是 " 宏内核 " , 最下方是 硬件层 ;
对于后台进程的管理，常用的工具是crontab，可用于两种场景：定时任务和常驻脚本。关于常驻脚本，今天介绍一款更好用的工具：pm2，基于nodejs开发的进程管理器，适用于后台常驻脚本管理，同时对node网络应用有自建负载均衡功能。官方的说法，pm2 是一个带有负载均衡功能的Node应用的进程管理器，个人认为，并不准确，因为pm2支持多种语言，只是对于除node之外的其他进程无负载均衡的能力。
本文介绍了 ulimit 内键指令的主要功能以及用于改善系统性能的 ulimit 用法。通过这篇文章，读者不仅能够了解 ulimit 所起的作用。而且能够学会怎样更好地通过 ulimit 限制资源的使用来改善系统性能。
因为 Redis 是单线程的，大量的慢查询可能会导致 redis-server 阻塞，可以通过 slowlog get n 获取慢日志，查看详情情况。
当Linux服务器的TIME_WAIT过多时， 通常会想到去修改参数降低TIME_WAIT时长， 以减少TIME_WAIT数量，但Linux并没有提供这样的接口， 除非重新编译内核。 Linux默认的TIME_WAIT时长一般是60秒， 定义在内核的include/net/tcp.h文件中： #define TCP_TIMEWAIT_LEN (60*HZ) /* how long to wait to destroy TIME-WAIT state, * about 60 seconds */ #define TCP_FIN_TIMEOUT TCP_TIMEWAIT_LEN /* BSD style FIN_WAIT2 deadlock breaker. * It used to be 3min, new value is 60sec, * to combine FIN-WAIT-2 timeout with * TIME-WAIT timer. */ 注意tcp_fin_timeout不是TIME_WAIT时间： # cat /proc/sys/net/ipv4/tcp_fin_timeout 60 tcp_fin_timeout实为FIN_WAIT_2状态的时长， Linux没有提供修改TIME_WAIT时长接口，除非修改宏的定义重新编译内核。 但Windows可以修改注册表中的TcpTimedWaitDelay值来控制TIME_WAIT时长。 RTO：超时重传（Retransmission Timeout） TIME_WAIT是一个常见经常的问题，相关内容（/etc/sysctl.conf或/proc/sys/net/ipv4）: 1) net.ipv4.tcp_timestamps 为1表示开启TCP时间戳，用来计算往返时间RTT（Round-Trip Time）和防止序列号回绕 2) net.ipv4.tcp_tw_reuse 为1表示允许将TIME-WAIT的句柄重新用于新的TCP连接 3) net.ipv4.tcp_tw_recycle 为1表示开启TCP连接中TIME-WAIT的快速回收，NAT环境可能导致DROP掉SYN包（回复RST） 4) net.ipv4.tcp_fin_timeout FIN_WAIT_2状态的超时时长 5) net.ipv4.tcp_syncookies 为1时SYN Cookies，当SYN等待队列溢出时启用cookies来处理，可防范少量SYN攻击 6) net.ipv4.tcp_max_tw_buckets 保持TIME_WAIT套接字的最大个数，超过这个数字TIME_WAIT套接字将立刻被清除并打印警告信息 7) net.ipv4.ip_local_port_range 8) net.ipv4.tcp_max_syn_backlog 端口最大backlog内核限制，防止占用过大内核内存 9) net.ipv4.tcp_syn_retries 对一个新建连接，内核要发送多少个SYN连接请求才决定放弃，不应该大于255 10) net.ipv4.tcp_retries1 放弃回应一个TCP连接请求前﹐需要进行多少次重试，RFC规定最低的数值是3，这也是默认值 11) net.ipv4.tcp_retries2 在丢弃激活（已建立通讯状况）的TCP连接之前﹐需要进行多少次重试，默认值为15 12) net.ipv4.tcp_synack_retries TCP三次握手的SYN/ACK阶段重试次数，缺省5 13) net.ipv4.tcp_max_orphans 不属于任何进程（已经从进程上下文中删除）的sockets最大个数，超过这个值会被立即RESET，并同时显示警告信息 14) net.ipv4.tcp_orphan_retries 孤儿sockets废弃前重试的次数，缺省值是7 15) net.ipv4.tcp_mem 内核分配给TCP连接的内存，单位是page： 第一个数字表示TCP使用的page少于此值时，内核不进行任何处理（干预）， 第二个数字表示TCP使用的page超过此值时，内核进入“memory pressure”压力模式， 第三个数字表示TCP使用的page超过些值时，报“Out of socket memory”错误，TCP 连接将被拒绝 16) net.ipv4.tcp_rmem 为每个TCP连接分配的读缓冲区内存大小，单位是byte 17) net.ipv4.tcp_wmem 为每个TCP
#如以后台进程执行，则需指定一个pid，默觉得/var/run/redis.pid
不允许容器消耗宿主机太多的内存是非常重要的。在 Linux 主机上，如果内核检测到没有足够的内存来执行重要的系统功能，它会抛出 OOME 或 Out of Memory 异常，并开始终止进程以释放内存。任何进程都会被杀死，包括 Docker 和其他重要的应用程序。如果杀错进程，可能导致整个系统瘫痪。
众所周知，程序需要加载到物理内存才能运行，多核时代会出现多个进程同时操作同一物理地址的情况，进而造成混乱和程序崩溃。计算机当中很多问题的解决都是通过引入中间层，为解决物理内存使用问题，虚拟内存作为中间层进入了操作系统，从此，程序不在直接操作物理内存，只能看到虚拟内存，通过虚拟内存，非常优雅的将进程环境隔离开来，每个进程都拥有自己独立的虚拟地址空间，且所有进程地址空间范围完全一致，也给编程带来了很大的便利，同时也提高了物理内存的使用率，可同时运行更多的进程。
$ZSTORAGE包含JOB的进程私有内存的最大内存量(以KB为单位)。此内存可用于局部变量、堆栈和其他表。此内存限制不包括例程目标代码的空间。此内存根据需要分配给进程，例如在分配数组时。
导读：手上有一个测试服务器，内存是8G，最近开始搭起微服务的软件架构，单个Spring Boot 服务内存占用有点大，比如一个RocketMq的消费者服务(单独运行的服务)，启动占用了 500M 内存,导致我后面想运行其他服务,内存不够，触发了 Linux 的 OOM - Killer 机制
学会下面这几个方法，让你轻松玩转内存溢出，我们会从 Windows、Linux 两个系统来做示例展示，有人会有疑问了：为什么要说 Windows 版的 ？因为目前市面上还是有很多 Windows 服务器的，应用于传统行业、政府结构、医疗行业等等；两个系统下的情况都演示下，有备无患，
一、执行性能压测，执行日志提示Failed to create UDP port（UDP端口创建失败）
虚拟内存是实现分段和分页的关键所在，而分段和分页是操作系统管理内存的两个核心机制。
前言： 使用了mlock，会把内存lock在内存中，不会被交换，在一定场景下，可以提高性能。 虚拟化场景下，qemu也可以选择lock住一部分内存，来提高Guest的性能。 下文来分析一下mlock的
网上的答案大多是说XMX和XMS设置为一样大，但是没有说到底XMX设置多大比较好。
系统负载能力浅析 互联网时代，高并发是一个老生常谈的话题。无论对于一个web站点还是app应用，高峰时能承载的并发请求都是衡量一个系统性能的关键标志。像阿里双十一顶住了上亿的峰值请求、订单也确实体现了阿里的技术水平（当然有钱也是一个原因）。 那么，何为系统负载能力？怎么衡量？相关因素有哪些？又如何优化呢？ 一. 衡量指标 用什么来衡量一个系统的负载能力呢？有一个概念叫做每秒请求数（Requests per second），指的是每秒能够成功处理请求的数目。比如说，你可以配置tomcat服务器的maxCon
这篇文章是对 Linux 内存相关问题的集合，工作中会有很大的帮助。关注公号的朋友应该知道之前我写过从内核态到用户态 Linux 内存管理相关的基础文章，在阅读前最好浏览下，链接如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
