大家好，我是cloud3，本文讲一下操作系统中的调度算法以及多处理中的调度问题。
最早意识到这两个概念可能不一样是在什么时候呢，不是在买电脑的时候哈，是在安装虚拟机的时候。
白嘉庆，西邮陈莉君教授门下研一学生。曾在华为西安研究所任C++开发一职，目前兴趣是学习Linux内核网络安全相关内容。
本文通过实验论证：Unixbench的Pipe-based Context Switching用例受操作系统调度算法的影响波动很大，甚至出现了虚拟机跑分超过物理机的情况。在云计算时代，当前的Unixbench已不能真实地反映被测系统的真实性能，需要针对多核服务器和云计算环境进行完善。
作为资源管理的核心部分，OS的线程调度器必须保持下面这样简单，不变的特性: 确保ready状态的线程总是被调度到有效的CPU核上。虽然它看起来是简单的，我们发现这个不变性在Linux上经常被打破。当ready状态的线程在runqueue中等待时，有些CPU核却还会空闲几秒。以我们的经验，这类性能方面的问题会导致重度依赖同步的应用的性能成倍的下降，针对Kernel编译会多造成高达13%的延迟，针对广泛使用的商用数据库会造成23%的吞吐量降低。传统的测试技术和调试工具对于确认和了解这类问题是无效的，因此这些问题的症状经常是难以捕获的。为了能够推动我们的调查，我们构建了新的工具来在线检测这种违反不变性的情况并且将调度行为可视化。这些工具是简单的，易于在多个kernel版本间移植的并且使用的代价很小。我们相信这些工具将成为内核开发者工具链的一部分来帮助其避免这类问题的出现。
实时系统是这样的一种计算系统：当事件发生后，它必须在确定的时间范围内做出响应。在实时系统中，产生正确的结果不仅依赖于系统正确的逻辑动作，而且依赖于逻辑动作的时序。换句话说，当系统收到某个请求，会做出相应的动作以响应该请求，想要保证正确地响应该请求，一方面逻辑结果要正确，更重要的是需要在最后期限（deadline）内作出响应。如果系统未能在最后期限内进行响应，那么该系统就会产生错误或者缺陷。在多任务操作系统中（如Linux），实时调度器（realtime scheduler）负责协调实时任务对CPU的访问，以确保系统中的所有的实时任务在其deadline内完成。
本文中若有任何疏漏错误，有任何建议和意见，请回复内核月谈微信公众号，或通过caspar at linux.alibaba.com或者 tao.ma at linux.alibaba.com反馈。
简介 Linux内核中进程调度的核心是选择哪个任务在哪个CPU上运行，解决各个进程之间能够公平的共享CPU资源，同时需要确认进程需要占用CPU时间，确定下一个需要运行的进程。负载均衡的核心是各个CPU之间空闲和繁忙不均衡，提供系统整体的计算吞吐量。 每个CPU上会运行一个进程的调度队列，在系统运行过程中可能会出现一个CPU上的任务多，另外一个CPU上的任务少的情况，这就需要将繁忙的CPU将任务转移到空间处理器上从而避免某些CPU负载不够的情况. 📷 一个NUMA计算机可以拥有多个Node,一个Node可以有
经常有软件的同学会问到一个尖锐的问题：在超异构软硬件融合的时代，操作系统等软件是不是需要重构，是不是要打破现有的整个软件体系。我赶紧解释：“超异构软硬件融合不改变现有的软件体系，所有的软件该是什么样还是什么样。”
进程是操作系统分配资源(CPU、内存、文件)、调度任务和执行的一个基本单位。它拥有独立的内存空间、已分配的资源和独立的执行上下文。 线程是CPU调度的基本单位，同一进程内的线程共享了进程的资源和内存空间。
先来认识 CPU 的架构，只有理解了 CPU 的 架构，才能更好地理解 CPU 是如何读写数据的，对于现代 CPU 的架构图如下：
并发 是指在某一时间段内能够处理多个任务的能力，而 并行 是指同一时间能够处理多个任务的能力。并发和并行看起来很像，但实际上是有区别的，如下图（图片来源于网络）：
高性能的服务器，不一定是多线程实现的，也就是说多线程不一定比单线程效率高，这得分具体的情况。以redis为例，核心处理请求的线程只有一个，所以我们常常理解其仅仅只有一个线程，但准确来说其实并不是单线程的，比如日志的备份需要单独的fork一个进程或者线程去做备份等，那么redis何来单线程还能达到如此10万+的qps呢？其实这取决于具体的实现，redis采用了基于高性能Reactor的IO多路复用的模式+内存数据结构+单线程处理网络请求这几块，决定了其性能高的原因。
今天看到一篇论文：Linux Block IO: Introducing Multi-queue SSD Access on Multi-core Systems 。 这篇论文发表于 2013 年，介绍 Linux 内核的 block layer 针对现代硬件——高速 SSD、多核 CPU（NUMA）的新设计。 总的来说，设计方案不难理解，并没有涉及什么牛逼或者新颖的内容。这里面提到的内容从 Linux 3.11 开始出现在内核，Linux 3.16 成为内核的一个完整特性[6]。Linux 5.0 开始成为 block layer 的默认选项[7]。
随着云计算产业的异军突起，网络技术的不断创新，越来越多的网络设备基础架构逐步向基于通用处理器平台的架构方向融合，从传统的物理网络到虚拟网络，从扁平化的网络结构到基于 SDN 分层的网络结构，无不体现出这种创新与融合。
在《一文读懂 | 进程怎么绑定 CPU》这篇文章中介绍过，在 Linux 内核中会为每个 CPU 创建一个可运行进程队列，由于每个 CPU 都拥有一个可运行进程队列，那么就有可能会出现每个可运行进程队列之间的进程数不一样的问题，这就是所谓的 负载不均衡 问题，如下图所示：
最近在学习.NET的并行计算技术，学到一个服务器NUMA架构，NUMA架构在中大型系统上一直非常盛行，也是高性能的解决方案，在系统延迟方面表现都很优秀。Windows一向都没有在NUMA架构上有多少表现机会，AMD的多路系统大多也会用在UNIX/Linux上。Intel如期进入了NUMA架构的怀抱，英特尔最新的服务器处理器至强5500是一项重大的结构变革。与上一代至强处理器相比，至强5500采用了非一致性存储结构（NUMA），它在一块芯片上增加了向内存控制器的并行化访问路径增加非统一内存访问。可以看这篇文章
但凡懂Linux内核的，都知道Linux内核的CFS进程调度算法，无论是从2.6.23将其初引入时的论文，还是各类源码分析，文章，以及Linux内核专门的图书，都给人这样一种感觉，即 CFS调度器是革命性的，它将彻底改变进程调度算法。 预期中，人们期待它会带来令人惊艳的效果。
Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总有些与事实不符的技术描述。希望这篇文章能为比较缺少系统编程背景的Web开发人员介绍一下goroutine背后的系统知识。 1. 操作系统与运行库 2. 并发与并行 (Concurrency and Parallelism) 3. 线程的调度 4. 并发编程框架 5. goroutine 1. 操作系统与运行库 对于普通的
赖滨，腾讯云高级工程师，7+年专注于操作系统相关技术。目前负责腾讯云原生OS的研发，以及OS/虚拟化的性能优化工作。 导语 调度器(Scheduler)子系统是内核的核心子系统之一，负责系统内 CPU 资源的合理分配，需要能处理纷繁复杂的不同类型任务的调度需求，还需要能处理各种复杂的并发竞争环境，同时还需要兼顾整体吞吐性能和实时性要求(本身是一对矛盾体)，其设计与实现都极具挑战。 为了能够理解 Linux 调度器的设计与实现，我们将以 Linux kernel 5.4 版本(TencentOS Serve
Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总有些与事实不符的技术描述。希望这篇文章能为比较缺少系统编程背景的Web开发人员介绍一下goroutine背后的系统知识。 1. 操作系统与运行库 2. 并发与并行 (Concurrency and Parallelism) 3. 线程的调度 4. 并发编程框架 5. goroutine 1. 操作系统与运行库 对于
Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总有些与事实不符的技术描述。希望这篇文章能为比较缺少系统编程背景的Web开发人员介绍一下goroutine背后的系统知识。 1. 操作系统与运行库 2. 并发与并行 (Concurrency and Parallelism) 3. 线程的调度 4. 并发编程框架 5. goroutine 1. 操作系统与运行库 对
虽然我喜欢分级页表，但是反置页表才是更加自然的方式。之所以叫做 反置 页表，大概是因为它颠倒我们常规理解的寻址：
现在大家使用的基本上都是多核cpu，一般是4核的。平时应用程序在运行时都是由操作系统管理的。操作系统对应用进程进行调度，使其在不同的核上轮番运行。
本文主要记录了一次生产环境后台服务的性能分析过程，通过结合多种性能分析工具定位出系统的性能瓶颈并给出优化方案，将整个过程记录并总结如下。
之所以叫做完全公平，是因为操作系统以每个线程占用 CPU 的比率来进行动态的计算，操作系统希望每一个进程都能够平均的使用 CPU 这个资源，雨露均沾。
什么是多线程 多线程也叫并发编程，那么在写多线程之前，我们先来了解一下并发编程的基础概念。 ①CPU核心数和线程数的关系 核心即CPU，多核就是将多个CPU集成到一个芯片内，每个处理器都是单独的，核心数和线程数是一比一的关系，Interl使用超线程技术，将一个物理CPU模拟成两个逻辑CPU核心数和线程数实现一比二。 即如果一个4核CPU使用超线程技术，就可以同时运行8个线程，未使用超线程技术的话，则同时运行4个线程。 ②CPU时间轮转机制 也叫RR调度，可以理解为将CPU的运行时间进行切片，每一
我在多年的工程生涯中发现很多工程师碰到一个共性的问题：Linux工程师很多，甚至有很多有多年工作经验，但是对一些关键概念的理解非常模糊，比如不理解CPU、内存资源等的真正分布，具体的工作机制，这使得他们对很多问题的分析都摸不到方向。比如进程的调度延时是多少？Linux能否硬实时？多核下多线程如何执行？系统的内存究竟耗到哪里去了？我写的应用程序究竟耗了多少内存？什么是内存泄漏，如何判定内存是否真的泄漏？CPU速度、内存大小和系统性能的关联究竟是什么？内存和I/O存在着怎样的千丝万缕的联系？
多核CPU现在很常见，那么问题来了，一个程序在运行时，只在一个CPU核上运行？还是交替在多个CPU核上运行呢？Linux内核是如何在多核间调度进程的呢？又是内核又是CPU核，两个核有点绕，下面称CPU处理器来代替CPU核。
进程表（process table），也称进程控制块（PCB），是由操作系统维护的，每个进程占用其中一个表项。该表项包含了操作系统对进程进行描述和控制的全部信息，从而保证该进程换出后再次启动时，就像从未中断过一样。
而且这个问题还关联到了我们后面要学习的多线程、I/O 模型、网络优化等。 所以这是一道很不错的面试题目，它不是简单考某个概念，而是通过让求职者比较两种东西，从而考察你对知识整体的认知和理解。
进程或者线程绑定到某个CPU Core，仍然可能会有线程或者进程切换的发生，如果想到达到进一步减少其他进程对于该进程或者线程影响，可以采取把CPU Core从Linux内核调度中剥离出来。Linux内核提供isolcpus,对于有4个CPU core的系统，在启动时候加入isolcpus=2,3，那么系统启动后将不会使用CPU3,CPU4.这里的不适用不是绝对的，但是可以通过taskset命令来设置
数据平面开发套件(DPDK [1] ,Data Plane Development Kit)是由6WIND,Intel等多家公司开发，主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。
操作系统中，每时每刻都有着许许多多的进程在执行着，即便是现在最为强大的多核心 CPU，同时能够执行的任务数量也是相当有限的，那么，在这样资源有限的场景下，这么多进程如何来调度，哪些进程更重要哪些进程的执行可以稍微暂缓呢？这就是操作系统调度器的工作。本文我们就来详细介绍一下。
进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动，是系统进行资源分配和调度的一个独立单位。简单来说就是进程是可以独立运行的。
对于第一部分，主要是Redis自身的实现原理导致的，我们暂时不去做过多讨论。第二部分是在多核心CPU场景下，多核心之间的频繁上下文调度会导致Redis变慢，今天我们更近一步的分析一下多核心CPU场景以及NUMA架构下的Redis运行机制。
千万级并发实现的秘密 先解释一下什么是10k问题： 什么是 10K 问题？ 在 1999 年，Dan Kegel 向网络服务器提出了一个骇人听闻的难题： 是时候让网络服务器去同时应对 10000 个客户端了，你觉得呢？毕竟网络已经变得很普及了。 这就是著名的 C10K 问题。 通过改善操作系统内核和从像 Apache 那样的线程服务器迁移到像 Nginx, Node 这样的事件驱动服务器，工程师们解决了这个 C10K 问题。 但现在我们面临着一个更大的挑战，如果同时应对一千万个连接呢？要解决这个难题，需要些
这是一篇介绍Linux调度问题的文章，源自这篇文章。文章中涉及到的一些问题可能已经得到解决，但可以学习一下本文所表达的思想和对CPU调度的理解。
前言 之前程序执⾏都是⼀条腿⾛路，甚⾄是⽤⼀杆枪来打天下。 通过系统编程的学习，会让⼤家有“多条腿”⼀起⾛路，就好⽐有了⼀把机关枪。 此篇为深入理解进程第一篇，下面开始今天的说明~~~ 多任务的引入
2019年5月，美国商务部将华为列入了出口管制的“实体清单”，华为被推向了这波中美对抗的风口浪尖。紧随其后，6月，特朗普政府又对其他几家中国机构实行了限制出口政策，包括中科曙光、江南计算技术研究所、成都海光等。其中，中科曙光和江南计算技术研究所均为中国超级计算机研发机构，中科曙光研发了“曙光”系列，江南计算技术研究所研发了“神威”系列。另外一个国产超算巨头“天河”相关单位早在2015年就被纳入了实体清单。至此，国产超算三巨头“天河”、“曙光”和“神威”均已被特朗普政府封杀。继“华为禁令”之后，“超算禁令”再次暴露美国欲限制中国发展的野心。那何为“超算”？本文将简述超级计算机的背景知识与发展现状。
转一篇关于Python GIL的文章。 归纳一下，CPU的大规模电路设计基本已经到了物理意义的尽头，所有厂商们都开始转向多核以进一步提高性能。Python为了能利用多核多线程的的优势，但又要保证线程之间数据完整性和状态同步，就采用了最简单的加锁的方式（所以说Python的GIL是设计之初一时偷懒造成的！）。Python库的开发者们接受了这个设定，即默认Python是thread-safe，所以开始大量依赖这个特性，无需在实现时考虑额外的内存锁和同步操作。但是GIL的设计有时会显得笨拙低效，但是此时由于内
在打算写这篇多线层底层实现机制的时候，突然发现自己对于计算机竟然懂得这么表面，对于CPU的工作原理都不完全清楚，于是又转头查看了一些CPU相关的资料。也不敢钻的太深，怕自己迷路...，其中如有错误，望知道的朋友在下面留言评论，我会及时更新的。
我们现在已经搞定了 C10K并发连接问题 ，升级一下，如何支持千万级的并发连接？你可能说，这不可能。你说错了，现在的系统可以支持千万级的并发连接，只不过所使用的那些激进的技术，并不为人所熟悉。
Glommio是一个基于Linux io_uring的高效多核线程调度库，它可以让你的程序做到thread-per-core级别的线程调度，每个线程只分配给一个单独的核，避免线程调度时候的context switch开销。它甚至可以把线程手动pin到某个核上。
Go 的调度机制相当于我们微服务里的基础组件。很多运行时操作都涉及到了调度的关联。本文会细聊调度概念，策略，以及它的机制。当然，也少不了最常提及的 GMP 模型。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
