在Python编程中，多进程编程是一种重要的技术手段。Python作为一种高级编程语言，天生具有多线程编程的特性，但是由于GIL(Global Interpreter Lock)的存在，线程在并发执行的效率较低。多进程编程则是一种有效的解决方案。
可以看到在耗cpu的应用中,多进程明显优于多线程 2.6130592823028564 < 3.905290126800537
在上一节，我们学习了Python的多线程编程，这节我们学习一下Python的多进程编程。
在了解multiprocessing模块之前，我们先来了解一下进程的基本概念。进程是计算机中运行的程序的实例，它拥有独立的内存空间和系统资源。相比于多线程，多进程更容易实现并行处理，因为每个进程都有自己的解释器和全局解释器锁（GIL）。
多进程编程是现代操作系统中一种重要的并发编程技术。通过在同一程序中运行多个独立的进程，可以实现并发处理，充分利用多核处理器的优势，提高程序的运行效率。本文将详细介绍Linux多进程的基本概念、创建方法、进程间通信、同步机制以及实际应用，配以C++示例代码，帮助读者深入理解和掌握多进程编程技术。
在 多线程与多进程的比较 这一篇中记录了多进程编程的一种方式. 下面记录一下多进程编程的别一种方式,即使用multiprocessing编程 import multiprocessing import time def get_html(n): time.sleep(n) print('sub process %s' % n) return n if __name__ == '__main__': # 多进程编程 process = multiprocessing.Process
Python是一门流行的编程语言，广泛用于各种应用领域，包括Web开发、数据分析和自动化任务。但在处理大规模数据或高并发任务时，提高程序性能成为一个关键问题。本文将深入探讨Python并发编程，包括多线程和多进程的使用，以及如何充分利用多核处理器来提高性能。
由于计算机的CPU是单核的，所以一次只能执行一个任务。 但是现代计算机通常都有多个核心，如果只有一个进程在运行，那么其他核心就处于闲置状态。 多进程编程可以同时利用多个核心，提高程序的运行效率。
在多进程编程中，进程之间的关系可以分为父子进程关系、兄弟进程关系和无关进程关系。不同的关系会对进程间的通信、共享资源等方面产生不同的影响。
在Python中，使用多进程编程可以实现并发处理，加快程序运行速度，提高效率。在多进程编程中，由于多个进程共享数据，因此容易出现竞争条件。为了解决这个问题，Python提供了锁机制，用于保证多个进程对共享资源的访问互斥，避免竞争条件的发生。
以下是精选了“ Python开发者” 5月份的10篇 Python 热文。其中有基础知识，项目实战等。 《Python 爬虫建站入门手记（1）：环境搭建》 本文为python简单爬虫到建立网站的实践手记中的环境搭建部分，是实现爬虫建站的第一步。 《200 行代码实现简易版 2048 游戏》 喜欢玩2048游戏吗？来看看作者是如何使用200行python代码实现出一个简单的2048游戏的吧！ 《Python 多线程详解》 尽管有GIL的存在，但是python的多线程在IO密集型任务中还是很有用处的，本文作者
IBM有个家伙做了个测试，发现切换线程context的时候，windows比linux快一倍多。进出最快的锁（windows2k的 critical section和linux的pthread_mutex），windows比linux的要快五倍左右。当然这并不是说linux不好，而且在经过实际编程之后，综合来看我觉得linux更适合做high performance server，不过在多线程这个具体的领域内，linux还是稍逊windows一点。这应该是情有可原的，毕竟unix家族都是从多进程过来的，而 windows从头就是多线程的。
当提及并发编程时，我们实际上在谈论如何让程序在同时执行多个任务时更加高效。在现代软件开发中，利用并发编程的技术已成为关键，因为它可以充分利用计算机的多核处理能力，提高程序的性能和响应速度。Python 作为一门广泛使用的编程语言，提供了多种并发编程的工具和技术，使得开发人员能够轻松地在其应用程序中实现并发性。
代码托管地址： https://github.com/HectorHu/zhihuSpider 这次抓取了110万的用户数据，数据分析结果如下： 开发前的准备 安装Linux系统（Ubuntu14
之前一直都用python的多线程库(比如threading)来写一些并发的代码，后来发现其实用这个方法写的程序其实并不是真正的并行(parrallel)计算，而只是利用单个CPU进行的并发(concurrency)计算。因此，多线程也仅仅只在处理一些被频繁阻塞的程序时才会有效率上的提升，比如网络爬虫里等待http返回等；而在CPU使用密集的程序里使用多线程反而会造成效率的下降。那么为什么python不把threading库设计成并发的线程呢？这是因为python本身有一个全局翻译锁，叫GIL(Global Interpreter Lock)，这个锁的目的是让当前的python解释器在同一时间只能执行一条语句，从而保证程序的正确运行，这也就导致了一个python解释器只能并发处理而不能并行处理。那么，如果想并行的执行代码，显然需要开启多个python解释器，这也就不是多线程，而是多进程了，因此python在多线程库里并不支持多核处理，而是在多进程库(multiprocessing)里支持多核处理。
Python程序中，由于GIL（Global Interpreter Lock，全局解释器锁）的原因，采用多线程编程并不能大幅度提高任务吞吐量。如果要充分利用硬件资源和大幅度提高任务吞吐量，需要使用多进程编程技术。
在多进程编程中，递归锁是一种特殊的锁，它允许同一进程中的线程多次获取同一个锁，而不会导致死锁的发生。递归锁主要用于解决函数递归调用中的资源竞争问题。
第一个问题问题就是为什么要多线程啊， 我看了操作系统中的多进程管理，不是挺好的吗？ 多线程似乎没有必要啊！
在 Python 多进程编程中，异常处理是非常重要的一环，可以帮助我们更好地管理进程，并提高程序的健壮性。
在单进程下进行socket的编程，服务器通过accept()获取到客户端的文件描述符，并且与该客户端进行交互。但是实际有两方面的因素都促使服务器应该能够同时与多个客户端进行交互。
今天遇到的新单词： terminal n终端 terminate v结束，使终结 basic adj基本的
Python是一种高级编程语言，提供了许多有用的库和模块来支持并行编程。其中一个库就是multiprocessing，它提供了多进程编程的支持。而在多进程编程中，线程同步锁是一种非常重要的机制，用于保证多个进程或线程之间的数据访问安全。
在 Python 中并发编程是一件非常有趣的事情，这篇文章将讲解 Python 并发编程的基本操作。并发和并行是对孪生兄弟，概念经常混淆。并发是指能够多任务处理，并行则是是能够同时多任务处理。Erlang 之父 Joe Armstrong 有一张非常有趣的图说明这两个概念：
这篇文章将讲解 Python 并发编程的基本操作。并发和并行是对孪生兄弟，概念经常混淆。并发是指能够多任务处理，并行则是是能够同时多任务处理。Erlang 之父 Joe Armstrong 有一张非常有趣的图说明这两个概念：
主流操作系统的线程模型有三种：内核线程模型、用户线程模型、混合线程模型，感兴趣的可以自己查阅相关资料 HotSpot虚拟机使用的是内核线程模型(Kernel-Level Thread, KLT)：由操作系统内核（Kernel，下称内核）支持的线程，这种线程由内核来完成线程切换，一个线程对应一个内核线程，注意内核线程也是进程
包含4个子模块，常用的是urllib.request和urllib.error模块
廖雪峰：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431611988455689d4c116b2c4ed6aec000776c00ed52000
单核就是CPU集成了一个运算核心，在工作期间只能执行某一个程序，处理多个程序时，只能分时处理。现在推出的CPU基本没有单核CPU了。
Python 是一种高级的、解释型的编程语言，它以其简洁明了的语法和强大的标准库而闻名。Python 由 Guido van Rossum 创建，并在 1991 年首次发布。以下是 Python 的一些关键特点和用途：
多进程，启用多个CPU完成任务，通俗点讲，就是将你的任务发布给不同的CPU使他们同时工作，提高效率。
有一天，java遇到了python兄弟，调侃道：“我听一位刚学python的老伙计道，你这并发包很不好用呀。” “怎么不好用了，我有Threading模块，只要创建一个Thread实例，调用start()就可以了，而且我的线程是真正的Posix Thread，这可是操作系统级的呀。”python道。 java道：“这年头，许多语言用的都是内核线程，谁还用模拟线程，用户线程呀，你这个特性也没什么起眼的，你多线程最致命的一点就是没法使用多核优势，在四核，八核的的cpu下多线程跑，依然只用了一核，白白浪费了
在多进程编程中，进程之间需要进行通信，以实现数据共享、协作计算等功能。而进程间通信（IPC，Inter-Process Communication）是实现这些功能的重要手段。Python提供了多种进程间通信方式，包括管道、共享内存、消息队列、信号量等。
信号量(Semaphore)，有时被称为信号灯，是在多线程环境下使用的一种设施，是可以用来保证两个或多个关键代码段不被并发调用。在进入一个关键代码段之前，线程必须获取一个信号量；一旦该关键代码段完成了，那么该线程必须释放信号量。其它想进入该关键代码段的线程必须等待直到第一个线程释放信号量。
Unix和Linux操作系统上提供了fork()系统调用来创建进程，调用fork()函数的是父进程，创建出的是子进程，子进程是父进程的一个拷贝，但是子进程拥有自己的PID。fork()函数非常特殊它会返回两次，父进程中可以通过fork()函数的返回值得到子进程的PID，而子进程中的返回值永远都是0。Python的os模块提供了fork()函数。由于Windows系统没有fork()调用，因此要实现跨平台的多进程编程，可以使用multiprocessing模块的Process类来创建子进程，而且该模块还提供了更高级的封装，例如批量启动进程的进程池（Pool）、用于进程间通信的队列（Queue）和管道（Pipe）等。
遇上项目紧急情况，面对大量需要试算的数据时，如何快速提升计算效率，可能是最现实的问题。计算机操作系统提供了进程和线程模型，各种语言都有对这些模型的抽象，并且大多数系统都支持多进程和多线程任务处理。从这个角度，工程上是可以提升计算效率的。但是，什么样的任务适合多线程或多进程？如果适合，选用多线程，还是多进程？这些都是需要去决策的，如果选用不恰当，费了功夫，却没有太大提升。
感谢山东工商学院计算机学院数字媒体技术专业16级郝佳驷和谭泽浩两位同学在上课讲的代码中发现并及时提出文中描述的问题。
多线程、多进程与协程是Python中实现并发编程的三种主要手段，分别适用于不同的应用场景。在技术面试中，对这三种并发模型的理解与应用能力是评价候选者系统设计、性能优化与问题解决能力的重要指标。本篇博客将深入浅出地解析Python多线程、多进程与协程的概念、面试中常见的问题、易错点以及应对策略，并通过代码示例，助您在面试中从容应对相关挑战。
多进程编程要注意僵尸进程。子进程没有可执行代码后将变成僵尸进程，如果父进程一直运行，又没有处理僵尸进程的代码，僵尸进程也将一直存在，消耗资源。僵尸进程无法通过kill命令杀掉。
并发编程是现代软件开发中不可或缺的一部分，它允许程序在执行过程中同时处理多个任务，从而提高系统响应速度与资源利用率。Python提供了多线程、多进程与协程等多种并发编程模型，这些模型各有优劣，适用于不同场景。在技术面试中，对Python并发编程模型的理解与应用能力是评价候选者系统设计、性能优化与问题解决能力的关键。本篇博客将深入浅出地剖析Python并发编程模型的重点考察点，解析面试中常见的问题、易错点以及应对策略，并通过代码示例，助您在面试中从容应对相关挑战。
《Python程序设计（第3版）》，（ISBN：978-7-302-55083-9），董付国，清华大学出版社，2020年6月第1次印刷，2021年1月第6次印刷，山东省一流本科课程“Python应用开发”配套教材，清华大学出版社2020年度畅销图书（本书第二版为2019、2020年度畅销图书）
1.python赋值、浅拷贝、深拷贝区别：https://www.cnblogs.com/xueli/p/4952063.html；
进程（process）和线程（thread）是操作系统的基本概念，但是它们比较抽象，不容易掌握。
多线程技术并不能充分利用硬件资源和大幅度提高系统吞吐量，类似需求应使用多进程编程技术满足。
fork()后会出现子进程，父子进程都打印Hello World!，所以会有两行相同的内容输出。
给定若干视频文件，为其批量添加三层弹幕，要求弹幕文字嵌入到原始画面下方，不遮挡原始画面中的有效内容。假设原始画面中主要背景色为白色。
在进行堵塞式系统调用时。为避免进程陷入无限期的等待，能够为这些堵塞式系统调用设置定时器。Linux提供了alarm系统调用和SIGALRM信号实现这个功能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
