首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python 进程间通信(四) -- 共享内存与服务器进程

引言 此前的几篇文章中,我们介绍了 python 进程间通信的一系列方案: python 进程间通信(一) — 信号的基本使用 python 进程间通信(二) — 定时信号 SIGALRM python...但 Python 的 multiprocessing 包中仍然提供了两种方法让你可以在多进程环境下共享数据: 共享内存 服务器进程 3....服务器进程 — server process python 提供了一种十分类似共享内存的数据共享机制 — 服务器进程。...通过 multiprocessing 包中的 Manager 类可以构造一个服务器进程对象,他支持用于进程间共享的多种数据类型: list dict Namespace Lock RLock Semaphore...BoundedSemaphore Condition Event Barrier Queue Value Array 一旦创建,对象的使用与原生类型的用法是完全相同的,因此相比于共享内存,服务器进程的使用更为简单和灵活

4.4K20

Python 开发web服务器,多进程优化

仅供学习,转载请注明出处 前情回顾 前面写了两个篇章,主要介绍了使用tcp开发web服务器的功能。...Python 开发Web静态服务器 - 返回固定值:胖子老板,来包槟榔 Python 开发web服务器,返回HTML页面 但是这服务端是有一个致命的性能问题,那就是采用循环接收http请求。...,args=(client_socket,)) new_process.start() # 开启子进程 好了,这里就已经加好了子进程。...其实,这个就是多进程的特性,子进程会从开启之前复制前面的代码,包含了client_socket接口,当子进程运行的时候,并无法关闭,这就需要从主进程来关闭了。...# 因为子进程已经复制了父进程的套接字等资源,所以父进程调用close不会将他们对应的这个链接关闭的 client_socket.close() if __name__

4.7K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    进程服务器

    一、思路 先与客户端建立好连接, 每次监听到一个客户端之后,都需要产生一个子进程去处理这个连接,然后父进程继续去等待监听,唯一一个要注意的点就是要使用信号来监听子进程是否结束,从而对其进行回收,防止僵尸进程的产生...&opt, sizeof(opt)); (3)bind函数 bind(lfd, (struct sockaddr*)&ser_addr, sizeof(ser_addr));b这个函数主要目的就是将服务器的地址结构绑定到套接字...lfd上,所以开始要设置服务器的ser_addr:ser_addr.sin_family = AF_INET, ser_addr.sin_port = htons(8888);ser_addr.sin_addr.s_addr...监听到了客户端后,就要开始创建子进程来对这个监听进行处理;pid = fork() 3、子进程处理通信 因为子进程不需要监听连接,使用可以close(lfd);之后便可以进行通信处理 void do_work...sizeof(buf)); tcp.Write(cfd, buf, n); tcp.Write(STDOUT_FILENO, buf, n); } } 4、父进程回收子进程

    4.7K20

    3.Python 开发web服务器,多进程优化

    回顾 前面写了两个篇章,主要介绍了使用tcp开发web服务器的功能。...1.Python 开发Web静态服务器 - 返回固定值 2.Python 开发web服务器,返回HTML页面 但是这服务端是有一个致命的性能问题,那就是采用循环接收http请求。...其实,这个就是多进程的特性,子进程会从开启之前复制前面的代码,包含了client_socket接口,当子进程运行的时候,并无法关闭,这就需要从主进程来关闭了。...在主进程增加client_socket的关闭 运行看看浏览器还会不会转圈: 好了,那么到这里,就可以采用多进程的访问处理http请求了。...# 因为子进程已经复制了父进程的套接字等资源,所以父进程调用close不会将他们对应的这个链接关闭的 client_socket.close() if __name__

    64410

    Python进程

    Python在2.6引入了多进程的机制,并提供了丰富的组件及api以方便编写并发应用。...使用这些组件,可以方便地编写多进程并发程序。...也可以继承Process,覆盖run方法,在run方法中实现该进程的逻辑。调用join方法会阻塞当前调用进程,直到被调用进程运行结束。...需要注意的是,exit处理逻辑并不会被执行,该进程的子进程不会被终止,他们只会变成孤儿进程进程间通讯 Queue Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递。...   进程池内部维护一个进程序列,当使用时,则去进程池中获取一个进程,如果进程池序列中没有可供使用的进进程,那么程序就会等待,直到进程池中有可用进程为止。

    90020

    python 进程

    :fork进程1627,PID=1624,父PID=1486 line19:fork进程0,PID=1627,父PID=1624 [chaoge@localhost ~]$ line19:fork进程0...([timeout]),join(2)阻塞2秒 print('子进程结束') alive = cp.is_alive()#判断进程是否活着 print('is_alive:%s'%alive) 父进程...子进程将要执行 is_alive:True 子进程运行中,name=test,pid=3124 子进程结束 is_alive:False #进程池 from multiprocessing import...'---end---') ---start--- 0开始执行,进程号为1910 2开始执行,进程号为1912 1开始执行,进程号为1911 0 执行完毕,耗时0.49 3开始执行,进程号为1910 1...,进程号为1911 5 执行完毕,耗时1.38 8开始执行,进程号为1910 6 执行完毕,耗时1.49 9开始执行,进程号为1912 8 执行完毕,耗时1.21 7 执行完毕,耗时1.81 9 执行完毕

    73930

    Nginx服务器进程

    Nginx服务器进程有3类:主进程、工作进程、缓存进程 (1)主进程 Nginx启动时运行的主要进程,主要功能是与外界通信和对内部其他进程进行管理 主要工作内容 1)读取配置文件,验证有效性和正确性...2)建立、绑定、关闭 socket 3)按照配置生成、管理、结束工作进程 4)接收指令,如 重启、升级、退出 5)不中断服务,平滑重启、升级,升级失败的回滚处理 6)开启日志文件,获取文件描述符 (2)...工作进程 由主进程生成,生成数量由配置文件指定,工作进程生存于主进程的整个生命周期 主要工作内容 1)接收请求 2)将请求依次送入各个功能模块进行过滤处理 3)IO调用,获取响应数据 4)与后端服务器通信...,接收后端服务器处理结果 5)数据缓存,访问缓存索引、查询、调用缓存数据 6)发送请求结果 7)接收主进程指令,如 重启、升级、退出 (3)缓存进程 缓存进程有两类 1)缓存索引重建进程 nginx启动后由主进程生成...,在缓存元数据重建完成后就自动退出 该进程启动后,对缓存文件的目录结构扫描,在内存中建立索引元数据库 2)缓存索引管理进程 生存于主进程的整个生命周期 负责在索引元数据更新完成后,对元数据是否过期进行判断

    4.4K40

    Python进程进程

    由于Python中线程封锁机制,导致Python中的多线程并不是正真意义上的多线程。当我们有并行处理需求的时候,可以采用多进程迂回地解决。...如果要在主进程中启动大量的子进程,可以用进程池的方式批量创建子进程。 首先,创建一个进程池子,然后使用apply_async()方法将子进程加入到进程池中。...可能的运行结果: 这是主进程进程编号:10264 这是第0个子进程 当前进程号:10688,开始时间:2017-04-05T11:23:47.039989 这是第1个子进程 当前进程号:10152,开始时间...:2017-04-05T11:23:47.055615 这是第2个子进程 当前进程号:5764,开始时间:2017-04-05T11:23:47.055615 这是第3个子进程 当前进程号:6392,开始时间...:2017-04-05T11:23:47.055615 这是第4个子进程 当前进程号:9744,开始时间:2017-04-05T11:23:47.055615 这是第5个子进程 当前进程号:2636,开始时间

    1.1K20

    python0031_挂起进程_恢复进程_进程切换

    python3 把 /usr/bin/python3 从硬盘调用到内存 成为一个进程 不断输出时间ctrl+c结束进程​编辑 我想看到 python3 这个进程 可能吗?...进程 因为我们启动 python3 show_time.py 的时候 是在修改之前 从硬盘读取 show_time.py 放入内存的时候 还没有被修改成 要输出数字编号 这个进程在内存中 始终还是原来调用时的样子也就是修改前的样子...重启进程 先将进程放回前台 再ctrl + c结束这个进程​编辑 最后重新运行 python3 show_time.py 这样硬盘中修改了的python文件 就会被作为新进程重新载入内存新修改就生效了这个...蓝桥->oeasy 教您玩转 python_Python - 蓝桥云课github->GitHub - overmind1980/oeasy-python-tutorial: 良心的 Python 教程...视频->[oeasy]教您玩转python零基础学python入门教程(合集)_哔哩哔哩_bilibili 作者:oeasy​

    3.8K00

    Python进程

    进程 说明:本文是基于Py2.X环境, Python实现多进程的方式主要有两种:一种方法是使用os模块中的fork方法; 另一种是使用multiprocessing模块。...子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的ID。...Python的os模块封装了常见的系统调用,其中就包括fork,可以在Python程序中轻松创建子进程: 使用Multiprocessing查模块创建多进程。...Python的multiprocessing模块包装了底层的机制,提供了Queue、Pipes等多种方式来交换数据。两者的区别在于Pipe常用于两个进程间的通讯而Queue用于多个进程间实现通讯。...Python绿色通道∣你的Python之旅

    738100

    Python进程

    Python的线程因为解释器锁的设计,所以不能充分利用CPU,只能通过进程来实现多核利用 性能考虑的话,底层还是不要用Py,进程切换效率太低,Py多做为脚本层的胶水语言 fork子进程 如果是linux...上,可以使用linux的fork函数创建子进程python里通过os模块调用linux的fork,可以直接生成一个与当前进程执行完fork语句后的状态一致的拷贝子进程 import ospid =...os.fork()if pid==0: #0代表没有子进程,所以是子进程 print 'son'else: #父进程 print 'father' 创建独立子进程 windows...(避免主进程结束,子进程被关闭) p.join() 使用进程池 multiprocessing模块的Pool类提供创建进程池 from multiprocessing import Poolimport...p.close() #进程池close了才能使用join p.join() #join会阻塞到进程池全部进程执行完 print("All done.")

    64420

    python守护进程

    守护进程英文为daemon,像httpd,mysqld,最后一个字母d其实就是表示daemon的意思。 守护进程的编写步骤: fork子进程,然后父进程退出,此时子进程会被init进程接管。...修改子进程的工作目录,创建新进程组合新会话,修改umask。 子进程再次fork一个进程,这个进程可以称为孙子进程,然后子进程退出。.../usr/bin/env python #coding=utf8 def createDaemon(): import os, sys, time #产生子进程,而后父进程退出 try: pid...,父进程退出 通常,我们执行服务端程序的时候都会通过终端连接到服务器,成功连接后会加载shell环境,终端盒shell都是进程,shell进程是终端进程的子进程,通过ps命令可以很容易的查看到,在这个...3.创建新会话 使用setsid后,子进程就会成为新会话的首进程,子进程会成为新进程组的组长进程,子进程没有控制终端。

    1K20

    Python进程

    并发是从宏观上,在一个时间段上可以看出是同时执行的,比如一个服务器同时处理多个session。 同步异步阻塞非阻塞 图片 在了解其他概念之前,我们首先要了解进程的几个状态。...进程的结束 正常退出(自愿,如用户点击交互式页面的叉号,或程序执行完毕调用发起系统调用正常退出,在 linux中用exit,在windows中用ExitProcess) 出错退出(自愿,python a.py...使用process模块创建进程 在一个python进程中开启子进程,start方法和并发效果。...主进程创建守护进程 守护进程会在主进程代码执行结束后就终止 守护进程内无法再开启子进程,否则抛出异常 注意:进程之间是互相独立的,主进程代码运行结束,守护进程随即终止 import os import...parse_res) if __name__ == '__main__': urls=[ 'https://www.baidu.com', 'https://www.python.org

    1.6K20
    领券