Python 3多处理和套接字
Python 3多处理和套接字
基础概念
多处理(Multiprocessing)
Python的multiprocessing模块允许创建并行进程，每个进程有自己的Python解释器和内存空间，避免了GIL(全局解释器锁)的限制，适合CPU密集型任务。
套接字(Socket)
套接字是网络通信的基本构建块，允许不同主机或同一主机上的进程之间进行通信。Python通过socket模块提供对BSD套接字接口的访问。
优势
- 多处理优势：
- 真正的并行执行(多核利用)
- 避免GIL限制
- 进程间内存隔离提高稳定性
- 适合CPU密集型任务
- 套接字优势：
- 低层次的网络通信控制
- 支持多种协议(TCP/UDP)
- 跨平台兼容性
- 灵活的网络编程能力
类型
多处理类型
Process- 基本进程类Pool- 进程池Queue- 进程间通信队列Pipe- 进程间通信管道Manager- 共享数据管理器
套接字类型
- 流式套接字(SOCK_STREAM) - TCP
- 数据报套接字(SOCK_DGRAM) - UDP
- 原始套接字(SOCK_RAW) - 原始网络协议访问
应用场景
- 多处理：
- 大规模数据处理
- 科学计算
- 并行算法实现
- 高并发服务器
- 套接字：
- 网络服务器/客户端
- 进程间通信
- 分布式系统
- 实时数据传输
常见问题及解决方案
问题1：多进程共享数据困难
原因：进程间内存隔离，无法直接共享变量
解决方案：
- 使用
multiprocessing.Value或Array - 使用
Manager创建共享数据结构 - 通过
Queue或Pipe传递数据
示例代码：
from multiprocessing import Process, Value, Array
def f(n, a):
n.value = 3.1415927
for i in range(len(a)):
a[i] = -a[i]
if __name__ == '__main__':
num = Value('d', 0.0)
arr = Array('i', range(10))
p = Process(target=f, args=(num, arr))
p.start()
p.join()
print(num.value)
print(arr[:])问题2：套接字通信阻塞
原因：默认套接字是阻塞模式
解决方案：
- 使用
setblocking(False)设置为非阻塞 - 使用
select模块处理多连接 - 使用多线程/多进程处理并发连接
示例代码(非阻塞套接字)：
import socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.setblocking(False)
try:
s.connect(('www.example.com', 80))
except BlockingIOError:
pass问题3：多进程套接字共享问题
原因：套接字对象无法直接在不同进程间共享
解决方案：
- 父进程创建套接字，子进程继承文件描述符
- 使用
multiprocessing.reduction传递套接字 - 每个进程创建自己的套接字连接
示例代码(套接字继承)：
from multiprocessing import Process
import socket
def worker(sock):
conn, addr = sock.accept()
print(f"Child process connected with {addr}")
conn.send(b"Hello from child")
conn.close()
if __name__ == '__main__':
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.bind(('localhost', 12345))
s.listen(5)
p = Process(target=worker, args=(s,))
p.start()
# 主进程也可以接受连接
conn, addr = s.accept()
print(f"Main process connected with {addr}")
print(conn.recv(1024))
conn.close()
p.join()
s.close()高级应用示例：多进程服务器
from multiprocessing import Process
import socket
def handle_client(conn, addr):
print(f"Connected by {addr}")
while True:
data = conn.recv(1024)
if not data:
break
conn.sendall(data)
conn.close()
def server():
HOST = '127.0.0.1'
PORT = 65432
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
s.bind((HOST, PORT))
s.listen()
while True:
conn, addr = s.accept()
p = Process(target=handle_client, args=(conn, addr))
p.start()
conn.close() # 在父进程中关闭连接，子进程有自己的副本
if __name__ == '__main__':
server()性能优化建议
- 使用进程池(
Pool)替代频繁创建销毁进程 - 对于大量短连接，考虑使用线程池+协程
- 设置适当的套接字缓冲区大小
- 使用
SO_REUSEADDR选项避免地址占用 - 考虑使用更高效的序列化格式(如
pickle协议5)
多处理和套接字结合使用时，需要注意资源管理、异常处理和进程间通信等问题，合理设计架构可以充分发挥多核CPU的优势，构建高性能的网络应用。
相关·内容
没有搜到相关的文章
云服务器
ICP备案
云直播
对象存储
即时通信 IM
腾讯云开发者
