开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Python - [Subprocess Popen Communicate]在执行时挂起

基础概念

subprocess.Popen 是 Python 标准库 subprocess 模块中的一个类，用于创建和管理子进程。communicate() 方法是 Popen 类的一个方法，用于与子进程进行交互，通常用于读取子进程的输出和向子进程发送输入。

相关优势

隔离性：子进程与主进程相互独立，一个进程的崩溃不会影响另一个进程。
灵活性：可以方便地启动外部命令，并与其进行交互。
安全性：可以通过设置环境变量、工作目录等来控制子进程的行为。

类型

同步通信：使用 communicate() 方法，主进程会等待子进程完成。
异步通信：可以使用 poll() 或 wait() 方法来检查子进程的状态，而不必等待其完成。

应用场景

执行外部命令：如运行 shell 脚本、调用系统工具等。
进程间通信：在主进程和子进程之间传递数据。

问题及原因

当使用 Popen.communicate() 方法时，如果子进程的输出量很大或者输出速度很慢，可能会导致主进程挂起。这是因为 communicate() 方法默认会一次性读取所有输出，如果输出量过大，会导致内存不足或阻塞。

解决方法

设置超时：

import subprocess

proc = subprocess.Popen(['your_command'], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
try:
    stdout, stderr = proc.communicate(timeout=10)  # 设置超时时间为10秒
except subprocess.TimeoutExpired:
    proc.kill()
    stdout, stderr = proc.communicate()

逐行读取输出：

import subprocess

proc = subprocess.Popen(['your_command'], stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)
while True:
    line = proc.stdout.readline()
    if not line:
        break
    print(line.strip())

使用 poll() 方法：

import subprocess

proc = subprocess.Popen(['your_command'], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
while proc.poll() is None:
    output = proc.stdout.readline()
    if output == '' and proc.poll() is not None:
        break
    if output:
        print(output.strip())

参考链接

通过以上方法，可以有效避免 Popen.communicate() 方法在执行时挂起的问题。

相关搜索:python communicate()在进程terminate()之后挂起查找subprocess.Popen python的执行时间 Python3.4:在popen.communicate()程序丢失之后 Python:脚本在subprocess.run()挂起在python中使用subprocess.Popen运行git命令在Python语言中将参数传递给subprocess.Popen 当我尝试运行时，来自python错误的subprocess.Popen。在cmd中工作良好在python中使用subprocess.Popen时，如何结束子进程？Python子进程Popen在处理所有命令之前挂起 "在python中调用subprocess.Popen时,系统无法找到指定的文件"我可以关闭在Python中用subprocess.Popen打开的命令行窗口吗？如何通过python subprocess.popen在Windows打开的命令窗口中执行命令？在Python语言的subprocess.Popen中指定来自标准输出的文本类型 Python:在没有访问subprocess.Popen对象的情况下终止子进程？Python代码在尝试使用subprocess.Popen运行可执行文件时终止在Python语言中使用subprocess.Popen无法将外壳命令输出重定向到文件在Windows10中从subprocess.Popen python打开和写入命令提示符中的命令 kubernetes python客户端在使用watch.stream方法运行时挂起

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Python Subprocess库详解

简介 Subprocess库是Python中用于创建和管理子进程的标准库。它提供了一个强大而灵活的接口，使得你可以在Python中启动新的进程、连接它们的输入和输出，并与它们进行交互。...超时处理在实际应用中，我们可能希望设置子进程的最长运行时间，以避免因子进程无法正常退出而导致父进程一直等待。...使用capture_output参数简化输出捕获在Python 3.7及以上版本中，subprocess.run()引入了capture_output参数，用于简化输出的捕获。...使用subprocess.Popen的timeout参数设置超时时间 subprocess.Popen的timeout参数允许你设置子进程的最长运行时间，以避免因子进程无法正常退出而导致父进程一直等待。...使用subprocess.Popen的timeout参数设置超时时间 subprocess.Popen的timeout参数允许你设置子进程的最长运行时间，以避免因子进程无法正常退出而导致父进程一直等待。

2.3K2 1

Python模块之subprocess

一简介在使用Python 开发MySQL自动化相关的运维工具的时候，遇到一些有意思的问题，本文介绍Python的 subprocess 模块以及如何和MySQL交互具体操作，如启动，关闭，备份数据库...1 >>> 通过上面三个例子，我们可以看出前面两个函数不容易控制输出内容,在使用subprocess包中的函数创建子进程执行命令的时候，需要考虑 1) 在创建子进程之后，父进程是否暂停，并等待子进程运行...注意：如果希望通过进程的stdin向其发送数据，在创建Popen对象的时候，参数stdin必须被设置为PIPE。...那么坑爹的问题来了：当你要使用Python的subprocess.Popen实现命令行之间的管道传输，同时数据源又非常大（比如读取上GB的文本或者无尽的网络流）时，官方文档不建议用wait，同时communicate...五参考资料 [1] 官方文档 [2] Python中的subprocess与Pipe [3] python类库31[进程subprocess]

2K1 0

python笔记65 - Python3 subprocess执行命令行获取返回结果

subprocess.Popen subprocess模块定义了一个类：Popen class Popen(object): """ Execute a child program in a new...\\lib\\site-packages\\pip (python 3.6)\r\r\n' 于是可以添加encoding参数utf-8 import subprocess p = subprocess.Popen..."E:\python36\lib\subprocess.py", line 830, in communicate stdout = self.stdout.read() File "E:...也可以在拿到输出结果后decode解码 import subprocess p = subprocess.Popen('java', shell=True,...这段包含了中文") 使用subprocess.Popen执行,需设置encoding=’utf-8’ import subprocess p = subprocess.Popen(['python',

8.9K2 0

Python subprocess与命令行交互

Python subprocess 模块是一个功能强大的库，用于启动和与子流程交互。它附带了一些高级 api，比如调用、检查输出和运行，这些都集中在的程序运行和等待完成的子进程上。...，用 Python 3.7进行了测试: import subprocess import time def main(): proc = subprocess.Popen(['ping', '-...proc = subprocess.Popen(['ping', '-c', '3', '127.0.0.1'], stdout=subprocess.PIPE...下面是: def main(): proc = subprocess.Popen(['python', '-i'], stdin=subprocess.PIPE...(步骤1) ，所以的步骤2可能会永远挂起。

7.6K2 2

Python标准库06 子进程 (subprocess包)

subprocess包主要功能是执行外部的命令和程序。比如说，我需要使用wget下载文件。我在Python中调用wget程序。从这个意义上来说，subprocess的功能与shell类似。...subprocess以及常用的封装函数当我们运行python的时候，我们都是在创建并运行一个进程。...在Python中，我们通过标准库中的subprocess包来fork一个子进程，并运行一个外部的程序(fork，exec见Linux进程基础)。...shell的功能(比如利用文本流连接各个应用)，就可以在Python中实现。...Popen.wait(), Popen.communicate()

2.8K6 0

【module】subprocess

subprocess subprocess模块是python从2.4版本开始引入的模块。主要用来取代一些旧的模块方法，如os.system、os.spawn、os.popen、commands....在python3中结果为byte类型，要得到str类型需要decode转换一下输出结果（读） # 直接执行命令输出到屏幕 >>> subprocess.Popen("ls -l",shell=True...shtin来实现 # 以下实现打开python3的终端，执行一个print命令 proc = subprocess.Popen(['python3'],stdin=subprocess.PIPE,stdout...捕获错误输出 proc = subprocess.Popen(['python3'],stdin=subprocess.PIPE,stdout=subprocess.PIPE, stderr=subprocess.PIPE...其他方法 Popen.pid 查看子进程ID Popen.returncode 获取子进程状态码，0表示子进程结束，None未结束在使用Popen调用系统命令式，建议使用communicate与stdin

1.9K4 0

Python，Shell 和三个标准文件

n 来指定 n 次之后结束退出，这样就属于场景一了，本文我们不指定 n）相信这两种情况已满足了读者 90% 呃不 100% 需求了，如果没有请留言区留言 ---- 预备执行一个 Shell 命令行时通常会自动打开三个标准文件...实战比较一下比较好记忆： ls -a （场景一） import subprocess def run_cmd(cmd): return subprocess.Popen( cmd..., shell=False, stdout=subprocess.PIPE, stderr=subprocess.PIPE).communicate()...我们接着向下看 ping zhihu.com （场景二） import subprocess def run_cmd(cmd): return subprocess.Popen(...()，于是 p 是 subprocess.Popen 类的实例查看 Popen 类源码 738 行： self.stdout = os.fdopen(c2pread, 'rU', bufsize) 从

1.4K6 0

python的subprocess模块

说明：在Python 3.5之后的版本中，官方文档中提倡通过subprocess.run()函数替代其他函数来使用 subproccess模块的功能；在Python 3.5之前的版本中，我们可以通过...subprocess.Popen()：在一些复杂场景中，我们需要将一个进程的执行输出作为另一个进程的输入。在另一些场景中，我们需要先进入到某个输入环境，然后再执行一系列的指令等。...在python3中结果为byte类型，要得到str类型需要decode转换一下直接执行命令输出到屏幕 subprocess.Popen("ls -l",shell=True) <subprocess.Popen...', None) 在需要进行相互交互的输入输出过程也可以使用shtin来实现以下实现打开python3的终端，执行一个print命令 proc = subprocess.Popen(['python3...其它方法 Popen.pid 查看子进程ID Popen.returncode 获取子进程状态码,0表示子进程结束,None未结束在使用Popen调用系统命令式，建议使用communicate与stdin

3K2 0

Python调用系统命令的六种方法

作为胶水语言，Python可以很方便的执行系统命令，Python3中常用的执行操作系统命令有os.system()、os.popen()、subprocess.popen()、subprocess.call...os.system() system函数可以将字符串转化成命令在服务器上运行；其原理是每一条system函数执行时，其会创建一个子进程在系统上执行命令行，子进程的执行结果无法影响主进程。...模块 subprocess模块是python从2.4版本开始引入的模块，主要用来取代一些旧的模块方法，如os.system、os.spawn、os.popen、commands....subprocess.Popen() 使用Popen可以创建进程，并与进程进行复杂的交互。用法：child = subprocess.Popen(["cmd","arg1"...])...模块的具体用法，大家可以查看文档进行学习https://docs.python.org/3/library/subprocess.html。

3.9K2 0

Python调用linux系统命令--使

在python 中调用系统命令，如果使用subprocess.Popen() 模块，按照命令参数的的形式，可以分两种：把命令当作字符串传给subprocess.Popen() 把命令保存到一个元组，...list 的序列，再传给subprocess.Popen() subprocess模块使用Popen类创建子进程执行命令，首先subprocess.Popen() 的原型： subprocess.Popen...如： p = subprocess.Popen() 创建了子进程p 执行命令，外部需要给命令传入参数，则可以用p.communicate(stdin_some)方法,将stdin_some 传入p.stdin...同时p.commucincate() 返回一个tuple 值 (stdout_some, stderr_some) = p.communicate(stdin_some).所以，调用subprocess.Popen...subprocess.Popen 的一些方法： Popen.communicate() : 与外部通信，(out, errout) = Popen.communicate(), 返回标准输出和错误输出

5.1K2 0

Python 执行系统命令

系统命令作为胶水语言，Python可以很方便的执行系统命令，Python3中常用的执行操作系统命令有以下方式 os.system() os.popen() subprocess 模块 os.system...system函数可以将字符串转化成命令在服务器上运行；其原理是每一条system函数执行时，其会创建一个子进程在系统上执行命令行，子进程的执行结果无法影响主进程。...subprocess模块是python从2.4版本开始引入的模块，主要用来取代一些旧的模块方法，如os.system、os.spawn、os.popen、commands....注意：如果希望通过进程的stdin向其发送数据，在创建Popen对象的时候，参数stdin必须被设置为PIPE。...在异常对象中，包括进程的returncode信息示例 from subprocess import PIPE, Popen # 返回的是 Popen 实例对象 proc = Popen( '

1.7K1 0

python模块之subprocess模块级方法

input：input参数将作为子进程的标准输入传递给Popen.communicate()方法，必须是string(需要指定encoding或errors参数，或者设置text为True)或byte类型...timeout：传递给Popen.communicate()方法。 check：如果设置为True，进程执行返回非0状态码将抛出CalledProcessError异常。...subprocess.call() 运行并等待args参数指定的指令完成，返回执行状态码(Popen实例的returncode属性)。...模块还提供了python2.x版本中commands模块的相关函数。...subprocess.getstatusoutput(cmd) 实际上是调用check_output()函数，在shell中执行string类型的cmd指令，返回(exitcode, output)形式的元组

2.3K2 0

Python 调用adb命令

使用Python通过subprocess调用adb命令。 subprocess包主要功能是执行外部命令（相对Python而言）。和shell类似。...subprocess 可参考： https://docs.python.org/2/library/subprocess.html 在电脑上装好adb工具，配置好adb的环境变量，先确保shell中可以调用...(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE).communicate()[0] if c_line.find...(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE).communicate() print result...subprocess 说明 creationflags=CREATE_NEW_CONSOLE在执行指令时弹出一个新的cmd窗口可以执行指定的bat脚本 from _subprocess import

4.5K2 0

python—subprocess、gl

一、subprocess模块 1.subprocess以及常用的封装函数运行python的时候，我们都是在创建并运行一个进程。...在Python中，我们通过标准库中的subprocess包来fork一个子进程，并运行一个外部的程序。.../usr/bin/env python import subprocess child = subprocess.Popen(["ls","-l"],stdout=subprocess.PIPE) print.../usr/bin/env python import subprocess child1 = subprocess.Popen(["cat","/etc/passwd"],stdout=subprocess.PIPE...child2的输出文本也被存放在PIPE中，直到communicate()方法从PIPE中读取出PIPE中的文本；communicate()是Popen对象的一个方法，该方法会阻塞父进程，直到子进程完成

1.5K2 0

python之系统命令

subprocess.Popen("mkdir t2", shell=True) 终端输入的命令分为两种：输入即可得到输出，如：ifconfig 输入进行某环境，依赖再输入，如：python import...= subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE,...obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE...() print(out_error_list) import subprocess obj = subprocess.Popen(["python"], stdin=subprocess.PIPE,...stdout=subprocess.PIPE, stderr=subprocess.PIPE, universal_newlines=True) out_error_list = obj.communicate

1.1K4 0

python实现局域网ip地址扫描

python 遍历局域网ip 从知道python开始，我的视线里就没缺少过他。尤其是现如今开发语言大有傻瓜化的趋势。而作为这一趋势的领导，脚本语言就显得格外亮眼。...subprocess.PIPE 　　在创建Popen对象时，subprocess.PIPE可以初始化stdin, stdout或stderr参数。表示与子进程通信的标准流。...Popen.communicate(input=None) 　　与子进程进行交互。向stdin发送数据，或从stdout和stderr中读取数据。可选参数input指定发送到子进程的参数。...注意：如果希望通过进程的stdin向其发送数据，在创建Popen对象的时候，参数stdin必须被设置为PIPE。...在windows平台下，该方法将调用Windows API TerminateProcess（）来结束子进程。 Popen.kill() 　　杀死子进程。

3K1 0

0x9 Python教程：命令自动化

本教程将介绍一些自动执行OS命令的Python技术。我们将展示使用Python（os，subprocess）执行命令的两种方法。...当您开始创建Python脚本时，您可能会发现自己正在利用os.system和subprocess.Popen，因为它们允许您运行OS命令。...os.system和subprocess.Popen之间的主要区别在于子进程允许您将STDOUT重定向到Python中的变量。...让我们用子进程模块运行一些相同的命令： >>> import subprocess>>>>>> com_str = 'uname -a'>>> command = subprocess.Popen([com_str...这允许您操作输出或将输出写入文件： >>> com_str = 'id'>>> command = subprocess.Popen([com_str], stdout=subprocess.PIPE,

6673 0

python中执行shell命令的几个方

适用于Python3 subprocess 可以执行shell命令的相关模块和函数有： os.system os.spawn os.popen –废弃 popen2.* –废弃 commands...，如：python import subprocess obj = subprocess.Popen("mkdir t3", shell=True, cwd='/home/dev',) #在cwd...目录下执行命令 import subprocess obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE...obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE...() print(out_error_list) import subprocess obj = subprocess.Popen(["python"], stdin=subprocess.PIPE,

3K1 0

Python 一键commit文件、目录到SVN服务器

/usr/bin/env/ python # -*- coding:utf-8 -*- __author__ = 'shouke' import subprocess import...def update(self): args = 'cd /d ' + self.svn_work_path + ' & svn update' with subprocess.Popen...add(self, path): args = 'cd /d ' + self.svn_work_path + ' & svn add ' + path with subprocess.Popen...path): args = 'cd /d ' + self.svn_work_path + ' & svn commit -m "添加版本文件"' + path with subprocess.Popen...svn_client.commit(dirpath) dirpath = 'D:\svn\myfolder\dirname' # '' # 传递每个文件、目录的绝对路径，确保重复执行时

2.1K2 0

zabbix 自动发现 python

(args,shell=True,stdout=subprocess.PIPE).communicate()[0] disks=[] for disk in t.split('\n'): ...(args,shell=True,stdout=subprocess.PIPE).communicate()[0] elif glob.glob('/xx/xx/*_tomcat') and not os.path.isdir...=subprocess.PIPE).communicate()[0] lwarns = [] for mongo in t.split('\n'): if len(mongo) !...(args,shell=True,stdout=subprocess.PIPE).communicate()[0] elif glob.glob('/xx/xx/*_tomcat') and not os.path.isdir...(args,shell=True,stdout=subprocess.PIPE).communicate()[0].strip('\n') STR1={'{#PROCNAME}':S}

6503 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭