Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【教程】自动检测和安装Python脚本依赖的第三方库

【教程】自动检测和安装Python脚本依赖的第三方库

作者头像
小锋学长生活大爆炸
发布于 2023-12-29 01:34:16
发布于 2023-12-29 01:34:16
1.6K01
代码可运行
举报
运行总次数:1
代码可运行

转载请注明出处:小锋学长生活大爆炸[xfxuezhang.cn]

背景说明

        对于新python环境,要运行某个脚本,可能需要安装很多库,一般可以通过提供的requirements.txt来自动安装。但如果没有这个txt,那就得手动一个一个安装,非常的麻烦。

        通过捕捉ImportError错误,实际上可以从错误消息中提取缺失的模块名称,而一旦确定了缺失的模块名称,就可以使用 pip 自动安装它们了。

参考脚本

autoDependencyInstaller.py

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import argparse
import subprocess
import sys
import re

def install_module(module_name, python_executable):
    try:
        subprocess.check_call([python_executable, "-m", "pip", "install", module_name])
        return True
    except subprocess.CalledProcessError:
        return False

def extract_imports(file_name):
    with open(file_name, 'r') as file:
        file_content = file.read()
        imports = re.findall(r'^(?:from\s+(\S+)|import\s+(\S+))(?:\s+|$)', file_content, re.MULTILINE)
        top_level_modules = {imp[0].split('.')[0] if imp[0] else imp[1].split('.')[0] for imp in imports}
        return list(top_level_modules)

def check_module(module, python_executable):
    try:
        subprocess.check_call([python_executable, "-c", f"import {module}"])
        return True
    except subprocess.CalledProcessError:
        return False

def check_and_install_modules(modules, python_executable):
    for module in modules:
        if check_module(module, python_executable):
            print(f"模块 '{module}' 已存在.")
        else:
            print(f"尝试安装模块: {module}")
            if not install_module(module, python_executable):
                correct_name = input(f"安装 '{module}' 失败。请输入正确的包名,或按 Enter 跳过: ").strip()
                if correct_name:
                    install_module(correct_name, python_executable)

def main():
    parser = argparse.ArgumentParser(description="自动检测和安装 Python 脚本依赖.")
    parser.add_argument("script", help="要检查依赖的 Python 脚本文件名")
    parser.add_argument("-p", "--python-path", help="Python 解释器的路径(可选)", default=sys.executable)
    args = parser.parse_args()

    modules_to_check = extract_imports(args.script)
    check_and_install_modules(modules_to_check, args.python_path)

if __name__ == "__main__":
    main()

        参数第一项表示目标py文件。第二项表示要用道德python路径,如果没有给,则默认使用当前环境下的python

        这个脚本只提取 Python 脚本中的 importfrom ... import 语句,然后在当前脚本中尝试导入它们。这样做的好处是,不会执行原始脚本的其他部分,只会检查依赖项是否存在。如果遇到任何 ImportError,则可以安装相应的缺失模块。这种方法更加安全和高效,因为它避免了不必要的脚本执行。

使用示例

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python autoDependencyInstaller.py <目标py文件> <目标python路径>

比如:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python autoDependencyInstaller.py young_http.py
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python autoDependencyInstaller.py young_http.py -p /home/sxf/miniconda3/envs/py39/bin/python

进阶使用

        把这个脚本打包:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install pyinstaller
pyinstaller -F -w autoDependencyInstaller.py

        生成的二进制文件在dist目录下,所以就可以非常方便的使用了:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
./dist/autoDependencyInstaller young_http.py -p /home/sxf/miniconda3/envs/py39/bin/python

注意:对于打包的文件,必须提供-p,不然用的是二进制文件自己的环境,会出问题。

        或者可以直接这样,用$(which python)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
./dist/autoDependencyInstaller young_http.py -p $(which python)

更进阶使用

        把这个文件放到系统目录下,就不用每次都找了:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
sudo mv dist/autoDependencyInstaller /usr/sbin/

        以后就可以直接用了:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
autoDependencyInstaller young_http.py -p /home/sxf/miniconda3/envs/py39/bin/python
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-12-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【Python】已解决:error: subprocess-exited-with-error
在Python开发过程中,尤其是使用pip安装包或执行一些需要调用子进程的操作时,有时会遇到error: subprocess-exited-with-error报错。这个错误通常发生在尝试安装某个包或运行某个脚本时,系统无法正确执行某个子进程,导致整个过程失败。以下是一个典型的场景:
屿小夏
2025/05/24
8280
手把手教你怎么导入Go语言第三方库
GO的命令go get让我们可以方便快捷的从网络中下载或更新Go语言包及其依赖文件,并将他们编译和安装。
Regan Yue
2021/09/16
5.5K0
手把手教你怎么导入Go语言第三方库
关于pycharm安装第三方库的一些方法_pycharm安装本地第三方库
要是遇到pip命令报错,或者在pycharm中无法下载第三方库,首先检查一下梯子是否开了的。 我的环境:pycharm+anaconda虚拟环境
全栈程序员站长
2022/09/27
9820
Python - 好用第三方库 isort
可以自动将 Python 模块中的 import 进行排序,并自动按类型划分以满足上面说的 PEP8 规范
小菠萝测试笔记
2021/11/16
6940
python进行安装第三方库(以及解决导入库出错的问题)
更新一下,最近博客的朋友在问我运行py代码的问题。有关安装py库的问题。py库有些是下载后自带的,有些被称为第三方库。第三方库不是自带的,需要安装。想必好多是初学者或者是没有进行学习过py的朋友。所以你在运行环境如果遇到这个问题,比如Traceback (most recent call last): File “D:\Users\白面包\Desktop\python代码\import tkinter as tk.py”, line 2, in from PIL import Image, ImageTk ModuleNotFoundError: No module named ‘PIL’,那就是没有PIL这个库。那么需要如何操作呢 ? 电脑安装py之后,一般我们还会下载编辑器,比如pycharm啊,vscode,idea也可以进行编辑。当然你要是为了使自己更加熟练代码,那么你就用下面这个idle,但是这个不建议长期使用,对开发效率不是很友好。而且书写代码不是很方便,特别是导包相关的问题。
兰舟千帆
2022/07/16
1.8K0
python进行安装第三方库(以及解决导入库出错的问题)
python第三方库推荐 - dateu
在dateutil中,吸引我的东西有2个,1个是parser,1个是rrule。
py3study
2020/01/10
5330
Python模块学习:subprocess模块详解
subprocess是Python 2.4中新增的一个模块,它允许你生成新的进程,连接到它们的 input/output/error 管道,并获取它们的返回(状态)码。这个模块的目的在于替换几个旧的模块和方法,如:
Python学习者
2023/08/26
1.9K0
python怎么安装requests库-小白安装python的第三方库:requests库
经过参考网络上的各种解决方法后,鉴于自己的实际情况→电脑里的python3.6不是安装的,是VS顺带下载的,因此难免缺胳膊少腿,就采取了如下解决步骤。刚安装新一版python准备开始学习的小伙伴也可以参考这些步骤:
全栈程序员站长
2022/07/21
1.8K0
python怎么安装requests库-小白安装python的第三方库:requests库
[python小脚本] 服务器日志监听执行告警动作
「 傍晚时分,你坐在屋檐下,看着天慢慢地黑下去,心里寂寞而凄凉,感到自己的生命被剥夺了。当时我是个年轻人,但我害怕这样生活下去,衰老下去。在我看来,这是比死亡更可怕的事。--------王小波」
山河已无恙
2023/01/30
7790
Python安装第三方库(离线+在线)
一、离线安装 以安装resquest包为例 1、检查依赖 模块的依赖包检查:在CMD命令窗口中输入 pip show requests
全栈程序员站长
2022/09/27
1.1K0
Python安装第三方库(离线+在线)
[Python第三方库系列] - Better Exceptions
Better Exceptions是最近一期的Python Weekly 和Pycoders Weekly上都推荐的一个库,用处是展示更友好的异常信息。
the5fire
2019/03/01
1.8K0
牛掰的python与unix
  加载subprocess模块仅仅是将可以使用的代码文件加载进来。也可以创建自己的模块或文件,拱以后重复使用,这与加载subprocess模块的方法相同。IPython shell的一个非常好的优点就是可以对模块或者文件检查,查看其内部可用的属性。
超蛋lhy
2018/08/31
6270
牛掰的python与unix
Python标准库 - subproce
编写Python脚本时, 经常要执行Linux操作系统命令, 如mkdir zzzz. 目前比较推荐的方法是使用subprocess模块.
py3study
2020/01/14
1.1K0
Python模块之subprocess
一 简介 在使用Python 开发MySQL自动化相关的运维工具的时候,遇到一些有意思的问题,本文介绍Python的 subprocess 模块以及如何和MySQL交互具体操作,如启动 ,关闭 ,备份数据库。 二 基础知识 Python2.4引入subprocess模块来管理子进程,可以像Linux 系统中执行shell命令那样fork一个子进程执行外部的命令,并且可以连接子进程的output/input/error管道,获取命令执行的输出,错误信息,和执行成功与否的结果。 Subprocess 提供了三个函数以不同的方式创建子进程。他们分别是 2.1 subprocess.call() 父进程等待子进程完成,并且返回子进程执行的结果 0/1 其实现方式
用户1278550
2018/08/09
2.1K0
python及第三方库交叉编译
  网上关于python的交叉编译的文章很多,但是关于python第三库的交叉编译的文章就比较少了,而且很多标题是第三方库的交叉编译,但是实际上用到的都是不需要交叉编译就能用的库,可参考性不强,最近关于python及其第三方库的交叉编译也踩了不少坑,记录一下!
Se7eN_HOU
2022/10/05
5.5K1
python及第三方库交叉编译
DeepSpeed结合Megatron-LM训练GPT2模型笔记(上)
本文基于DeepSpeedExamples仓库中给出的Megatron相关例子探索一下训练GPT2模型的流程。主要包含3个部分,第一个部分是基于原始的Megatron如何训练GPT2模型,第二个部分是如何结合DeepSpeed的特性进行训练Megatron GPT2,由于篇幅原因这篇文章只写了第一部分,主要是非常细致的记录了跑起来Megatron GPT2训练流程碰到的一些问题和如何解决的。本文主要以 https://github.com/microsoft/DeepSpeedExamples/tree/bdf8e59aede8c8e0577e8d4d557298ca8515268f 这里的codebase展开写作。
BBuf
2023/08/22
2.3K0
DeepSpeed结合Megatron-LM训练GPT2模型笔记(上)
pycryptodomex安装过程踩坑解决
Cryptodome是Python语言的加密和解密库,它是PyCrypto和Crypto工具包的继承者。
天天Lotay
2023/10/15
2.9K0
pycryptodomex安装过程踩坑解决
python第三方库的安装方法有哪些_如何安装python的第三方库
在pyhton的学习中,相信大家通常都会碰到第三方库的安装问题,这个问题对于很多初学者而言头疼不已。这里我做一些简单的总结,如何正确高效地安装第三方库,少走弯路(毕竟都是我亲自踩过的坑,所以特地来总结一下,方便以后回顾和总结)!
全栈程序员站长
2022/09/27
2.8K0
python第三方库的安装方法有哪些_如何安装python的第三方库
『AI实践学』Ubuntu安装MindSpore-gpu1.0踩坑之旅
1.1 ImportError: libcudart.so.10.1: cannot open shared object file: No such file or directory
小宋是呢
2020/10/29
9630
『AI实践学』Ubuntu安装MindSpore-gpu1.0踩坑之旅
Python中常用的第三方库_vscode如何使用第三方库
Python 第三方库依照安装方式灵活性和难易程度有 3 个方法,这 3 个方法是:pip 工具安装、自定义安装、文件安装。
全栈程序员站长
2022/11/04
2K0
相关推荐
【Python】已解决:error: subprocess-exited-with-error
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验