Python 虚拟环境主要是为不同 Python 项目创建一个隔离的环境，每个项目都可以拥有独立的依赖包环境，而项目间的依赖包互不影响
虚拟环境是用于依赖项管理和项目隔离的python工具，它可以将python程序和pip包管理工具安装在本地的隔离目录中（非全局安装）。
在做python开发时，需要很多依赖包，如果已经安装pip，安装依赖包，可以通过命令行；没有安装的，也可以通过PyCharm安装。
在window下通过cmd（win+r 打开运行，然后输入 cmd，按下回车即可打开）方式来安装Python依赖包是一种方便快捷的方式。但是往往很多时候由于pyCharm与Python安装在不同的路径，即使你已经用cmd pip install的方式在你的电脑上安装了依赖包，pyCharm依然无法使用，这时候你可以选择在pyCharm上再装一遍这些依赖包，但这样你的电脑里就有了两份相同的依赖包，看着日益丰满的硬盘实在是于心不忍，只好另寻它法，本文就是要介绍一种一份依赖包大家一起用的方法。其实方法的本质也很简单，就是把pyCharm的解析器设置为你的Python解析器即可，设置方法请往下看。
在开发Pyspark代码时，经常会用到Python的依赖包。在PySpark的分布式运行的环境下，要确保所有节点均存在我们用到的Packages，本篇文章主要介绍如何将我们需要的Package依赖包加载到我们的运行环境中，而非将全量的Package包加载到Pyspark运行环境中，本篇文章以xgboost1.0.2包为例来介绍。
Python虚拟环境是一种用于隔离Python项目的独立环境。用于隔离不同项目的依赖关系。它允许你在同一台计算机上管理多个项目，每个项目都有自己独立的Python运行环境和依赖项。通过创建虚拟环境，你可以在同一台计算机上同时管理多个项目的不同依赖库和版本，避免它们之间的冲突。
由于python2和python3在部分语法上不兼容, 导致有人打趣道:"Python2和Python3是两门语言" 对于初学者而言, 如果同时安装了python2和python3, 那运行pytho
简介 在做python开发时，需要很多依赖包，如果已经安装pip，安装依赖包，可以通过命令行；没有安装的，也可以通过PyCharm安装。
通常生产环境由于安全原因都无法访问互联网。此时就需要进行离线安装，主要有两种方式：源码编译、rpm包安装。源码编译耗费时间长且缺乏编译环境，所以一般都选择使用离线 rpm 包安装。
Pipenv是Kenneth Reitz在2017年1月发布的Python依赖管理工具，现在由PyPA维护。你可以把它看做是pip和virtualenv的组合体，而它基于的Pipfile则用来替代旧的依赖记录方式（requirements.txt）。
github地址：https://github.com/small99/AutoLine
requirements.txt用来记录项目所有的依赖包和版本号，只需要一个简单的pip命令就能完成。
安装过程需要中需要安装依赖包和gcc ,然后编译安装Python，在线安装直接用 yum install 即可。
测试开发研发的测试平台是给点点点的人用的，可以帮助我们做自动化测试、用例管理、报表生成等，提高测试工作效率。
Flask是用python进行web开发时，常见的python web框架。 如果服务器可以连接到外网，可以简单的用 pip install Flask 直接将Flask的依赖包及Flask直接安装好。 但公司的测试环境，一般是内网，不能随表上连到外网，这就需要采用离线软件包方式安装了。 下面是我的测试安装过程。
随着Hadoop平台的普及和Python语言的流行，使用Python语言访问操作HDFS的需要，Python也提供了多个访问HDFS的依赖包（如：pyhdfs、HdfsCLI、pywhdfs），这些依赖包都是通过API的方式与HDFS进行交互。本篇文章Fayson主要介绍使用pywhdfs访问Kerberos环境下的HDFS。
1、安装依赖包 1）首先安装gcc编译器，gcc有些系统版本已经默认安装，通过 gcc --version 查看，没安装的先安装gcc，yum -y install gcc，由于本人的linux系统中已经安装了，出现了下面界面。
在前面的文章Fayson介绍了一种Python访问Kerberos环境下Kafka的文章，参考《0500-使用Python2访问Kerberos环境下的Kafka》，本篇文章主要介绍另一种方式访问Kerberos环境下的Kafka。
在使用大数据spark做计算时，scala开发门槛比较高，一般多会去使用Spark Sql 和PySpark，而PySpark进行个性化开发时，需要引入第三方python包，尤其在机器学习算法方面依赖许多科学包如numpy、pandas 、matlib等等，安装这些依赖是一个非常痛苦的过程，尤其是涉及到需要在整个spark集群中去运行，不可能每个节点环境都是一致，也不可能去修改机器上的包依赖了。
最近，在使用Python的pip包管理工具时，有些用户可能遇到了这样一个警告信息：WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.这个警告表明Python的ssl模块在当前环境中不可用，往往是由于缺少相应的依赖导致的。这篇博客将介绍如何解决这个问题，并为大家提供一些可能的解决方案。
CentOS Linux release 7.5.1804 python3.7.3
Kafka支持多种客户端语言（C/C++、Go、Java、JMS、.NET、Python）。Fayson在前面多篇文章介绍了Java访问Kerberos和非Kerberos环境下的Kafka，参考《如何使用Java连接Kerberos的Kafka》。本篇文章Fayson主要介绍使用Python2访问Kerberos环境下的Kafka。在学习本篇文章内容前你还需要知道《如何通过Cloudera Manager为Kafka启用Kerberos及使用》。
一. 安装pandas 1. Anaconda 安装pandas、Python和SciPy最简单的方式是用Anaconda。Anaconda是关于Python数据分析和科学计算的分发包。 2. Miniconda 使用Anaconda会安装一百多个依赖包，如果想灵活控制安装的依赖包或带宽有限，使用Miniconda是个不错的选择。 Conda是个包管理器，Anaconda就是建立在它的基础上。Conda不只跨平台还与语言无关，与pip和virtualenv相结
最近在github上看到AutoMagic自动化平台开源了，一时手痒，就试着搭了一套环境，现在把思路和大家说一说。
1、直接使用poetry的add命令来安装依赖，其中有-dev表示他是开发环境依赖包。
在ubuntu服务器下安装包的时候，经常会用到sudo apt-get install 包名 或 sudo pip install 包名，那么两者有什么区别呢？
在安装python的相关模块和库时，我们一般使用“pip install 模块名”或者“python setup.py install”，前者是在线安装，会安装该包的相关依赖包；后者是下载源码包然后在本地安装，不会安装该包的相关依赖包。所以在安装普通的python包时，利用pip工具相当简单。但是在如下场景下，使用python setup.py install会更适合需求：
学习自然语言处理的过程中，在使用 polyglot 工具进行分词时，安装 polyglot 后发现使用时总是出现如下错误：
Fayson在前面的文章《0500-使用Python2访问Kerberos环境下的Kafka》和《0501-使用Python访问Kerberos环境下的Kafka(二)》中介绍了两种方式访问Kerberos环境下的Kafka。在前面文章的基础上Fayson介绍在CDSW访问Kerberos环境下的Kafka。
在CentOS以及其他的Linux系统中遇到安装包安装错误的原因，大多数都是因为缺少依赖包导致的，所以对于错误：zipimport.ZipImportError: can’t decompress data，是因为缺少zlib 的相关工具包导致的，知道了问题所在，那么我们只需要安装相关依赖包即可，
Python虚拟环境是一个虚拟化，从电脑独立开辟出来的环境。在这个虚拟环境中，我们可以pip安装各个项目不同的依赖包，从全局中隔离出来，利于管理。 传统的Python虚拟环境有virtualenv，使用pip freeze -> requirements.txt 导出依赖。现在又有了一个新神器 -- Pipenv， 它是由大名鼎鼎的requests 作者 Kenneth Reitz 写的一个命令行工具，这个工具包装了virtualenv，使用Pipfile和Pipfile.lock管理，更加方便。
场景：由于自己的电脑A性能不足，需要转移到一台高性能的主机B上运行python程序，但是该主机不能连接互联网。
1 目的将项目部署到其他的环境，快速安装当前项目所需要的依赖包；确保安装的依赖包和项目保持一致，避免出现版本错误引起环境异常。2 所有依赖包如果想导出本地环境所有的Python包，即pip安装的所有包，直接使用：pip freeze > requirements.txt如图：图片图片3 项目依赖包3.1 安装pipreqs以上显然不是我们常用的，因为我们一般使用的是把某个项目的依赖包导出来，便于项目在其他环境部署安装，所以我们需要的是导出项目的依赖包；如下是一个py文件，我们导入了一些包；图片那如果别人想要
1.使用虚拟环境的好处 2.如何创建虚拟环境 3.虚拟环境在Pycharm中的使用
前面Fayson介绍了Cloudera的产品CDSW(Cloudera Data Science WorkBench)的安装及示例代码的运行，在《如何基于CDSW基础镜像定制Docker》中已经介绍了Docker镜像的定制，在这里我们基于CDSW1.2.2的基础镜像来再次描述下。
忽略版本：打开denpend.txt把版本号和空格去掉 指定版本：使用python脚本
在前面的文章Fayson介绍了《如何在CDH中使用PySpark分布式运行GridSearch算法》，本篇文章Fayson主要介绍如何在CDSW上向CDH集群推送Gridsearch算法进行分布式计算。
在Python的学习的过程中，需要不断的写代码，查看别人的代码的运行效果。在这个过程中，我们需要不断安装程序的依赖包。
PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。
OpenCV-4.0.0已经放出来一阵日子了，很有新功能新特性值得尝试，由于MacOS上的brewhome包中编译好的OpenCV版本只有3.4.3，为了在MacOS上安装最新的OpenCV，只好走源码编译这条路了。
在Python项目中，我们经常需要使用各种第三方库来协助开发。这些库的版本和依赖关系对于项目的稳定运行至关重要。为了确保项目在不同环境中的一致性，我们需要一个文件来记录项目所依赖的库及其版本，这就是requirements.txt。
在Centos7系统中,默认带的Python版本是Python2.7的,想用到Python3的新特性就需要升级. 安装依赖包 关于Python3.7以上的版本，需要多安装一个依赖包: > yum install -y libffi-devel 否则会出现ModuleNotFoundError: No module named _ctypes的报错。 安装python 3.7.3 # 下载 > wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3
事情的起因是我昨天在测试Linux安装Python3的shell脚本时，需要卸载Python3重新安装一遍。但是通过如下命令卸载python3时，少写了个3，不小心将系统自带的python2也给删除了。
没有在Windows下开发的打算，代码也是用vim直接干，所以本系列博客是基于Linux平台的开发。 我用的是CentOS8，别的也可以，细微差别而已。 全程root权限下去玩。 不要被环境耽搁了，配个环境赶紧上车吧。
服务器为linux的centos系统具体7还是8我不太清楚,全程为没有网络环境,所以环境全部需要离线安装.这里不我建议使用Anaconda虚拟环境进行安装,因为是离线环境.最好是能够准备一台有网络的centos虚拟机进行安装包的下载,方便环境一致这样项目部署后环境一般不会出现问题.
在前面Fayson介绍了在Python2的环境下《如何使用Python Impyla客户端连接Hive和Impala》，本篇文章Fayson主要介绍在Python3的环境下使用Impyla访问非Kerberos环境下的Hive以及将获取到的结果集转换为Pandas的DataFrame。
原文链接:https://rumenz.com/rumenbiji/centos7-python2-to-python3.html
在写之前必须要说明一下，为什么查了网上那么多博文，都在说安装 Mayavi 工具包的事，统计下来不同的也就那么几篇，而且安装过程遇到的问题都写得很少。真的是何必呢，相同的文章和未经实践的操作就别复制粘贴了，搜索的人也很苦恼啊。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
