Python分布式爬虫实战(二) - 搭建 Mac 开发环境

0 环境及版本

系统

• Mac OS
  
  IDEPyCharm 2018.3.5数据库
• MySQL 5.7
  
  Redis, elasticsearch开发环境virtualenv

1 Pycharm的安装及简单使用

下载 PyCharm

设置快捷键

设置解释器

2 MySQL和Navicat的安装和使用

2.1 MySQL

下载与安装

2.2 Navicat

3 Python安装

推荐py3.5+版本

4 virtualenv和virtualenvwrapper安装和配置

4.1 virtualenv简介

每个应用可能需要各自拥有一套独立的Python运行环境。virtualenv就是用来为一个应用创建一套隔离的Python运行环境。

优点

• 使不同应用开发环境独立
• 环境升级不影响其他应用，也不会影响全局的python环境
• 防止系统中出现包管理混乱和版本的冲突

它是将全局Python解释器进行私有化复制

如果不使用虚拟环境，默认的pip安装都会安装到同一个目录(java是把自己需要的包放到自己项目目录)，不同项目使用起来会产生问题

安装

pip install virtualenv

查看 virtualenv

4.2 virtualenvwrapper 简介

virtualenv的扩展管理包，用于更方便管理虚拟环境

优点

• 将所有虚拟环境整合在一个目录下
• 管理(新增，删除，复制)虚拟环境
• 切换虚拟环境

安装

pip install virtualenvwrapper

• 查询安装路径
  

  which virtualenvwrapper.sh
• 修改.bash_profile
  

  vim /Users/sss/.bash_profile

在最后加入：

export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_SCRIPT=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh
export VIRTUALENVWRAPPER_PYTHON=/Library/Frameworks/Python.framework/Versions/2.7/bin/python2
export VIRTUALENVWRAPPER_VIRTUALENV=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenv
export VIRTUALENVWRAPPER_VIRTUALENV_ARGS='--no-site-packages'
source /Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh

• 立即生效
  

  source ~/.bash_profile
• 到其工作目录
  

  cd ~/.virtualenvs ls
• 查看当前系统py版本
  
  为py2.7
• 现在,希望创建py3的环境
• 查询py3位置
  

  which python3
• 创建py3环境
  

  mkvirtualenv --python=/Library/Frameworks/Python.framework/Versions/3.7/bin/python3 py3scrapy
• 查看python版本
  

其他常用的命令：

$ workon                显示所有的环境名称
$ workon 环境名          进入/切换到该环境

• deactivate 返回到系统环境
  
  $ rmvirtualenv 移除环境