最近需要使用爬虫爬取一些资料,由于需要抓取的网页有点多,单纯使用电脑时间成本太高了,so决定同时在服务器上布置爬虫一起完成工作。
步骤:
在Linux系统中安装python3
使用pscp向服务器上传爬虫代码和支持文件
安装爬虫代码中涉及的模块
我在步骤3遇到了问题,使用pip/pip3安装bs4(美丽汤)之后,运行代码总是出现没有这个模组的问题。检查以后发现/usr/local/lib/python3.5/dist-packages路径下已经存在安装好的模组。查询了不少资料,尝试了不同的方式安装bs4均失败。后来意识到是dist-packages文件夹的路径不在环境变量内,所以没法import该module。
解决方法也很简单:export PYTHONPATH=$PYTHONPATH:YOURPATH
对于我而言,路径为:/usr/local/lib/python3.5/dist-packages
最后确认python中是否包含该module:
sudo python3
help("modules")
结果如图:
封面图片:Oona's Grace
作者:Rececca Guay
领取专属 10元无门槛券
私享最新 技术干货