Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Install Scrapy on OSX|mac OSX 上安装Scrapy[SYN:gejoin.com]

Install Scrapy on OSX|mac OSX 上安装Scrapy[SYN:gejoin.com]

作者头像
gigiwangs
发布于 2019-03-01 07:01:40
发布于 2019-03-01 07:01:40
83800
代码可运行
举报
文章被收录于专栏:吉吉在这里吉吉在这里
运行总次数:0
代码可运行

顺利的话,一句命令搞定: sudo pip install Scrapy OSX还是需要额外一些包或升级的,包括:

cssselect, queuelib, six, w3lib, lxml, Twisted, characteristic, pyasn1, pyasn1-modules, service-identity

幸运的是pip或者easy_install 可以自动为你安装,但是其中的问题:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Found existing installation: six 1.4.1
 DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
 Uninstalling six-1.4.1:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
OSError: [Errno 1] Operation not permitted:/tmp/pip-qeBchm-uninstall/System/Library/Frameworks/Python.framework/
 Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info’

显然升级six是出错了,使用sudo pip install six --upgrade 或者 pip uninstall six 都会遇到同样的错误。无论什么用户,多大权限。想必下载包安装也会同样问题。我只能这么认为:这都是pip的错。 好吧,那就easy_install试试吧。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
sudo easy_install –upgrade six
 Searching for six
 Reading https://pypi.python.org/simple/six/
 Best match: six 1.10.0
 Downloading https://pypi.python.org/packages/source/s/six/>six-1.10.0.tar.gz#md5=34eed507548117b2ab523ab14b2f8b55
 Processing six-1.10.0.tar.gz
Installed /Library/Python/2.7/site-packages/six-1.10.0-py2.7.egg
 Processing dependencies for six
 Finished processing dependencies for six

继续使用easy_install 安装Scarpy吧:…

sudo easy_install Scrapy

看起来挺顺利.. 可是….

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
In file included from src/lxml/lxml.etree.c:323:
 src/lxml/includes/etree_defs.h:14:10: fatal error: ‘libxml/xmlversion.h’ file not found
 #include “libxml/xmlversion.h”
 ^
 1 error generated.
 Compile failed: command ‘cc’ failed with exit status 1
 /tmp/easy_install-U7v3Lb/lxml-3.5.0/temp/xmlXPathInitxO27oS.c:1:10: >fatal error: ‘libxml/xpath.h’ file not found
 #include “libxml/xpath.h”
 ^
 1 error generated.

看来libxml2 需要额外安装的

xcode-select --install

以下就顺利完成安装

sudo pip install Scrapy OR sudo pip easy_install Scrapy

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016/01/09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【Solution】Mac下安装爬虫框架Scrapy出错
问题描述: 一片红海错误提示: Found existing installation: six 1.4.1 DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only pa
肓己
2021/08/12
4160
python第三库安装方法记录
一、Python包管理工具   Python包管理工具,可以很方便的安装第三方模块
py3study
2020/01/06
1.6K0
Windows下Python安装lxml
不指定版本号的话,默认会下载最新版(3.5.0)源码编译安装,编译过程中会提示缺少libxml2和libxslt依赖
py3study
2020/01/08
1.5K0
Mac OS装配开源爬虫框架pyspider
一、pyspider介绍 pyspider是百度的大神binux用Python做的一个爬虫架构的开源化实现,主要的功能需求是: 抓取、更新调度多站点的特定的页面 需要对页面进行结构化信息提取 灵活可扩展,稳定可监控 二、pyspider安装 1、安装pip(如果未安装)
雪碧君
2023/02/15
4530
Python: 安装lz4-0.10.1痛苦经历
因为项目的需求,要 lz4.0.10.1 的,因为本机已经有一个 1.1.0 版本的,所以必须先卸掉,然后我差点没疯了(手动微笑)
Lin_R
2018/10/22
3.6K0
scrapy初体验 - 安装遇到的坑及第一个范例
scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。scrapy的安装稍显麻烦,不过按照以下步骤去进行,相信你也能很轻松的安装使用scrapy。
三丰SanFeng
2018/01/16
1.1K0
scrapy初体验 - 安装遇到的坑及第一个范例
anaconda3 安装tensorfl
今天要在ananconda3 下安装Keras & TensorFlow 结果第一个很顺利,但是第二个的时候就报错了
py3study
2020/01/09
8770
【Python基础】08、Python模
 可以将代码量较大的程序分割成多个有组织的、彼此独立但又能互相交互的代码片段,这些自我包含的有组织的代码段就是模块
py3study
2020/01/06
1.8K0
pip install opencv-python遇到的错误
Found existing installation: numpy 1.8.0rc1 DEPRECATION: Uninstalling a distutils installed project (numpy) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project. Uninstalling numpy-1.8.0rc1: Exception: Traceback (most recent call last): File “/Library/Python/2.7/site-packages/pip/basecommand.py”, line 215, in main status = self.run(options, args) File “/Library/Python/2.7/site-packages/pip/commands/install.py”, line 342, in run prefix=options.prefix_path, File “/Library/Python/2.7/site-packages/pip/req/req_set.py”, line 778, in install requirement.uninstall(auto_confirm=True) File “/Library/Python/2.7/site-packages/pip/req/req_install.py”, line 754, in uninstall paths_to_remove.remove(auto_confirm) File “/Library/Python/2.7/site-packages/pip/req/req_uninstall.py”, line 115, in remove renames(path, new_path) File “/Library/Python/2.7/site-packages/pip/utils/init.py”, line 267, in renames shutil.move(old, new) File “/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py”, line 302, in move copy2(src, real_dst) File “/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py”, line 131, in copy2 copystat(src, dst) File “/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py”, line 103, in copystat os.chflags(dst, st.st_flags) OSError: [Errno 1] Operation not permitted: ‘/tmp/pip-ByxPrJ-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/numpy-1.8.0rc1-py2.7.egg-info’
matinal
2020/11/27
2.2K0
Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程
这几天,很多朋友在群里问Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下Scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。
Python进阶者
2019/01/13
5760
Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程
Python | Scrapy必备之配置虚拟环境
虚拟环境是一个将不同项目所需求的依赖分别放在独立的地方的一个工具,它给这些工程创建虚拟的Python环境。它解决了“项目X依赖于版本2.x,而项目Y需要项目3.x”的两难问题,而且使你的全局site-packages目录保持干净和可管理。 virtualenv 是一个创建隔绝的Python环境的工具,virtualenv创建一个包含所有必要的可执行文件的文件夹,用来使用Python工程所需的包。
咸鱼学Python
2019/10/09
1.1K0
Python | Scrapy必备之配置虚拟环境
Python 安装包setuptools
Python安装包的命令有的easy_install, setuptools, 也有pip,distribute
py3study
2020/01/08
3.6K0
python3.6 安装scrapy
我首先执行pip安装命令: pip3 install scrapy 结果提示以下错误: Could not find a version that satisfies the requirement Twisted>=13.1.0 (from scrapy) (from versions: ) No matching distribution found for Twisted>=13.1.0 (from scrapy) 因为pip3 暂时还没有Twisted,所以我们需要手动安装: cd /usr/l
魔王卷子
2019/05/30
1.2K0
Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程
小编学习爬虫的时候,遇到很多Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下Scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。
用户2966292
2020/04/01
6790
Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程
升级python2.7和安装pip,easy_install和setuptool
接下来一步最重要! 这样才能使这次升级真正生效!否则python命令还是原来的2.6.6版
老高的技术博客
2022/12/27
7650
mac 下安装scrapy 解决oserror问题
http://stackoverflow.com/q/31900008/6403672
十四君
2019/11/23
5550
Scrapy学习笔记一:安装
Ubuntu / Debian Linux 1. 更新软件列表 sudo apt-get update 2. 安装依赖库 sudo apt-get install python-pip python-lxml python-crypto python-cssselect python-openssl python-w3lib python-twisted python-dev libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev 3. 安装Scr
白墨石
2021/01/13
2890
scrapy安装步骤_scrapy安装教程
Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上。下面说明Python3 环境下的安装过程。 Scrapy依赖的库比较多,至少需要依赖库有Twisted 14.0,lxml 3.4,pyOpenSSL 0.14。而在不同平 台环境又各不相同,所以在安装之前最好确保把一些基本库安装好,尤其是Windows。
全栈程序员站长
2022/10/02
3.9K0
scrapy安装步骤_scrapy安装教程
Mac 上安装 Scrapy 报错,Operation not permitted
前几天在 Mac 上安装 Scrapy,按照官方文档的步骤使用 pip 安装 scrapy 后报一个权限错误
用户9127725
2022/08/08
6170
如何在 Canopy 中导入 scikit-learn
在 Canopy 中导入 scikit-learn 是一个简单的过程。首先,确保你已经安装了 scikit-learn,然后你可以像在其他 Python 环境中一样导入它。
华科云商小徐
2025/02/05
1110
相关推荐
【Solution】Mac下安装爬虫框架Scrapy出错
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验