scrapy 介绍
标准介绍
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。...windows下安装scrapy
命令
pip install scrapy
默认情况下,直接pip install scrapy可能会失败,如果没有换源,加上临时源安装试试,这里使用的是清华源,常见安装问题可以参考这个文章...注:此时,我们已经创建好了一个爬虫项目,但是爬虫项目是一个文件夹
?
进入爬虫项目
如果想要进入这个项目,就要cd进这个目录,如上上图所示,先cd ,再创建蜘蛛
?...配置
等于False不遵守robot协议,默认只有搜索引擎网站才会允许爬取,例如百度,必应等,个人爬取需要忽略这个,否则爬取不了
?...下篇正在赶飞机,如果你觉得写的还不错,记得点赞留言哈,感谢你的观看,么么哒。
用微笑告诉别人,今天的我比昨天强,今后也一样。
如果你觉得文章还可以,记得点赞留言支持我们哈。