我正在使用scrapy 2.1.0尝试抓取这个url：https://www.livingsocial.com/deals/kenny-s-ribs-and-dusty-s-buffet-1 但我得到一个错误： DEBUG: Crawled (403) <GET https://www.livingsocial.com/deals/kenny-s-ribs-and-dusty-s-buffet-1> (referer: https://www.l
浏览 14提问于2020-04-24得票数 0
DEFAULT_REQUEST_HEADERS = {}
当我在项目文件夹中尝试scrapy shell url时(其中一个文件夹有scrapy.cfg)，这意味着它在settings.py文件中使用相同的设置，我可以看到referer在请求中，但是我得到了一个403响应。scrapy.core.engine调试:爬行(403
浏览 3提问于2018-09-06得票数 0
3回答
如何修复爬网(403)
、、、
我使用的是python 3和scrapy。我正在用下面的代码获取scrapy shell：
url = "https://www.urban.com.au/projects/melbourne-square-93-119-kavanagh-street-southbank10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
浏览 0提问于2019-09-09得票数 0
我是Scrapy的新手，我正在浏览Scrapy教程。我已经能够使用windows7创建我的项目。我的scrapy安装在如下路径中：
C:\Program Files\python2.7\scripts.我通过scrapy crawl项目源构建了一个名为元的项目，但当我尝试通过scrapy crawl元运行该项目时，出现了一个错误：“未知命令爬网”。我尝试在“C:\Program Files\python2.7\scipts\yuan\scrapy cr
浏览 5提问于2015-03-24得票数 1
http://prntscr.com/o56670 请查看截图 我正在使用python 3并在我的终端上使用scrapy。fetch("https://angel.co/adil-wali") 当请求链接时，它以403响应。所以我已经改变和轮换了用户代理和机器人，但仍然显示403响应，所以这次我购买了爬虫计划，但爬虫仍然说523响应 您知道为什么在scrapy shell中请求返回403而不
浏览 5提问于2019-06-22得票数 0
回答已采纳
在安装过程中，目标站点根据我的USER_AGENT信息禁用了我。随后，我添加了一个RotateUserAgentMiddleware来随机旋转USER_AGENT。这很好用。但是，现在当我尝试使用scrapy shell来测试xpath和css请求时，我得到了一个403错误。我确信这是因为scrapy shell的USER_AGENT默认为目标站点已列入黑名单的某个值。问:是否可以在scrapy shell中使用不同于默认的USER_AGENT来获取U
浏览 0提问于2014-08-21得票数 19
回答已采纳
其中一个问题是，当我试图在scrapy shell上获取网站的url，试图发现如何指定如何获取这些页面时，我得到了一个403错误。包含我想要转到下一页的href链接的部分是(在‘script’中)：
<link rel="next" href="https://www.sciencedirect.com/journal/phytochemistrypage=2" data-react-helmet="true">
浏览 2提问于2020-03-02得票数 0
在windows power shell中，我可以运行scrapy shell 'http://www.hao123.com'，我可以运行ipython，我可以运行ipython，但不能在ipython笔记本中运行scrapy shell 'http://www.hao123.com' ，我也不能运行scrapy shell 'http:
浏览 0提问于2017-04-28得票数 2
1回答
带有刮伤的Uber API调用
、、、、
localeCode=fr-FR'刮码2020-11-05 12:26:49 [scrapy.core.engine] DEBUG: Crawled (403) <POST http
浏览 9提问于2020-11-05得票数 0
1回答
刮破壳不返回任何东西。
、、、、
我尝试了刮壳( scrapy shell )提取第一个组织名称，腾讯控股()控股，并在response.css('div.flex-no-grow.cb-overflow-ellipsis.identifier-label::text').extract_first()中用scrapy编写了刮除命令，这个命令什么也没有返回。
浏览 1提问于2018-07-13得票数 0
1回答
我对Scrapy和使用Python都很陌生。在过去，我成功地得到了一个极小的Scrapy工作的例子，但从那以后就再也没有使用过它。同时，一个新版本已经发布(我认为我上次使用的版本是0.24)，我无法从我的生活中，弄清楚为什么我会得到一个403错误，无论我试图爬哪个网站。话虽如此，这是我目前的代码：import scrapy
title = scrapy.Field()
urlS
浏览 4提问于2016-03-07得票数 2
回答已采纳
我遇到了我的蜘蛛的问题，这些蜘蛛不是交付导入的，然后我获取了它们的start_urls，并尝试使用scrapy shell来查找bug。敬请查看我的scrapy shell命令和下面的错误2020, 'CONCURRENT_REQUESTS_PER_DOMAIN': 6, 'RETRY_
浏览 0提问于2020-08-28得票数 0
1回答
我试图访问的网址：scrapy shell "https://research.investors.com/StockResearch/Scripts/ibdChart/print.html?(2)除此之外，我还注意到，在第一行代码之后，它返回：
我
浏览 5提问于2021-10-16得票数 0
我使用以下命令创建了一个新的scrapy项目：在爬虫文件夹中，我正在创建我的scrapy类，它包含了抓取数据的所有逻辑。我正在使用Scrapy Shell进行测试。
当我创建第一个爬虫时，scrapy shell运行得很好。但在创建第二个爬虫时，scrapy shell不起作用。使用以下命令调用scrapy s
浏览 2提问于2020-04-08得票数 1
3回答
针对本地文件的刮取外壳
、、、、
在Scrapy1.0之前，我可以很简单地对本地文件运行Scrapy：升级到1.0.3之后，它开始抛出一个错误：2015-10-12 15:32:59 [scrapy/comma
浏览 3提问于2015-10-12得票数 8
回答已采纳
我希望在scrapy中使用不同的项目设置，我的目录结构是： -project1 -settings.py -settings.py我的scrapy.cfg是：default = project1.settings我能把它放在scrapy.cfg里吗？
浏览 1提问于2018-07-26得票数 1
我对其他页面使用了'scrapy shell url‘，但由于某些原因，它不适用于下面的url https://feedback.aliexpress.com/display/productEvaluation.htm当使用完全相同的爬虫做scrapy shell时，但是使用上面的链接，它不会产生任何结果。下面是输出 scrapy shell https://feedback.aliexpress.c
浏览 47提问于2020-12-02得票数 0
回答已采纳
如何在scrapy shell IPython控制台中运行IPython仿真？我想保持从Alt+Shift+E编辑器中运行代码片段的能力
浏览 5提问于2017-06-22得票数 5
回答已采纳
1回答
我正在尝试使用scrapy来收集谷歌搜索结果，并将其放入MongoDB。但是，我没有得到任何回应。我遗漏了什么？import scrapy
name = "google"
allowed_domains
浏览 2提问于2015-10-05得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
