1回答
Scrapy shell无法打开
python、windows、scrapy
我有一个名为scrapy的conda虚拟环境，我在其中安装了scrapy。但是，每当我输入命令scrapy shell时，我都会得到以下错误。$ scrapy shell Traceback (most recent call last): File "C:\Users\Ravi\anaconda3\envs\scrape\Scripts\scrapy-script.py\site-packages\scrapy\__init__.py&qu
浏览 19提问于2021-04-17得票数 0
回答已采纳
1回答
尝试在vscode调试控制台中执行scrapy FormResponse
python、debugging、visual-studio-code、scrapy
我正在尝试学习如何使用python scrapy，我想知道我是否可以从vscode调试控制台手动请求网站。然而，当我使用scrapy时，我找不到一种方法来做同样的事情，因为scrapy请求会被产生/返回。我的请求示例： yield scrapy.Request(website, callback=self.parse_site}) 如果我尝试将scrapy.Request(website ...)粘贴到
浏览 23提问于2021-11-01得票数 0
3回答
scrapy shell无法打开长链接
python、scrapy
我在跟抓破壳打交道。我要抓取的网址是：>>> response.css("title")现在有趣的是，有时它会正确地加载相同的命令集
浏览 0提问于2016-09-27得票数 0
1回答
是否有一种在shell中处理scrapy.Request对象的方法？
python、scrapy、scrapy-spider
在终点站，我跑了我在spiders文件夹中创建了以下蜘蛛 name = "quotes"在终点站，我跑了
scrapy shell
浏览 1提问于2017-08-11得票数 1
回答已采纳
2回答
如何为Scrapy配置默认shell的全局设置
scrapy、web-crawler、settings
我开始学习Scrapy，但在奇怪的情况下，我无法将默认shell设置为ipython。我的笔记本电脑的操作系统是Ubuntu15.10。我还安装了ipython和scrapy。根据scrapy的，我可以通过在全局配置文件中输入以下内容来更改默认的scrapy shell = ipython
浏览 5提问于2016-07-06得票数 0
3回答
针对本地文件的刮取外壳
python、shell、web-scraping、scrapy、scrapy-shell
在Scrapy1.0之前，我可以很简单地对本地文件运行Scrapy：升级到1.0.3之后，它开始抛出一个错误：2015-10-12 15:32:59 [scrapy/comma
浏览 3提问于2015-10-12得票数 8
回答已采纳
1回答
刮擦外壳视图(响应)不能正常工作
python-3.x、scrapy、scrapy-shell
当我通过命令scrapy shell "http://quotes.toscrape.com/"打开Scrapy时(本例来自Scrapy教程)，我输入命令view(response)，它打开我的导航器(
浏览 7提问于2021-12-10得票数 0
1回答
为什么Scrapy中的数据没有完全加载视图(响应)？
web-scraping、scrapy
我正试着用Scrapy从Youtube上收集一些评论。但是，当我进入scrapy shell模式并使用view(response)打开它时，除了加载旋转器之外，我找不到任何注释。scrapy shell https://www.youtube.com/watch?v=kkl7-NzqxWo在注释部分显示无限旋转器。
浏览 1提问于2018-12-01得票数 0
回答已采纳
1回答
scrapy返回response.status 505
web-scraping、scrapy
尝试打开网站时，scrapy会返回response.status 505 505 HTTP Version Not Supported 同一站点将在浏览器中正常打开。为什么会这样呢？我在控制台中通过以下命令行调用scrapy： scrapy shell 'https://xiaohua.zol.com.cn/detail60/59411.html'
浏览 39提问于2021-10-13得票数 0
3回答
在浏览器选项卡或ipython窗口中打开scrapy输出
python、scrapy
我正在修我的第一只蜘蛛，在做完刮痕后：
print(response.body)
是否有方法在浏览器窗口选项卡或ipython笔记本中打开响应体
浏览 1提问于2016-05-26得票数 10
回答已采纳
1回答
Scrapy到底在哪里做html请求呢？
python、web-scraping、scrapy
我在Python3中使用Scrapy (Scrapy==1.6.0)库。我想知道，在代码中Scrapy实际上在哪里做HTML请求？熟悉scrapy库的人能告诉我在代码中我可以检查这些参数的确切位置吗？
浏览 12提问于2019-03-14得票数 0
2回答
用python抓取aspx站点
python、asp.net、beautifulsoup、urllib2、urllib
我想下载最高法院的案例。下面是我正在尝试的代码：我正在获取页面中的以下内容：
u'<html><p><hr></hr></p><b><center>The Problem may be due to 500 Server Error/404 Page Not Found.Please contact your system administr
浏览 0提问于2017-09-01得票数 0
2回答
调试:爬行(200) (引用:无)
python、xpath、scrapy
我正在尝试使用Scrapy和XPath来抓取一个网页。这是我的代码和日志，有人能帮我吗？提前感谢！from scrapy import Spiderfrom crawler.items import CrawlerItem] INFO: Enabled item pipelines:2019-11-16 23:53:53 [scrapy.core.engine] INFO: Spider opened
2019-11-16 23:53:53
浏览 2提问于2019-11-16得票数 0
回答已采纳
1回答
如何将scrapy shell输出/响应存储为变量而不是html文件
web-scraping、scrapy
我尝试使用cmdline.execute将html代码存储到名为response的变量中，如以下代码所示，但在scrapy shell中无法存储和程序代码中断，谁能告诉我如何将原始html存储到变量中导入scrapy 从scrapy import cmdline linkedinnurl = "https://stackoverflow.com/users/5597065/adnan-stab=profile“ response = cmdlin
浏览 7提问于2019-05-16得票数 2
回答已采纳
1回答
用Python3 (Scrapy，BS4)抓取网站确实会产生不完整的数据。找不到原因
python-3.x、web-scraping、scrapy
我现在正试图从其他网站上获取其他的数据，这一次是使用SCRAPY。我尝试了以下URLS：
name = "whisky"
] yield
浏览 4提问于2020-10-22得票数 0
1回答
scrapy shell无法在firefox中打开响应
python、firefox、scrapy
我今天在使用火狐浏览器时遇到了一些问题，所以我删除了它，然后重装了它，它工作得很好，然而，我使用它作为默认浏览器，但我无法在其中打开任何粗糙的外壳view(response)，尽管临时文件是创建的，我可以用Chrome打开它。
浏览 14提问于2019-08-23得票数 0
回答已采纳
1回答
当我输入scrapy shell‘When url’时，终端开始尝试自动补全我的代码，并且它变得非常难以键入。代码运行到下一行。此错误仅发生在shell中，不会出现在普通终端中。我想关闭自动完成功能，这样我就可以正常使用shell了。
在终端偏好设置中，我尝试了选择“恢复默认配置文件”。这并没有起到作用。
浏览 1提问于2019-08-03得票数 0
1回答
为什么我的基本scrapy请求没有得到响应？
python、scrapy、response、scrapy-shell
当我使用scrapy shell时：它打开shell，但不包含响应对象。正在运行返回none。s=opportunity&tab=search&mode=list>
[s] Available Scrapy<
浏览 5提问于2017-08-10得票数 0
回答已采纳
2回答
为什么我不能在Scrapy中解析响应？
scrapy
这是代码：name = 'lazada'
allowed_domains = ['lazada.com.my
浏览 19提问于2020-10-28得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号