Scrapy无法登录

文章/答案/技术大牛

发布

1回答

python、web-scraping、scrapy、web-crawler、scrapy-spider

我不能登录这个网站。网站不包含任何标记或隐藏变量。请正确的例子或告诉我如何解决这个错误。在post调用之后，它返回相同的登录页面html。我已经尝试了错误的用户名和密码仍然是相同的反应。import scrapy name = 'example' def scrap_page(self

浏览 14提问于2018-02-27得票数 0

2回答

在登录后刮取urls列表

scrapy

要刮除的站点有多个具有多个页面的项目，并且需要登录。我试过： return [scrapy.FormRequest(, callback=self.logged_in)] 这将导致所有页面 of one项目(登录成功)，但随后就停止了。如果函数return scrapy.Request()中的logged_in()被

浏览 6提问于2016-03-11得票数 1

1回答

无法使用Scrapy登录

scrapy、web-crawler、scrapy-spider、scrapy-shell

</div><span id="lblMessage" class="red"></span> 尝试使用scrapy.FormRequest.from_response我需要登录才能完全访问产品详细信息登录页面：

浏览 0提问于2018-06-04得票数 0

回答已采纳

2回答

Xpath选择器在Scrapy中不起作用

xpath、scrapy

., "Full Name")]/span/text()我已经在Google Chrome的控制台上对它进行了测试(可以工作)，就像Xpath的许多其他变体一样，但我无法让它与Scrapy编辑:为了更清楚起见，下面是代码的其余部分：from votesmart.items import LegislatorsItems

浏览 0提问于2016-09-12得票数 2

1回答

将在Scrapy中建立的会话cookie传递给Splash，以便在抓取js页面时使用

python、scrapy、pycharm、scrapy-splash

首先，我想说我是Scrapy的新手！我有一个网站，需要登录后才能用Scrapy刮任何数据。我将要抓取的数据是在登录后由JavaScript生成的。我已经能够成功地使用Scrapy登录。我的问题是，现在我已经登录并拥有必要的cookies来继续请求网站，当我在报告页面上调用SplashRequest时，如何将这些cookies传输到Splash，我想用Scrapy抓取这些cookie？我的思维过程是错误的，我应该使用Scrapy<e

浏览 26提问于2021-01-23得票数 0

回答已采纳

1回答

使用Scrapy抓取ajax页面

python、selenium、scrapy

我已经用Scrapy一个月了。我能够抓取和抓取几个网站(事实上我已经抓取了900个网站)，基于pipelines.Now给出的关键字，问题是当我们遇到javapages (ajax)时，抓取不能抓取。我正在尝试使用以下代码，并对抓取ajax页面进行适当的更改第二个问题是，我面临的问题是scrapy无法抓取登录页面

浏览 2提问于2013-06-19得票数 0

回答已采纳

1回答

无法远程登录到scrapy

scrapy、scrapyd

Scrapy文档说，这可以使用telnet控制台完成，但我无法登录到telnet控制台。127.0.0.1...[root@xxx tmp]# ps aux | grep scrapyroot 5504 0.0 0.0 110400 860 pts/1 S+ 04:31 0:00 grep scrapy root 31457 4.0 1.

浏览 1提问于2015-09-24得票数 1

2回答

登录在Splash API中工作，但在使用SplashRequest时不起作用

web-scraping、scrapy、scrapy-splash

我正在尝试抓取一个需要登录的网站。我从能够完美登录的Splash API开始。但是，当我使用SplashRequest将我的代码放在一个粗糙的爬虫脚本中时，它无法登录。import scrapy nameself.lua_script},) def parse_result(self, response

浏览 50提问于2019-07-25得票数 0

1回答

python scrapy :无法登录网站

python、html、parsing、web-scraping、scrapy

我正在尝试使用Scrapy文档中给出的示例代码登录到一个带有python脚本的网站。以下是修改后的代码：from scrapy.http import Request,FormRequest <br> &l

浏览 0提问于2013-10-16得票数 1

2回答

Scrapy在当前爬网之前命中登录爬虫

python-3.x、scrapy、web-crawler、operator-overloading

我有三只蜘蛛，如下所示 name = 'DomainLogin' 'email':email, }) # Crawl and select products Cla

浏览 19提问于2021-06-04得票数 1

2回答

使用scrapy身份验证递归抓取网页

python、forms-authentication、web-crawler、scrapy

我面临的问题是，第一次登录工作正常，我得到了成功的登录日志，但当爬虫开始从start_url抓取页面时，它不会捕获csv文件输出中的页面，这些页面需要登录凭据才能查看数据。在整个过程中，我是否遗漏了任何东西来保持登录会话，或者是一些检查，以检查需要登录的每个url，然后只继续。:53+0000抓取调试:远程登录控制台侦听0.0.0.0:60232014-02-2

浏览 1提问于2014-03-01得票数 0

1回答

Scrapy Spider登录问题

web-scraping、scrapy

你好，我正在尝试通过scrapy登录到一个网站。我有点困惑，因为首先，如果我搜索令牌，登录页面上有两个__RequestVerificationTokens。其次，当我检查页面以找到成功登录时的302重定向时，我无法找到一个。我需要做什么才能获得身份验证并重定向到主页，就像我自己登录</

浏览 0提问于2018-11-08得票数 1

1回答

有没有什么快速的方法可以检查scrapy登录网站是否成功？

scrapy

我正在尝试使用Scrapy登录Github。# -*- coding: utf-8 -*- name = 'AutoLogin'}, ) pass 当我手动登录因此，如果我没有注销，当我再次访问Githu

浏览 39提问于2018-05-30得票数 1

1回答

恢复爬网后无法再次登录。恢复scrapy后Cookie不粘

cookies、scrapy

使用init_request，我可以登录网站并使用粘性cookies爬行。我给你来自Scrapy的回应。我以为scrapy引擎不想在登录页面上再次发送请求。在恢复scrapy之前，我将login_page (我可以从站点上的每个页面登录)更改为不同的restrict_xpaths。结果是-恢复后，我无法登录，以前的cookies丢失。有谁有一些假设吗？from scrapy.s

浏览 1提问于2013-01-30得票数 1

回答已采纳

1回答

Python Scrapy* -无法登录到站点*

python、scrapy

当涉及到Scrapy时，我是一个新手，多亏了文档，我了解底层的基本抓取和爬行操作。然而，我在登录网站时遇到了困难。下面是我的代码：import scrapyfrom scrapy.utils.response importopen_in_browser """ Log into th

浏览 0提问于2018-11-20得票数 1

1回答

抓取登录到vBulletin指南所需

python、authentication、scrapy、vbulletin

我已经读了很多关于这个主题的帖子(包括刮伤的文档)，但由于某种原因，我无法登录到vBulletin网站。现在让我解释一下细节：除了用户名(Scrapy)和密码(12345)字段外，源页面中几乎没有隐藏的值/字段。现在，我尝试提交来自Scrapy蜘蛛的数据(代码如下)，以便登录，但是蜘蛛返回到登录页面，而不是打开实际的论坛。] INFO: Spider

浏览 0提问于2018-02-24得票数 4

回答已采纳

1回答

粗糙的用户登录不能与FormRequest.from_response()一起使用

python、post、cookies、scrapy、scrapy-request

我只是设置了一个简单的爬虫来抓取一些受用户登录保护的数据。有几个小时，我尝试使用本地登录(第二个)用Scrapy FormRequest.from_response()登录以下网站：[s] view(respon

浏览 2提问于2020-08-03得票数 1

1回答

如何使用scrapy/python从URL直接读取xml

python、xml、web-scraping、scrapy、scrapy-spider

在Scrapy中，您必须定义start_url，但是我如何从其他urls中爬行呢？ name = 'example' start_urls = ['login page']urls = ['url','url'

浏览 2提问于2015-06-05得票数 1

回答已采纳

4回答

Scrapy:登录时无法抓取页面

web-scraping、scrapy、scrape

from scrapy.selector import HtmlXPathSelectorfromscrapy.http import Request, FormRequestfrom kappa

浏览 0提问于2013-01-23得票数 2

3回答

当使用requests.session登录www.researchgate.net时，我得到了一个"403禁止的“，警告说”您的浏览器不接受cookies“。

python、cookies、web-scraping、web-crawler

当我尝试使用requests.Session登录时，我得到一个"403禁止“的页面，警告说”您的浏览器不接受Cookie。需要Cookie才能使用此站点。“如何解决这个问题？

浏览 0提问于2016-04-12得票数 0

点击加载更多