当登录页面是GET方法而不是POST方法时，如何使用抓取的爬行器登录？

文章/答案/技术大牛

发布

2回答

web-scraping、login、request、scrapy

我打算用一个抓取的蜘蛛登录这个website。登录页面是一个GET请求方法 ? 如您所见，这是一个GET方法，没有显示id和passeword的任何属性。 ?但在HTML代码中，有一个链接(当我在浏览器的url栏中写它时，它不起作用)，它指示一个POST方法method="post

浏览 24提问于2019-02-09得票数 0

回答已采纳

4回答

抓取和抓取iTunes应用商店

language-agnostic、itunes、screen-scraping、web-crawler

我注意到允许你通过http://协议抓取和抓取页面。然而，许多链接试图在iTunes中打开，而不是在浏览器中打开。例如，当您转到页面时，它会立即尝试使用itms://协议打开url。有没有其他爬行App Store的方法，或者这是唯一的方法？能否以某种方式爬行itms:

浏览 0提问于2010-06-23得票数 14

2回答

将scrapy日志写入文件

python、scrapy

我在LOG_LEVEL = 'DEBUG'上有一个抓取的爬行器，我如何将出现的日志消息(在爬行器运行时)写到一个简单的文本文件中，而不是直接从终端读取它们。注意:我还试图将登录终端复制并粘贴到一个文本文件中，但是因为爬虫抓取了很多页面，所以终端没有显示所有页面我的问题基本上是</e

浏览 0提问于2019-08-23得票数 0

1回答

Jsoup javascript按钮单击

javascript、android、html、forms、jsoup

如何使用Jsoup在javascript按钮上执行单击？).get().html(); <for

浏览 0提问于2012-01-04得票数 3

1回答

Google在页面上显示iframe的描述

seo、google-search

我在我的页面上有facebook登录，最近我注意到google搜索结果在站点描述中显示了FB的警告信息，FB的javascript插件在FB登录页面中添加了一个iframe，其中的内容显示在其正文标记内的图像中我怎样才能摆脱谷歌上的愤怒信息呢？ 📷

浏览 0提问于2014-08-27得票数 1

2回答

非索引文件(?)仍可在Google中找到

search、search-engine、robots.txt、googlebot

我的页面/admin/login.asp怎么可能在谷歌中用查询"inurl:admin/login.asp“找到，而不是用"site:www.domain.xx”查询？我的robots.txt中有这行代码：Disallow: /admin/<meta name="robots" content="noindex

浏览 4提问于2010-07-26得票数 2

2回答

如果form没有“request.post”属性，在Python中的action中使用哪个URL？

python、web-scraping、python-requests

我一直在关注一本名为"Web Scraping with Python“的书。在这本书和我读过的几个指南中，要使用request.post登录网站，你需要访问处理登录的后端。我试过了params = {'email':'<email>', 'password':'<password>'} r = requests.p

浏览 0提问于2020-07-18得票数 0

3回答

如何使用ManifoldCF或nutch抓取具有SAML身份验证的网站？

solr、saml、nutch、full-text-indexing、manifoldcf

我正在尝试抓取一个网站，更具体地说是一个使用ManifoldCF的Google Site，它具有SAML身份验证，并将抓取的数据索引到Apache Solr中。但当我抓取网址，它给我的302重定向到登录页面，然后说RESPONSECODENOTINDEXABLE。我不确定我的身份验证是否正确。在manifoldCF中，我们可以选择HTTP basic身份验证、NTLM authentication和Session-

浏览 9提问于2016-08-08得票数 18

1回答

C#如何打开网页，识别元素，输入数据，等待下一页？

c#、html、winforms

这个问题可能以不同的形式存在，但我需要向我解释如何完成以下…… 我正在开发一个windows窗体应用程序(C#)。当我单击表单上的一个按钮时，我想导航到一个特定的页面(后面的代码都是这样的)，根据id或class在该页面上找到一个inputtype=text，输入一个密码，然后单击输入旁边的登录按钮。然后，在继续标识更多元素之前，我需要等待单击登录按钮后将加载的页面</em

浏览 16提问于2019-03-07得票数 0

1回答

Python Scrapy -如何在抓取过程中重置连接？

python、web-scraping、scrapy

我在python3上使用scrapy，而我正在爬行的网站不允许通过蜘蛛登录他们的robots.txt文件。此外，在一些请求(32)之后，他们开始阻塞我想要访问的数据，要求登录。我需要抓取几千个页面，所以我想知道在scrappy中是否有一种方法可以在一些页面之后停止抓取，断开连接，等待几秒钟并重新连接。如果不是，那么处理我这种情况的最好方法

浏览 0提问于2018-02-10得票数 1

3回答

从需要登录的页面获取网页源代码的最简单方法-- C#

c#、authentication、web

所以我玩了一个基于网络的在线游戏，我想用C#自动完成某些事情。问题是我不能简单地使用WebClient.DownloadData()，因为我需要登录才能真正接收源代码。另一种选择是使用内置的web浏览器控件，但这并不能让我访问源代码。有什么建议吗？

浏览 1提问于2010-02-05得票数 1

2回答

无法使用刮伤认证fandromeda

authentication、scrapy、http-post

我刚开始刮刮网站上的一些数据，但我需要先进行身份验证，然后才能开始抓取所需的数据，如下所示我正在尝试使用from_response方法来尝试登录到站点。，但我得到的只是再次登录页面。我注意到，在默认情况下，scrapy正在发出get请求而不是post。2016-12-01 10:53:44抓取调试:爬行(200) (参考：

浏览 4提问于2016-12-01得票数 0

回答已采纳

1回答

即使使用cookies，Python请求登录也会失败

python、cookies、python-requests

我在登录网站时遇到了问题，无法在登录权限(我有)之后抓取页面。我尝试了许多修复，包括使用Requests模块(包括csrf令牌和隐藏标记)和使用BrowserCookie模块尝试从浏览器登录会话使用cookies。然而，似乎什么都不起作用。在下面的示例中，我使用了一个简单的请求会话。该站点返回一个200代码，该代码应该表示成功登录，但页面会重定向

浏览 7提问于2017-08-09得票数 1

2回答

抓取一个有javascript的网站

javascript、jquery、phantomjs、casperjs、phpquery

我正在寻找一种方法从服务器端(使用javascript)抓取网站，并在分析数据后将输出保存到mysql数据库中。我需要从一个页面导航到另一个页面，方法是单击链接并提交数据库中的数据，而不需要会话过期。这可以使用phpquery web浏览器插件吗？我已经开始用casperjs做这个了。我想知道这两种方法的利弊。我是编码领域<em

浏览 3提问于2013-09-23得票数 1

回答已采纳

1回答

通过书签使用Facebook

javascript、facebook-graph-api、web-applications、bookmarklet

我正在尝试开发一个书签，它可以抓取用户当前的网页，并存储从其中提取的一些数据。在我自己的网站上，我的用户通过Facebook注册。使用bookmarklet时，我可以成功地呈现Facebook登录模式，但是API中的签名会引发异常：我是从托管在该域上的</e

浏览 1提问于2013-03-06得票数 0

回答已采纳

1回答

.Net核心应用编程接口返回405:具有Authorize属性时不允许使用方法

c#、asp.net-mvc、asp.net-core、.net-core、identityserver4

当我把[Authorize]属性放在我的控制器上时，我面临着一个获取405 - Method Not Allowed的问题。如果没有这个属性，我就可以到达端点，然后Model就会像预期的那样使用我从postman提供的值进行绑定。下面是我的控制器的外观： [Authorize]public class ApiAu

浏览 37提问于2019-12-19得票数 1

回答已采纳

1回答

JSOUP -如何使用JSOUP爬行“所需登录”页面

java、session、cookies、web-crawler、jsoup

我在爬行一个坚定的网站有困难，我希望爬行。问题是:在成功登录到该网站后，我无法访问需要有效登录的链接。return evaluationPage; return null;我在这里做的是：然后我发布到登录验证

浏览 2提问于2016-05-18得票数 2

回答已采纳

1回答

ASP.NET MVC AntiForgeryToken和AdSense Crawler登录

c#、asp.net、asp.net-mvc、security、adsense

我有一个网站的内容服务后的登录。我想添加谷歌AdSense到受保护的页面，但谷歌声称，AdSense爬虫将需要自己的登录来执行正确的爬行。。因此，我为爬虫设置了用户名/密码，将POST参数放入谷歌的设置页面，但随后意识到这在我的登录配置中是行不通的，因为ASP.NET MVC使用An

浏览 2提问于2015-08-07得票数 1

回答已采纳

1回答

当未指定名称时如何调用操作方法

asp.net-mvc、arguments、actionmethod

在我的LoginController中，我有以下操作方法：public ActionResult Login(LoginViewModel model, string returnUrlusername or password"); } return View();} 而相应的视图是用LoginViewModel (也是上述操作方法<

浏览 1提问于2014-05-09得票数 0

回答已采纳

2回答

将参数传递给link_to rails 2

ruby-on-rails、ruby、forms、post

, { :controller => 'usuarios', :action => 'olvido_contrasena', :login => }, :post => true %></p> <p id="error_msg_login"></p>现在，在我的控制器里我有：

浏览 8提问于2011-06-21得票数 2

点击加载更多