要抓取我想要的网页，我需要登录。要访问表单中的日志，我必须单击一个按钮。该按钮发出一个AJAX请求，该请求显示表单。我已
浏览 8提问于2017-12-18得票数 0
1回答
到目前为止，我一直在使用scrapy和编写自定义类来处理使用ajax的网站。但是，如果我使用scrapy-splash，据我所知，它会在javascript之后抓取呈现的html，爬虫的速度会受到严重影响吗？使用scrapy抓取一个普通的html页面所需的时间与使用scrapy-splash抓取javascript渲染的
浏览 3提问于2018-04-18得票数 12
回答已采纳
1回答
我试图制造一个不和谐的刮刀来获取服务器的所有成员，但是我被卡在登录上了，但是我在页面的源代码中任何地方都找不到csrf令牌--也许这就是我得到这个错误的原因，因为有几个消息来源说它是必需的，但我不确定，这是我的蜘蛛造成问题的原因 name = "Recruteururls
浏览 0提问于2021-11-08得票数 0
import scrapy
name = "scraper"
start_urls = ["https://www.pros-locations-de-voitures.fr
浏览 5提问于2022-02-21得票数 0
回答已采纳
1回答
我是Scrapy的新手。出于工作目的，我正在尝试从'https://www.tysonprop.co.za/agents/‘中抓取内容。 特别是，我正在寻找的信息似乎是由脚本标记生成的。我正在尝试访问在运行时在h2元素中生成的文本。 然而，Scrapy响应对象似乎获取了原始源代码。也就是说，我想要的数据显示为<%= branch.branch_name %>，而不是“泰森地产总公司”。 任何帮助都将不胜感激。
浏览 11提问于2020-09-23得票数 0
我刚开始刮擦，试着在不同的页面上爬行。 name = "chrome"
chromeOptions = webdriver.C
浏览 1提问于2019-11-15得票数 0
回答已采纳
2回答
我试图用Scrapy登录一个网站，但收到的响应是一个只包含内联JavaScript的超文本标记语言文档。JS重定向到我想要从中抓取数据的页面。但是Scrapy不执行JS，因此不会路由到我想要的页面。我使用以下代码提交所需的登录表单： request_id = response.css('input[name=&q
浏览 72提问于2017-06-22得票数 3
1回答
我使用selenium首先加载通过ajax生成的表单。若要发送表单数据值，请执行以下操作。表单在用户提交之前进行了jquery验证，是否会使使用scrapy提交变得更加困难？谢谢
浏览 1提问于2014-07-21得票数 1
回答已采纳
3回答
我正在使用这段代码来尝试做一些web抓取。我正在尝试使用请求和漂亮的汤来访问我的学校成绩，但我在登录时遇到了很多问题。我只是得到了错误： TypeError: 'NoneType' object has no attribute '__getitem__' 下面是我使用的代码： import requests
from
浏览 24提问于2019-09-08得票数 0
回答已采纳
1回答
我正在尝试使用Scrapy提交一个动态生成的用户登录表单，然后解析对应于成功登录的页面上的HTML。
我想知道我怎么能用Scrapy或者Scrapy和Selenium的组合来做到这一点。Selenium使在DOM上找到元素成为可能，但我想知道在获得完整的HTML之后是否可以“将控制权还给Scrapy”，以便使它能够执行表
浏览 2提问于2015-03-21得票数 1
回答已采纳
我最近开始用Scrapy学习web抓取，作为练习，我决定从this url抓取一个天气数据表。 通过检查页面的XPath元素，我将其表复制到我的代码中，但在运行代码时只得到一个空列表。我尝试使用以下代码检查HTML中存在哪些表： from scrapy import Selectorimport pandas as pd
table = sel
浏览 122提问于2020-09-06得票数 0
回答已采纳
2回答
刮伤xpath不捕获标记
、、、
在这种情况下，我想让Scrapy提取出“圆形大小”。但事实证明，Scrapy无法捕捉dl下的任何子节点。response.xpath('//[@id="termsheet"]/div/section[1]/div/dl/li[2]/dt/span').extract()
Xpath表达式是从Chome inspect生成的。我在Scrapy中启用了Ajax，它
浏览 7提问于2016-06-06得票数 0
回答已采纳
我是Scrapy的新手，我遇到了一个问题。我正在尝试从使用此类型按钮的网页中提取信息： <a id="" href="#" ... onclick="function()..."我一直在寻找示例，但它们都可以使用href。有解决方案吗？我需要使用其他工具来完成这项工作吗？ 谢谢
浏览 38提问于2021-07-21得票数 0
2回答
我面临的问题是，第一次登录工作正常，我得到了成功的登录日志，但当爬虫开始从start_url抓取页面时，它不会捕获csv文件输出中的页面，这些页面需要登录凭据才能查看数据。在整个过程中，我是否遗漏了任何东西来保持登录会话，或者是一些检查，以检查需要登录的每个url，然后只继续。我的登录表单是post表单，输出如下-
2014-02-28 21:16:53+0000
浏览 1提问于2014-03-01得票数 0
2回答
我刚开始刮刮网站上的一些数据，但我需要先进行身份验证，然后才能开始抓取所需的数据，如下所示
我尝试使用方法参数，从响应到强制刮除使用POST方法。)
现在scrapy提出了post请求，但是结果是不同的。有人能为我指出需要做什么的
浏览 4提问于2016-12-01得票数 0
回答已采纳
我想刮掉需要登录的Javascript页面。我想知道是否可以使用Selenium加载并登录到页面，然后Selenium将呈现的代码传递给Scrapy进行数据提取。import scrapyfrom selenium.webdriver.common.keys import Keys
from seleniumreque
浏览 28提问于2019-07-24得票数 1
我在这里发布了我的代码来寻求帮助，我只是想获得JSON字符串格式的响应体数据，但在多次尝试后都没有成功。此数据位于SOAP Web服务之后，它不是XML或HTML格式的常规格式，因为它在Ajax中加载数据。# coding: utf8
from scrapy.spider import BaseSpider
# C.我会为你投票选出最好的答案！
浏览 0提问于2013-12-23得票数 0
1回答
我正在尝试从https://www.ta.com/portfolio/business-services中使用scrapy抓取数据，但是响应为空。我正在寻找抓取href在div.tiles js-portfolio-tiles中使用代码response.css("div.tiles.js-portfolio-tiles a::attr(href)").extract()我认为这与之前出现的::before有关，但可能不是。
浏览 10提问于2020-01-17得票数 0
回答已采纳
最近，我用python和Selenium制作了一个webscraper，我发现做起来非常简单。该页面使用ajax调用加载数据，并且我首先等待一个固定的time_out来加载该页面。有一段时间起作用了。之后，我发现selenium有一个内置函数WebDriverWait，它可以使用wait.until()等待一个特定的元素加载。这让我的网刮刀跑得更快了。
问题是，我仍然对结果不满意。2)如何使
浏览 5提问于2017-09-18得票数 3
回答已采纳
1回答
我正在使用scrapy来抓取需要登录的站点，但我不确定为了保持会话需要保存和加载哪些字段。使用selenium，我将执行以下操作来保存cookie：import selenium.webdriver
pickle.dump
浏览 3提问于2019-07-13得票数 0
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号