我正在Booking.com上练习Scrapy和Selenium。 由于某些原因，使用下面的Selenium代码工作得很好。from selenium import webdriverfrom shutil import但是当我尝试将Selenium与Scrapy一起使用时，它失败了。imp
浏览 29提问于2020-07-12得票数 0
回答已采纳
1回答
我正在尝试抓取web动态页面，但使用scrapy时，我不能检索所有信息，因为我想要的信息是动态的。 我试着使用Selenium，但与Scrapy不同的是，你不能指定头部，网站阻止了我。我想拥有所有的动态信息，并有权访问网站，但不可能与selenium和scrapy没有给我所有我想要的信息，我认为这是因为当scrapy阅读它时页面没有完全加载。
浏览 23提问于2019-06-13得票数 0
问题是，我能够与"sortby“选项交互，并使用Selenium选择”最近“，并使用Scrapy为第一页抓取数据。但是，我无法提取其他页面的数据，Selenium Web驱动程序不知何故不呈现下一页。代码片段附在这里(一些信息由于机密性而被删除)import selenium.webdriver as webdriver
from selenium.webdriver.edge.serviceimport Ser
浏览 8提问于2022-09-17得票数 0
1回答
submit">类GetData显示一些可点击的图标.当单击它时，我已经尝试了下面的代码，只是看看是否有scrapy跟随输入，但没有成功。links = sel.xpath("//input[@class='GetData']").ex
浏览 1提问于2016-01-21得票数 3
回答已采纳
from scrapy_selenium import SeleniumRequestfrom selenium import webdriver} documentation on scrapy-selenium我已经一步一步地遵循了说明，但是驱动程序没有遵循任何链接。我相信这两个请求都是由scrapy处理的。我不想更改__init__，因为我希望使用s
浏览 68提问于2019-05-17得票数 1
我试着用selenium登录到“华尔街日报”的网站，然后用scrapy抓取一些关于某篇文章的数据。但是，我的代码似乎无法工作，因为我不知道如何组合2。我已经将单独的(而不是组合的)代码用于这两个 # -*- coding: utf-8 -*- yield{'Author name': ''
浏览 3提问于2020-07-23得票数 0
2回答
OS: Ubuntu16.04Stack-Scrapy1.0.3+ Selenium --我对刮刮非常陌生，这听起来可能很基本，但在我的蜘蛛中，只有"init“正在被执行。class CancerForumSpider(scrapy.Spider): allowed_domains = ["cancerforums.net
浏览 4提问于2016-10-27得票数 2
2回答
我在python中创建了一个脚本，它使用scrapy和selenium来解析不同餐馆的主页链接，然后从内部页面解析每个餐馆的名称。import scrapy
from selenium
浏览 2提问于2019-05-14得票数 0
我们知道，在浏览器中，可以查看->网络-> XHR -> Headers和get Request Header。然后可以将这些标头添加到Scrapy请求中。但是，有没有一种方法可以使用Scrapy请求自动获取这些请求头，而不是手动获取？我尝试使用：response.request.headers，但此信息还不够：
{b'Accept': [b'text/html,application/xhtml+xml,application/
浏览 50提问于2021-05-21得票数 0
回答已采纳
我有两个项目，一个使用Selenium，另一个使用Selenium，它符合spider程序格式，但使用Selenium实现自动化。我可以让Chromedriver加载我想要的基本Selenium程序的页面，但是关于第二个项目(使用Scrapy)的一些内容阻止了它加载URL。相反，它只能在地址栏中显示数据：、。Chrome驱动程序过时和网址中缺少http。因为其中一种有效，而另一种则不起作用，所以它应
浏览 13提问于2022-04-25得票数 -1
我是Scrapy的新手，我遇到了一个问题。我正在尝试从使用此类型按钮的网页中提取信息： <a id="" href="#" ... onclick="function()..."我一直在寻找示例，但它们都可以使用href。有解决方案吗？我需要使用其他工具来完成这项工作吗？ 谢谢
浏览 38提问于2021-07-21得票数 0
我面临错误HTTP status code is not handled or not allowed如何解决这些错误，我正在使用selenium和scrapy一起设置，我也在使用user agent设置，但是HTTP不会友好地推荐任何解决方案--这是页面链接from scrapy.http import Request
浏览 9提问于2022-11-28得票数 0
回答已采纳
1回答
我正在尝试使用Scrapy提交一个动态生成的用户登录表单，然后解析对应于成功登录的页面上的HTML。
我想知道我怎么能用Scrapy或者Scrapy和Selenium的组合来做到这一点。Selenium使在DOM上找到元素成为可能，但我想知道在获得完整的HTML之后是否可以“将控制权还给Scrapy”，以便使它能够执行表单提交并保存必要的cookie、会话数据等，以便抓取页面。基本上，我认为Selenium是必要的唯一原因是，在<em
浏览 2提问于2015-03-21得票数 1
回答已采纳
1回答
用刮伤下载整页
、、、、
获取它的一些页面，并将它们与所有CSS文件和图像一起存储。就像在浏览器中保存页面一样。我尝试过selenium，但是使用selenium，我只能保存html不完整的页面，所以不可能用selenium来实现这一点。
我想知道我能用Scrapy做这个吗？如果不可能使用Scrapy，我还能使用什么？
浏览 0提问于2018-10-18得票数 1
回答已采纳
我正在使用scrapy框架报废一个网站，在打开另一个页面时遇到了点击javascript链接的问题。
浏览 11提问于2012-05-18得票数 6
回答已采纳
__init__(self) self.selenium.quit()self.verificationErrors
sel = self.selenium
浏览 0提问于2012-02-25得票数 5
我试着用Scrapy和Selenium来刮一些urls。有些urls由Scrapy直接处理，而其他urls则首先使用Selenium处理。问题是: Selenium在处理url时，Scrapy没有并行处理其他url。它等待work驱动程序完成它的工作。我尝试在不同的进程中使用不同的init参数(使用多处理池)来，但是我得到了twisted.internet.error.ReactorNotResta
浏览 5提问于2020-04-13得票数 3
回答已采纳
1回答
我使用的是Scrapy和scrapySelenium，但是scrapy selenium是从无头浏览器开始的，但是出于某种目的，我需要从head开始，这样我就可以继续看到我的scrapy在浏览器中做了什么，如何关闭在scrapy的设置中传递的无头参数 这是我在设置中复制的内容，正如您所看到的，它是无头的，但希望看到浏览器打开Scrapy Selenium还是有来自shutil import的内容 SELENIUM_D
浏览 13提问于2020-07-13得票数 1
回答已采纳
我正在使用Scrapy和Selenium和chrome驱动程序来抓取一个网站。我不能刮网站使用Scrapy只是因为有一些保护机制在网站上实施，这是给404。当我在scrapy中使用selenium时，我能够访问页面html。但问题是，当我使用selenium时，我无法保留通过scrapy访问的所有链接上的会话cookie。# -
浏览 0提问于2017-09-18得票数 0
1回答
这有两个原因：下一页按钮链接在第一页时可以通过(//table[@class='tbl_pagination']//a//@href)因此，最终我的问题是，我如何有效地进入后续的所有页面，并刮取数据。谢谢你的帮助。**
浏览 7提问于2020-09-09得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
