我试图爬行一个网站，搜索所有的JS文件来下载它们。我刚接触Scrapy，我发现我可以使用CrawlSpider，但我似乎对LinkExtractors有一个问题，因为我的解析器没有执行。import scrapyfrom scrapy.linkextractors import LinkExtractor'example.com']
start_urls = ['
浏览 25提问于2021-02-17得票数 0
回答已采纳
2回答
我试图用Scrapy登录一个网站，但收到的响应是一个只包含内联JavaScript的超文本标记语言文档。JS重定向到我想要从中抓取数据的页面。但是Scrapy不执行JS，因此不会路由到我想要的页面。'request_id': request_id, }
yield scrapy.FormRequestcallback=self.print
浏览 72提问于2017-06-22得票数 3
我听说scrapy不支持javascript。我想知道我是否可以使用scrapy抓取我们内部网站的链接，我们的内部网站有javascript，我相信当你点击一个链接时它就会生成，但我不是100%确定。我还能不能用scrapy的爬虫抓取每个链接？如果我不能，你能推荐另一个我可以使用的工具吗？支持javascripts和post身份验证登录(Https)。
谢谢!
浏览 2提问于2013-07-16得票数 0
2回答
import scrapy author = scrapy.Field= ["http://quotes.toscrape.com/js/"]
for url in self.start_urls\tutorial\spi
浏览 5提问于2020-10-14得票数 4
回答已采纳
1回答
我是Scrapy的新手。出于工作目的，我正在尝试从'https://www.tysonprop.co.za/agents/‘中抓取内容。 特别是，我正在寻找的信息似乎是由脚本标记生成的。然而，Scrapy响应对象似乎获取了原始源代码。也就是说，我想要的数据显示为<%= branch.branch_name %>，而不是“泰森地产总公司”。 任何帮助都将不胜感激。agents-list right grid_6"> <&#
浏览 11提问于2020-09-23得票数 0
2回答
import scrapyfrom scrapy.http import Request, FormRequestfrom fandromeda.items import FandromedaItem
class FandromedaC(CrawlSpider我注意到，在默认情况下，scrapy正在发出get请求而不是post。scrapy</
浏览 4提问于2016-12-01得票数 0
回答已采纳
有一个网页是用JS：生成的默认情况下，scrapy只获取超文本标记语言，而不执行JS。我怎样才能改变它？
浏览 14提问于2018-01-16得票数 0
回答已采纳
我想在Python中执行JavaScript的函数，在此之前，我使用Selenium，但是Selenium对于大站点的抓取来说太慢了。我想知道selenium在Scrapy中执行js的最佳替代方案是什么？
浏览 2提问于2016-12-26得票数 4
回答已采纳
items.py brand = scrapy.Field(l = ItemLoader(item=PetfoodItem(),response=response)
l.add_xpath('brand', '//*[@id="js-breadcrumb"]/li[4]/a&#x
浏览 0提问于2018-10-09得票数 2
回答已采纳
1回答
为什么刮痕不发送正确的url？
、、、、
parse: url = 'http://quotes.toscrape.com/js=0.8", "Accept-Language": "en"}, "html": 1, "png": 0, "url": "http://quotes.to
浏览 4提问于2020-08-02得票数 0
回答已采纳
1回答
利用Scrapy制作蜘蛛
、、、、
我试着用Scrapy建造一个爬虫。当我第一次访问服务器时，它会用下面的代码进行响应。我是Java脚本的初学者，但我认为它是一篇文章，因为有了form method="POST"。表单操作是如何触发的？
浏览 0提问于2015-09-28得票数 0
回答已采纳
我正在刮一个网站使用Scrapy，这需要烹饪和java-script才能启用。我不认为我必须实际处理javascript。我所要做的就是假装javascript已经启用。CookieCOOKIES_DEBUG = TrueDOWNLOADER_MIDDLEWARES = { '
浏览 0提问于2013-05-06得票数 9
Anaconda Navigator安装刮伤包
File "<stdin>", line 1Syntax Invalid Syntax我运行globals()来查看Scrapy是否运行正常。python scrapy startproject tutorialpython.exe: can't fin
浏览 4提问于2017-11-08得票数 0
回答已采纳
XPath看起来是正确的，但它没有返回scrapy shell中的值。(请看下面的截图)。
浏览 17提问于2020-05-09得票数 0
回答已采纳
我想为它使用scrapy，但我无法获得代码。因为我在文档中读到JSON文件首先存储在内存中，然后保存(这会在抓取大量页面时导致问题)，所以我想以“.js”格式保存文件。我使用Anaconda提示来执行我的代码。 我希望生成的文件有两列，一列是域名，另一列是每个站点上的raw_html内容 domain, html_raw ..., ...这是我得到的结果:( 启动项目： scrapy startproject dragonball 真实的蜘蛛(这可能是完全错误的)： import scrapy
浏览 10提问于2019-02-12得票数 0
回答已采纳
例如，当我运行我的FastAPI并让Scrapy做一个刮擦时，它会很好地工作。把正确的数据给我。from fastapi import FastAPIfrom server.lib.ProdsWeg.ProdsWeg.spiders.produtosWegtermoss.isspace())
def inicio():
return {"Bem
浏览 8提问于2022-11-09得票数 0
回答已采纳
1回答
我从这里开始：name = "shein_spider" "https://www.shein.com/tab02navbar02menu01dir06~~2_1_6~~real_1978~~~~0~~0" for item in response.css('.js-good
浏览 0提问于2020-03-11得票数 1
回答已采纳
1回答
import scrapyfrom scrapy.loader import ItemLoader articles = response.xpath('//div[@class="postArticle postArticle--short js-postArticlejs-
浏览 1提问于2020-02-24得票数 0
回答已采纳
1回答
因此，在抓取这个url之前，我通过scrapy登录，然后通过这个结果页面登录。但是，即使这个页面的http响应是200，它也不会丢弃任何数据。守则如下：from scrapy.spider import BaseSpiderfrom scrapy.selectorimport HtmlXPathSelector
from scrapy.contrib.spiders import CrawlSpider, R
浏览 3提问于2013-05-31得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
