Splash相对较新。我正在尝试抓取一个需要登录的网站。我从能够完美登录的Splash API开始。但是，当我使用SplashRequest将我的代码放在一个粗糙的爬虫脚本中时，它无法登录。import scrapy name,args)
asser
浏览 50提问于2019-07-25得票数 0
1回答
出于工作目的，我正在尝试从'https://www.tysonprop.co.za/agents/‘中抓取内容。 特别是，我正在寻找的信息似乎是由脚本标记生成的。
浏览 11提问于2020-09-23得票数 0
'http://192.168.8.240:8000/xxxx' for url in urls: yield scrapy.Request(url, self.parse, meta={'handle_httpstatus_all': True,'splashinput(respon
浏览 14提问于2017-10-19得票数 3
回答已采纳
我正在用splash做一个非常简单的GET请求。启动调试页面和使用scrapy.Request都可以正常工作。当我尝试使用scrapy_splash.SplashRequest时，我得到一个带有空标记的未呈现页面。可以工作的代码： name = 'account'
def start_requests(self):RENDER_HTML_URL
浏览 1提问于2019-11-25得票数 0
为此，我使用编写了以下代码：from scrapy_splash import SplashRequest
for url in self.start_urls:
yield SplashRequest
浏览 2提问于2020-02-28得票数 3
回答已采纳
我在互联网上进行了广泛的搜索，但没有找到任何适当的链接，可以解释我如何Scrapy和Splash在一起可以刮AJAX网站(包括分页，表单数据和页面显示前点击按钮)。我提到的每个链接都告诉我，可以使用Splash呈现Javascript网站，但是没有关于使用Splash呈现JS网站的很好的教程/解释。请不要给我与使用浏览器相关的解决方案(我想以编程方式做所有事情，无头浏览器建议是welcome..but，我想使用闪光灯)。scrapy.Request(respo
浏览 0提问于2017-06-08得票数 4
我正在尝试使用谷歌图片进行反向图像搜索的结果。
生成的网页如下所示而不是结果页面。这是我的Scrapy settings.py DOWNLOADER_MIDDLEWARES = {
'scrapy_splas
浏览 0提问于2017-05-17得票数 3
Splash浏览器不会通过http代理向其发送任何内容。即使代理没有运行，页面也会被获取。我试过使用代理主机文件并获得状态502。endpoint='execute', args=
浏览 0提问于2019-07-31得票数 0
我试图在scrapy中作为用户定义参数传递一个变量，这个变量将用于lua脚本的for循环，我的代码如下所示：from scrapy_splash import SplashRequestlua脚本的for循环(即for i=1,5,1 )时，脚本工作得很好，但是当我试图使用scrapy crawl allproducts -a number=5 -o test.json从命令提示符向脚本提供输入时我知道我没有使用正确的语法，但我没有找到任何
浏览 10提问于2020-10-12得票数 0
回答已采纳
1回答
我试图用splash运行一个刮擦脚本，因为我想刮一个基于javascript的网页，但是没有结果。当我使用python命令执行这个脚本时，会得到以下错误：crochet.此外，解析方法中的print语句从未打印过，因此我认为SplashRequest有问题。import SplashRequest# logging.getLogger('scrapy').propagatewr
浏览 7提问于2022-02-24得票数 0
回答已采纳
3回答
刮擦选择器不工作飞溅响应
、、、、
我成功地设置了Splash与它一起工作。下列蜘蛛的选择器会产生空结果：from scrapy.selector import Selector name = 'cartier'
start_urls = ['http:///s
浏览 0提问于2016-06-08得票数 3
回答已采纳
我正试图在以下网站上搜寻基本的房地产上市信息：
# yield sc
浏览 9提问于2021-05-28得票数 1
回答已采纳
2回答
我正在使用Splash创建我的第一个scrapy项目，并使用来自的测试数据，我希望将每个页面的引号作为一个单独的文件存储在磁盘上(在下面的代码中，我首先尝试存储整个页面)。我有下面的代码，它在我不使用SplashRequest时工作，但是在下面的新代码中，当我在Visual代码中“运行和调试”这段代码时，磁盘上没有存储任何东西。我刚开始玩Splash，所以我肯定我错过了什么，但是什
浏览 5提问于2020-10-14得票数 4
回答已采纳
当您在字典搜索框中引入一些缩略词时，我正在尝试刮取javascript函数生成的结果。这是我使用的代码：from scrapy_splash import SplashFormRequest
import scrapy
class SedomSpider(scr
浏览 1提问于2021-05-11得票数 0
3回答
Scrapy只返回空列表
、、、、
由于这些价格是动态加载Javascript的，所以我尝试使用Splash来处理这个问题。但结果仍然是一样的:空的价格列表( "hotel_displayed_prices")。在网页上，我找到了两种使用CSS选择器获取价格的方法：对于刮伤，我将所有配置从复制到我的设置文件中。我也写了Robotstxt_o
浏览 4提问于2020-07-24得票数 0
在下面的代码中，我试图使用JavaScript将一个Scrapy_Splash页面呈现为html，但在运行爬行器时得到以下错误(TCP连接超时10060)：import scrapy name#overview',]
def par
浏览 19提问于2021-12-27得票数 0
1回答
如何从另一个抓取蜘蛛开始
、、、
Spider2使用Splash在谷歌上获取URL，并将该列表传递给Spider1。} process.start(False)
在运行Spider2时，我
浏览 7提问于2017-07-25得票数 3
回答已采纳
我在Ionic 2中创建了一个应用程序，它使用现有站点上的web。要使用这个API，我必须以以下方式(类似于facebook登录)使用这个API：
我在InAppBrowser组件中调用api登录页面，发送正确的键和返回URL。在模拟器中，这一切都很好，但在浏览器(使用离子服务)中不起作用，因为当我调用InAppBrowser时，它实际上调用
浏览 6提问于2017-03-12得票数 2
回答已采纳
1回答
不尊重渲染“等待”时间的飞溅
、、、、
我正在使用Scrapy和Splash来刮这个页面：我需要用红色高亮显示的条形码。但是它是在javascript中生成的，正如在Chrome中的源代码和F12中所看到的那样。选择器不是问题，因为它在Chrome的源代码中工作。我一直在网上寻找答案，所以两天来，似乎没有人有同样的问题。只是Splash不支持吗？last']/a/@href").extract_
浏览 7提问于2017-07-07得票数 1
回答已采纳
1回答
我在Python中进行webscraping时使用scrapy，我之所以在这里写，是因为我想知道如何以一种智能的方式遍历所有的值。我正在尝试下面的逻辑，但似乎不像我想要的那样工作…但是，如果您想尝试完整的代码，那么您需要将URL：插入到笔记本中，并将该笔记本命名为"URLs to be scrapped.txt“
浏览 10提问于2020-11-12得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号