我正在尝试使用Scrapy构建一个网络爬虫蜘蛛，并为我希望我的爬虫使用regex获取的链接设置了一个规则：我检查了regex，它起作用了，它与我希望蜘蛛爬行的链接相匹配
浏览 2提问于2014-02-17得票数 0
回答已采纳
我想使用单个刮擦项目进行多个刮擦，也就是说，这里有多个蜘蛛，这是我的文件夹结构。allowed_domains = ['nl.indeed.com'] # start_urls = ['https://merolagani.com/CompanyDetail.aspxps我已经使用分离管道为单独的蜘蛛和注册在设置也。
浏览 1提问于2022-10-17得票数 0
回答已采纳
1回答
很容易抛出asp.net异常来测试customErrors (在.aspx页面中“抛出新异常()”)，但是如何强制IIS抛出异常以测试httpErrors？
浏览 1提问于2016-08-09得票数 2
1回答
因此，我试图通过Scrapyd让大约几百只蜘蛛在EC2实例上运行。我有很多这样的网址：但当我通过卷曲跑蜘蛛的时候..。spider=SOMESPIDER -d spider_specific_option=1 -d url="https://items.initrode.com/TGWebH
浏览 3提问于2014-09-24得票数 1
回答已采纳
我有时尝试，但通常不测试我的想法，因为我不知道如何快速做到这一点，而不设置一个完整的Scrapy项目和解析一个真正的网页。
浏览 0提问于2014-12-04得票数 3
回答已采纳
我正在用PHP编写一个蜘蛛应用程序，它从一个域编译一个唯一URL列表，处理每个惟一URL上的HTML数据，然后生成关于这些页面的统计数据。举个例子，下面是我的蜘蛛收集的两个URL，它们在技术上是唯一的(“replytocom”的不同参数值)，但也直接指向同一个页面：
我的问题是:是否有一种方法可以判断具有不同参数值的两个链接是否引用同一个页面？除了自己打开页面和
浏览 1提问于2013-08-05得票数 0
回答已采纳
但是，判断是否存在多个标记的唯一方法是单击标记，这对我的应用程序来说是个问题。我还使用MarkerClustererPlus库来处理集群。它可以使用集群库提供一个计数，然后‘点击’蜘蛛标记，但我不知道如何做。
如果你检查，它有蜘蛛和集群插件混合和顺利工作。但我的问题是，我正在使用google与标记集群和插件。
浏览 1提问于2014-06-14得票数 8
1回答
表中的示例链接：检查元件时：在刮壳中提取移除463。
有什么想法吗？这是蜘蛛的密码。实际上还没有设置它来爬行链接，我想我应该首先用正确的XPath语法来设置所有的东西。
浏览 1提问于2013-09-08得票数 3
回答已采纳
旅行蜘蛛是一个逻辑上的难题，需要在许多选择中有系统的选择。这个谜题假设一个几何物体，其表面被划分成一组称为单元格的区域，这些区域通常是一致的，或者它们的形状和大小非常相似。蜘蛛可以在物体表面自由移动，但在每一步中都可以从一个细胞移动到它的一个相邻细胞。现在，给出几对雄性和雌性蜘蛛，最初定位在不同的细胞中，我们希望找到一组路径，分别引导每只雄性蜘蛛找到他的伴侣。唯一的条件是，每一个细胞的对象必须访问一次，只有一次由雄性蜘蛛在他们的遍历。
该立方体存在于空间0，2n x 0，2n x 0，2n，n可为2
浏览 2提问于2011-11-23得票数 2
回答已采纳
Gecko) Chrome/87.0.4280.141 Safari/537.36"
yield scrapy.Request(url = "'http://www.irishjobs.ie/ShowResults.aspx
浏览 123提问于2021-02-06得票数 1
回答已采纳
当我的表单超时时，我会得到URL：有没有办法判断url是否包含重定向到sessiontimeout.aspx的"ReturnUrL“？它仍然会转到：http://XXXXXX/login.aspx?ReturnUrl=%2fSessionExpired.aspx，这是我的登录页面。
请帮帮忙。
浏览 3提问于2013-01-19得票数 0
2回答
我目前的判断力：这匹配类似于products/1488382.aspx、products/1239499-2881839.aspx等的产品urls，还有其他一些具有以下格式的URL:products/1488382.aspx
如何匹配这个some-meta-description--部件？我想要匹配整个产品/..。url，然后删除除1488382.aspx之外的所有内容。
浏览 4提问于2014-01-28得票数 0
回答已采纳
2回答
抓取下载的文件名
、、
我有一个蜘蛛访问一个页面，并下载一个文件。最后，我希望将文件的名称以及其他有用的信息写入db表。scrapy.Item): file_urls = Field() files = Field() start_urls = ['http://centralbedfordshire.gov.uk/business/rates&
浏览 0提问于2017-08-21得票数 0
回答已采纳
1回答
我在试着部署一个爬行器有四个蜘蛛。其中一个蜘蛛使用XMLFeedSpider并在shell和scrapyd中运行良好，而其他蜘蛛使用BaseSpider，并且在运行scrapyd时都给出了这个错误，但是从shell运行很好。TypeError：init()得到了一个意外的关键字参数'_job‘
from scrapy import log
from scrapy.spider impo
浏览 0提问于2013-07-31得票数 5
回答已采纳
5回答
(~/es/blah.aspx是西班牙语版本的~/blah.aspx -重写为~/blah.aspx?某种程度上，一个蜘蛛以~/ www.test.com /blah.aspx的形式获得了几个链接，并用www.test.com文化重创我们的网站，并淹没了我们的错误日志。
浏览 0提问于2009-01-26得票数 6
1回答
我想建立一个蜘蛛工具，我可以运行它在一个网站的根网址，然后它应该找到所有的破坏和健康的链接(图片，css，.aspx，.docs)通过指定的解析程度，例如2级。
浏览 3提问于2012-05-02得票数 1
我想知道是否有一种方法可以判断从哪个页面运行母版页:例如，如果default.aspx是第一个加载的页面，然后转到母版页，那么在母版页中是否有方法知道该子页面是Default.aspx？我试图做的是，当一个客户得到页面" Default.aspx“，他们点击树状视图选择，以自动采取他们”主页“，但如果他们再次点击树状视图选择”主页“留在”主页“，所以只重定向一次，当你在Default.aspx
浏览 2提问于2012-02-23得票数 0
回答已采纳
我已经创建了一个蜘蛛，它应该爬行多个网站，我需要为start_url列表中的每个URL定义不同的规则。我想，我只需获得蜘蛛将要抓取的当前URL，并将其传递给函数，然后将得到的xpath传递给规则。
浏览 5提问于2016-06-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
