1回答
我用python编写了一个爬行过程，它运行在亚马逊上的一个ec2实例上。我已经编写了这个爬虫，这样它就可以用它的结果向一个单独的"hub“实例报告。集线器处理爬虫的结果，爬虫可以自由地继续爬行。我在这个爬行实例中想到的是，克隆爬虫的几个实例很容易，每个实例都要向中心报告以便处理。
浏览 2提问于2015-01-08得票数 0
回答已采纳
我有一个网络爬虫，是一个码头形象。我想使用boto创建一个EC2实例，部署我的爬虫，运行这个爬虫，然后在它完成后终止这个实例。我现在的想法是：
我真的需要使用像Fabric这样的工具来对我的实例</
浏览 0提问于2018-03-19得票数 2
3回答
我在启动同一爬虫的多个实例时被卡住了。我想让它像一个爬虫实例的1url一样运行。我必须处理50k个urls，为此，我需要为每个urls启动单独的实例。在我的主要爬虫脚本中，我设置了7分钟的closedpider超时，以确保我不会爬行很长时间。请参考下面的代码：from scrapy.utils.project import get_project_settings但之后当传递第二个ur
浏览 1提问于2015-11-13得票数 6
我在我的网络爬虫中使用了一个ampq队列-每个爬虫实例都将从队列中的消息中获得一个url，然后将它找到的url添加到队列中。
由于将有多个爬虫实例，每个实例都可能找到相同的url并将其添加到队列中。
浏览 4提问于2014-04-30得票数 2
回答已采纳
我的应用程序允许用户创建一系列的网络爬虫，这些爬虫保存在一个数组列表中。每个crawler都有一个进度面板gui，显示已爬行的页面等，并允许用户暂停该爬虫。但是，用户可能还想“终止”该爬虫程序。应该注意的是，Crawler类的每个实例都有一个Scraper类的实例，而Scraper类又有一个DatabaseConnection类的实例。
浏览 4提问于2011-07-08得票数 0
回答已采纳
1回答
当我将项目(nestjs)扩展到多个实例时，我遇到了问题。在我的项目中，我有一个每10分钟运行一次的爬虫服务。当2个实例运行时，爬虫将在两个实例上运行，因此数据将重复。有人知道怎么处理吗？
浏览 9提问于2022-09-09得票数 1
1回答
EJB未注入
、、、
我的Java应用程序使用，它使用以下代码开始抓取：config.setCrawlStorageFolder("C:/crawler4j_storage
浏览 3提问于2012-07-01得票数 0
回答已采纳
谷歌应用引擎可以用来运行网络爬虫吗？由于google应用引擎用于后端和app，我担心在应用程序引擎上部署这样的爬虫系统会有其局限性。
浏览 0提问于2018-04-05得票数 0
回答已采纳
1回答
我的爬虫使用卡夫卡把爬行的网站对象的一个主题和水槽将重定向输出到Solr。有多个爬虫产生数据卡夫卡。
我的问题是:当一个爬虫想要爬一个网站，其他爬虫不应该尝试爬行它。如何在分布式环境中与它们通信？
浏览 0提问于2017-06-01得票数 2
我有爬虫脚本，运行从每个网站抓取产品。由于每个网站是不同的，每个爬虫脚本必须定制，以抓取特定的零售商网站。所以基本上每个零售商我有一个爬虫。在这个时候，我有21个爬虫不断运行，以收集和更新这些网站的产品。每个爬虫都是一个php文件，一旦完成了php脚本，它就会检查，以确保它是唯一运行的实例，并且在脚本的最末端，它使用exec再次启动自己，而原始实例关闭。不过，最近我将检查爬虫脚本，并注意到其中一个脚本不再运行，在错误日志中我发现了以下内容。，然而，因为
浏览 7提问于2013-12-18得票数 13
回答已采纳
我在一个爬虫项目上工作，那里有3台机器，每个机器执行10个实例。存在一个方法tearDown，用于在完成整个爬虫进程时关闭实例。driver.close(); }我要解决的问题是，在某些情况下，当流程完成时，来自chromedriver.exe的一些实例被困在任务管理器中我已经尝试过使用taskkill的接近实例，但在某些情况下不起作用。
对不起我的英语不好。
浏览 5提问于2022-11-21得票数 0
我没有问题将xml放入Crawler()实例，修改现有节点，然后将xml放入文件中。
谢谢你的回复
浏览 3提问于2016-11-29得票数 7
1回答
这是我的代码：# custom signalsitem_transformed = object()
class
浏览 2提问于2015-06-16得票数 1
回答已采纳
问题是，当我用爬虫或站点地图爬虫等爬行我的网站时，它会报告两个重复的链接。www.domain.com/
如何强制告诉我的爬虫没有相同页面的两个实例？我是否使用301合并它们？一个规范？.htaccess重定向？
浏览 0提问于2014-09-12得票数 0
回答已采纳
我正在尝试编写一个网络爬虫程序，但现在我想知道:存储所有urls的最佳方法是什么，这样爬虫就可以一起工作，但不会干扰。
将所有已找到的URL保存在由所有Queue实例共享的PriorityQueue如果数据库最终是一致的，我如何防止多个爬虫获
浏览 5提问于2011-12-28得票数 0
回答已采纳
在收到邮件后，我们正在使我们的实例更安全，代码更清晰。当我检查这个的时候，我可以看到一个像这样的帖子，上面说谷歌爬虫可能导致了攻击。谁能让我确定这个附件是由于谷歌爬虫或不？
浏览 1提问于2015-01-01得票数 0
该查询成功运行，并在给定的S桶中生成结果
要在Lambda中创建AWS爬虫，下面是我在Lambda (NodeJS)中的代码： };};
Problem createCrawler是
浏览 2提问于2021-08-14得票数 1
我正在并行运行许多many爬虫实例。其他并行爬虫在选择自己的域之前检查日志表以查看哪些域已经被爬行。我需要阻止其他爬虫选择刚刚被另一个爬虫选择但还没有日志条目的域。我对如何做到这一点的最佳猜测是，当一个爬虫选择一个域并在日志表中插入一行(两个查询)时，锁定来自所有其他读/写的数据库。这段代码似乎是一个很好的解决方案(但是，请参阅下面的错误)：
INSERT
浏览 10提问于2011-07-08得票数 38
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
