3回答
我已经在rabbitMQ上实现了一个分布式网络爬虫。除了访问的url集之外，一切几乎都完成了。我希望在不同的爬虫之间有某种共享的变量。在分布式环境中存储、访问和共享访问过的urls列表的最佳方法是什么？
浏览 6提问于2017-04-29得票数 0
任务本身是一个高规模的web爬虫，所以我需要跟踪已经访问过的urls(或者这个urls的sha1散列)。谢谢!
浏览 0提问于2015-10-28得票数 0
回答已采纳
1回答
我想开发一个使用TOR的分布式网络爬虫。我如何通过TOR实现20种不同的连接？我想用20个外部ips同时浏览网站。请用Python编写代码示例。
浏览 1提问于2012-08-23得票数 2
回答已采纳
我没有其他选择，除了安装HBase 0.90.6，因为它只是推荐的稳定版本的纳奇(网络爬虫)，除了0.90.4。我的问题是，在HBase 0.90.6中推荐哪一个Hadoop版本才能在伪分布式模式下工作？
浏览 0提问于2013-10-06得票数 0
回答已采纳
1回答
分布式爬行与速率限制/流量控制
、、、、
我正在运行一个利基搜索产品，与网络爬虫工作。当前的爬虫是一个单独的(PHP Laravel)工作人员，它爬行urls并将结果放入一个弹性搜索引擎。系统连续地以X毫秒的间隔对找到的url进行重新爬行。这为我提供了很好的服务，但随着一些新的大客户的到来，爬虫将达到极限。我需要重新设计一个分布式爬虫系统，以加快爬行速度。问题是下面的规范组合。
浏览 1提问于2018-07-23得票数 1
1回答
朋友们，我用Java实现了一个多线程的网络爬虫。为了使它更高效，我想将其转换为分布式架构，即在3台机器上。据我所知，主从架构是最好的。
浏览 0提问于2013-02-26得票数 0
2回答
爬虫存储系统所需的建议
、、、
我计划用c++编写一个网络爬虫，它每天爬行N个页面。主要的问题是我把存储系统搞糊涂了。所以我需要一个高效的分布式数据库来存储我抓取的数据。有没有人能给我推荐一个符合条件的db？
浏览 0提问于2011-03-20得票数 1
我是搜索引擎和网络爬虫的新手。现在，我希望将特定网站中的所有原始页面存储为html文件，但使用Apache Nutch只能获得二进制数据库文件。如何使用Nutch获取原始html文件？(支持分布式爬行的工具更好。)
浏览 2提问于2012-04-04得票数 5
回答已采纳
我有一个分布式应用程序，它在多台机器之间传递大量通信量。目前，这些机器与机架上的其他机器共享一个千兆位网络，我开始看到问题(数据包冲突)。我为分布式应用程序使用的服务器(它是一种web爬虫)也需要访问Internet，而我所读到的关于巨型框架的所有内容都警告说，要使其正常工作，每个连接到网络上的设备都必须支持大型框架。我是否可以为分布式应用程序建立一个专用网络，确保所有机器的第一张网卡都设置为巨型帧，并使用这些机器上的第二张卡(关闭了巨型帧)连接到我网络</em
浏览 0提问于2010-09-10得票数 0
回答已采纳
1回答
提高卷筒纸刮刀效率
、、、
我正在创建一个java应用程序来从一个特定的XXX网站抓取数据，我想将所需的一组数据存储到我的MSSQL数据库中。dataset位于MSSQL中的100000+行附近。我想知道的是，我如何提高我的应用程序的效率，以便我可以在更短的时间内抓取和保存它。我有用于并行执行我的流程的executor服务。
浏览 2提问于2018-12-11得票数 0
我们正处于一个项目的开始阶段，我们目前想知道哪个爬虫是我们最好的选择。基本上，我们要建立Hadoop和抓取网络上的图像。一些特殊问题：现在这些看起来是最好的三种选择-摘要：
我们需要从网络上获取
浏览 5提问于2009-07-28得票数 3
1回答
我的爬虫使用卡夫卡把爬行的网站对象的一个主题和水槽将重定向输出到Solr。有多个爬虫产生数据卡夫卡。
我的问题是:当一个爬虫想要爬一个网站，其他爬虫不应该尝试爬行它。如何在分布式环境中与它们通信？
浏览 0提问于2017-06-01得票数 2
1回答
我一直在使用RabbitMQ构建一个分布式网络爬虫。到目前为止，我一直在使用这个函数，这样每个函数一次只能得到一个请求。
浏览 1提问于2017-04-27得票数 2
回答已采纳
我目前正在做一个分布式爬行服务。在做这件事的时候，我有一些需要解决的问题。爬虫需要保存每个特定站点上的每个公告板上的所有帖子。此外，对于分布式爬虫的稳定实现，我是否可以参考pub/sub或其他好功能？
浏览 3提问于2022-03-23得票数 0
一台机器在伪分布式模式下运行HBase 0.92.2，另一台使用Nutch2.x爬虫.我如何配置这两台机器，使一台具有HBase-0.92.2的机器充当后端存储，另一台使用Nutch-2.x充当爬虫？
浏览 1提问于2014-03-27得票数 1
回答已采纳
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
我用scrapy-redis写了一个简单的爬虫来制作分布式蜘蛛。当我启动两只蜘蛛，然后把它们都杀死时，我发现了这点。redis队列只留下了‘dupfilter’队列。当我重新启动这两个爬虫时，它们根本不起作用。那么，如果蜘蛛意外死亡或崩溃，如何重新启动它们呢？
浏览 0提问于2016-05-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
