1回答
在Java上运行网络蜘蛛
、、、、
在64位Windovs 8.1上启动网络爬虫。尝试不连接额外的库，最终爬错了。C:\Users\I>cd c:\Users\i\Desktop\heritrix-1.14.4
You have to specify either a username and password for theExam
浏览 4提问于2013-12-09得票数 2
我已经使用Heritrix 2.0 crawler几个月了，但我遇到了巨大的性能、内存和稳定性问题(Heritrix几乎每天都会崩溃，并且没有尝试使用JVM参数来限制内存使用)。根据您在该领域的经验，您会使用哪个爬虫来提取和解析来自上千个来源的内容？
浏览 2提问于2009-10-31得票数 4
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
1回答
我遇到了一个开源爬虫Bixo。有人试过吗？你能分享一下学习的过程吗？我们是否可以轻松地构建定向爬虫(与Nutch/Heritrix相比)？谢谢Nayn
浏览 1提问于2010-07-19得票数 3
回答已采纳
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
问题/证据<!--[if (gt IE 8)|!(IE)]><!-->问题
我该如何克服这个问题？它是Heritrix bug，还是我们可以通过爬虫-bean声明来解决的问题？
浏览 5提问于2015-06-18得票数 1
回答已采纳
爬虫需要具有可扩展的体系结构，以允许更改内部流程，如实现新步骤(预解析器、解析器等)。但是还有其他像这样的好项目吗？
浏览 2提问于2009-06-24得票数 14
回答已采纳
2回答
我正在比较这四个Nutch / Heritrix / OpenPipeLine / Apache Tika，哪一个最好？每一个都有什么优点和缺点？我想有一些可扩展的爬虫，可以抓取一个网站的列表，如果需要可以修改。
浏览 1提问于2011-12-07得票数 5
1回答
我想选择上面的其中之一，为特定的网站建立一个爬行框架。这不是互联网范围内的抓取。我不是建立一个搜索索引，而是有兴趣从网站上抓取特定的页面。
浏览 1提问于2010-07-16得票数 2
回答已采纳
我认为需要帮助编译Heritrix决定规则，尽管我愿意接受Heritrix的其他建议：
我需要刮一整份的网站(在爬虫-beans.cxml种子列表)，但不刮任何外部(场外)页面。
浏览 6提问于2015-05-26得票数 3
回答已采纳
1回答
我想用Nutch抓取网站，然后在Solr中索引结果。但是每个站点都有自己的模式，例如在一些站点中，我想在"content filed(in solr schema)“中设置"body”标签，而对于另一个站点，我想在"content filed(in solr schema)“中设置"content”。我该怎么做呢？
我是否可以在so
浏览 2提问于2016-02-15得票数 0
我正在使用HERITRIX爬行一个名为octetfarm.com的站点。我希望爬虫在URI (或URL)上执行regexp，如果字符串"octetfarm“存在，爬虫应该接受它。2个rejectByDefault<a href="http://octetfarm.com/layer1/layer1.html">layer1<
浏览 4提问于2014-10-01得票数 0
2回答
Java CSS爬行器
、、、、
我正在寻找一个具有抓取网页的CSS能力的网络爬虫。我不需要任何其他花哨的爬行能力。
我想通过Xapian，Nutch和Heritrix。它们看起来都有点复杂。如果有人有任何经验或建议，我很乐意听到。
浏览 0提问于2011-01-17得票数 1
回答已采纳
所以我想，也许我只能使用Nutch的爬虫部分来抓取网站，并将它们索引为Lucene风格。
然后用我现有的Lucene搜索器搜索索引文件。有没有可能做到这一点，或者你有什么建议(Heritrix怎么样)？
浏览 6提问于2012-04-06得票数 0
回答已采纳
5回答
我对抓取很多网站很感兴趣。最重要的考虑因素是，蜘蛛能够到达尽可能多的站点。大多数爬行器所缺少的一个关键特性是执行JavaScript的能力。这是必需的，以便抓取ajax供电的网站。我真的很喜欢开源，我需要修改我的项目的代码。有人用过Solr或Lucine吗？我对Solr最大的问题是不能执行javascript，但是它有丰富的功能集和可扩展性，这两点都让Solr很有吸引力。
浏览 0提问于2010-01-13得票数 3
回答已采纳
2回答
爬虫会在这个服务器配置上工作吗？
、、、、
我正在建造一个小爬虫作为一个业余项目。我所要做的就是爬行大约一百万页，并将它们存储在数据库中。(是的，它将不时更新，但任何特定时间的条目将仅为100万)，仅仅是为了了解这些东西是如何工作的。
浏览 4提问于2011-04-13得票数 0
1回答
浏览了帖子和您建议的解决方案-- 停留在导出HERITRIX_HOME=/PATH/TO/BUILT/HERITRIX。该命令以静默方式运行，但cd $heritrix_home结果为
-bash: cd: /root/heritrix-1.14.4/bin/heritrix:不是目录。chmod
浏览 2提问于2010-11-16得票数 0
我们正处于一个项目的开始阶段，我们目前想知道哪个爬虫是我们最好的选择。基本上，我们要建立Hadoop和抓取网络上的图像。一些特殊问题：现在这些看起来是最好的三种选择-
Nutch:众所周知的规模。看起来并不是最好的选择，因为它似乎与他们的文本搜索紧密联系在一起，software.Heritrix:也可以伸缩。目前看来，最好的option.Scrapy:还没有大规模使用(但不确定)。我想使用它，因为它是一个p
浏览 5提问于2009-07-28得票数 3
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
