Heritrix镜像_heritrix_heritrix linux - 腾讯云开发者社区

、、、、

在64位Windovs 8.1上启动网络爬虫。尝试不连接额外的库，最终爬错了。 C:\Users\I>cd c:\Users\i\Desktop\heritrix-1.14.4 c:\Users\I\Desktop\heritrix-1.14.4>cd bin c:\Users\I\Desktop\heritrix-1.14.4\bin>heritrix.cmd You have to specify either a username and password for the web interface or start Heritrix without the web

浏览 4提问于2013-12-09得票数 2

1回答

使用Heritrix 1.14

、、

浏览了帖子和您建议的解决方案-- 已将heritrix安装在/root/heritrix-1.14.4下停留在导出HERITRIX_HOME=/PATH/TO/BUILT/HERITRIX。该命令以静默方式运行，但cd $heritrix_home结果为 -bash: cd: /root/heritrix-1.14.4/bin/heritrix:不是目录。已经用谷歌搜索过了，但没有成功。 chmod u+x $heritrix_home/bin/heritrix导致chmod: cannot access `/root/heritrix-1.14.4/bin/heritrix/bin/

浏览 2提问于2010-11-16得票数 0

4回答

solr + Heritrix

、、、、

如何将solr与heritrix集成？我想使用heritrix存档一个站点，然后使用solr在本地索引和搜索此文件。谢谢

浏览 4提问于2009-11-03得票数 2

回答已采纳

1回答

在Heritrix 3.1.0中更改MirrorWriterProcessor的路径

、

我正在使用Heritrix 3.1.0进行爬行。我正在尝试使用MirrorWriterProcessor保存文件。但是，此选项在crawler-beans.cxml中不可用。我所做的就是将"org.archive.modules.writer.WARCWriterProcessor“的"warcWriter”替换为"org.archive.modules.writer.MirrorWriterProcessor“ 但是，此处理器将镜像内容写入$HERITRIX_HOME/mirror 我将“路径”配置为"${launchId}/mirror"，希望He

浏览 7提问于2013-07-04得票数 0

1回答

如何从heritrix爬网中排除除链接/外链以外的所有内容？

、

我正在与Heritrix合作，但我有点纠结于管理它的输出。我正在研究PageRank，我需要Heritrix生成一个文件来应用排名算法。我需要的文件应该只有每个访问页面的链接和外链。我希望避免(尽可能多地)后处理。是否可以通过指定哪些内容应包含哪些内容不应包含来自定义Heritrix的输出？我已经尝试过修改cxml文件，但是输出中仍然有很多无用的信息(比如内容页面)。

浏览 5提问于2013-07-25得票数 0

1回答

如何使用Python从Heritrix crawler中读取.ARC文件？

、

我查看了Heritrix文档网站，上面列出了一个Python .ARC文件阅读器。然而，当我点击它时，它是404没有找到。还有谁知道使用Python的Heritrix ARC阅读器？ (我之前问过这个问题，但因为不准确而关闭了)

浏览 3提问于2009-10-15得票数 2

回答已采纳

1回答

Java和Heritrix 3.1.x: Web内容解析？

、、、、

由于Heritrix 3.x的开发人员文档大部分已经过时(其中大部分与Heritrix 1.x有关，因为大多数类都已更改或代码已被显着重写/重构)，有人能告诉我系统中处理实际网页内容提取的相关类(或类)吗？我想要做的是获取Heritrix将要抓取的网页的内容，然后将分类器应用于该网页的内容？(分析结构特征等)我认为这个功能可能分布在ContentExtractor类和它的许多子类中，但我要做的是定位网页内容的完整位置或可读/可解析的流中的位置。Heritrix应用正则表达式的内容( html)在哪里(以便查找链接、某些文件类型等)？

浏览 8提问于2013-07-19得票数 0

1回答

Nutch vs Heritrix vs Stormcrawler vs MegaIndex vs Mixnode

、、、

我们需要每两周抓取大量(约15亿)的网页。速度，因此成本，对我们来说是一个巨大的因素，因为我们最初的尝试最终花费了我们超过20000美元。是否存在crawler在分布式环境中执行得最好的数据？

浏览 6提问于2017-10-11得票数 4

3回答

哪种网络爬虫可以从上千个网站中提取和解析数据

我正在尝试爬行大约一千个网站，其中我只对html内容感兴趣。然后，我将HTML转换为XML，然后使用Xpath进行解析，以提取我感兴趣的特定内容。我已经使用Heritrix 2.0 crawler几个月了，但我遇到了巨大的性能、内存和稳定性问题(Heritrix几乎每天都会崩溃，并且没有尝试使用JVM参数来限制内存使用)。根据您在该领域的经验，您会使用哪个爬虫来提取和解析来自上千个来源的内容？

浏览 2提问于2009-10-31得票数 4

回答已采纳

1回答

Heritrix没有在条件注释块中找到CSS文件

、、

问题/证据 Heritrix没有检测到在一个字符串中打开和关闭的条件注释中是否存在文件，如下所示：  <link rel="stylesheet" href="/css/mod.css" />  然而，像这样的标准条件块工作得很好： <!--[if lte IE 9]> <script src="/js/ltei9.js"></script> <![endif

浏览 5提问于2015-06-18得票数 1

回答已采纳

1回答

Heritrix Crawl是确定性的吗？

、

假设有一个网站abc.com，我们在abc.com上抓取100个页面，如下所示。第1天:通过将maxDocumentsToDownload指定为100，在heritrix中创建抓取作业。第2天:在heritrix中克隆上述作业并运行。如果网站在两天内没有变化，我会得到相同的100个页面还是不同的100个页面？如果需要更多的信息，请让我知道谢谢，Hareesh

浏览 12提问于2016-02-03得票数 0

1回答

支持通配符的Java robots.txt解析器

、、、

我正在寻找一个robots.txt解析器，它支持与Googlebot相同的。我发现了一些用于解析robots.txt文件的librairies，但它们都不支持Googlebot风格的模式匹配： Heritrix (有一个关于这个主题的 ) Crawler4j (看起来与Heritrix的实现相同) jrobotx 有人知道有一个java库可以做到这一点吗？

浏览 3提问于2011-08-30得票数 7

1回答

Heritrix单站点刮擦，包括所需的场外资产

、、

我认为需要帮助编译Heritrix决定规则，尽管我愿意接受Heritrix的其他建议：我需要刮一整份的网站(在爬虫-beans.cxml种子列表)，但不刮任何外部(场外)页面。呈现当前网站所需的任何外部资源都应该被下载，但是不要遵循任何链接到网站以外的页面--只有当前页面/域的资产。例如，呈现页面所需的CDN内容可能托管在外部域(可能是AWS或Cloudflare)，因此我需要下载该内容，并跟踪所有域上的链接，但是不要遵循指向当前域范围以外页面的任何链接。

浏览 6提问于2015-05-26得票数 3

回答已采纳

2回答

如何远程使用Heritrix的webUI

、、、

你好，我一直在与Heritrix玩，并希望将它包含在一个网站上/允许远程访问它。我有一个基于Linux的服务器，在这里我有一个托管的网页，我已经构建了Heritrix的一个版本。问题是，我现在在家，希望能够通过托管网页访问Heritrix中的webUI。我查看了手册，发现了-b命令将其绑定到远程主机，但是文档可能更好。，所以我希望对这个命令是如何工作的，以及是否有可能将webUI绑定到现有的网页进行一些解释/阐述。谢谢你提前给我时间 (这里有一个指向工作文档的链接： )

浏览 5提问于2012-10-05得票数 0

回答已采纳

1回答

Nutch与Heritrix的比较

、、

我想选择上面的其中之一，为特定的网站建立一个爬行框架。这不是互联网范围内的抓取。我不是建立一个搜索索引，而是有兴趣从网站上抓取特定的页面。有没有人能详细介绍一下上述的利弊？谢谢Nayn

浏览 1提问于2010-07-16得票数 2

回答已采纳

1回答

在Heritrix爬虫工具中如何从爬行urls中提取内容

、、

我对heritrix工具很陌生，现在我可以从www抓取网页，现在我想要提取爬行urls的内容。请提前帮助我任何one.please.Thanks。

浏览 0提问于2013-08-28得票数 2

回答已采纳

1回答

使用Bixo构建垂直爬虫

、、

我遇到了一个开源爬虫Bixo。有人试过吗？你能分享一下学习的过程吗？我们是否可以轻松地构建定向爬虫(与Nutch/Heritrix相比)？谢谢Nayn

浏览 1提问于2010-07-19得票数 3

回答已采纳

5回答

有谁知道一个好的可扩展的开源网络爬虫？

、

爬虫需要具有可扩展的体系结构，以允许更改内部流程，如实现新步骤(预解析器、解析器等)。我找到了Heritrix Project ()。但是还有其他像这样的好项目吗？

浏览 2提问于2009-06-24得票数 14

回答已采纳

1回答

不认识的反爬虫技术，提示412错误，有高手知道？

近期发现大量网站采用相似的反爬技术，Heritrix提示412，网址http://www.xgrsks.cn/，还有湖北省编制网、检察院、政府网都采用这种，网上查不到相关办法

浏览 882提问于2021-04-26

1回答

Heritrix检索gzip CSS + JS

、、、

当我运行Heritrix时，我的web服务器gzip的JS + CSS资产。这被证明是一个问题，因为当通过Wayback加载.warc文件时，它仍然编码为gzip。我无法在浏览器中正常查看.css + .js文件。

浏览 3提问于2013-09-18得票数 0

2回答

哪种开源爬虫是最好的？

、

我正在比较这四个Nutch / Heritrix / OpenPipeLine / Apache Tika，哪一个最好？每一个都有什么优点和缺点？我想有一些可扩展的爬虫，可以抓取一个网站的列表，如果需要可以修改。

浏览 1提问于2011-12-07得票数 5

3回答

如何使Heritrix在找到且不在种子列表中域上继续爬网过程

如何使Heritrix继续抓取已找到且不在种子列表中的域名？我的意思是让它不停止爬行在种子列表中的所有域名。并为它在爬行过程中找到的每个链接继续爬行过程。

浏览 4提问于2011-10-03得票数 0

2回答

边界Heritrix深度

我是Heritrix的新手，正在使用heritirx 1.14。我不知道如何做以下事情: 1)绑定下载链接的BFS深度到一个特定的数字，例如3.2)限制下载的类型为html和text。非常感谢您的关注。

浏览 1提问于2010-06-20得票数 1

1回答

Heritrix的HtmlFormCredential和CredentialStore的使用

、、

我试图将身份验证添加到我的Heritrix配置中。我的.cxml文件有以下内容： <bean id="preconditions" class="org.archive.crawler.prefetch.PreconditionEnforcer"> <property name="credentialStore"> <ref bean="credentialStore" /> </property> </bean> <bean id="fet

浏览 1提问于2013-07-19得票数 1

回答已采纳

1回答

解析html页面并将内容(标题、文本等)存储到数据库中

、、

有没有人知道一些开源工具来解析html页面，过滤广告，JS等，以获得标题，文本。我的应用程序前端是基于LAMP的。所以我需要解析html页面并将它们存储到Mysql中。并用这些数据填充首页。我知道一些工具: Heritrix，Nutch。但看起来它们是爬行动物。谢谢。约瑟夫

浏览 3提问于2010-09-17得票数 1

2回答

Java CSS爬行器

、、、、

我正在寻找一个具有抓取网页的CSS能力的网络爬虫。我不需要任何其他花哨的爬行能力。我想通过Xapian，Nutch和Heritrix。它们看起来都有点复杂。如果有人有任何经验或建议，我很乐意听到。一个可以访问上述任何平台的教程，也是受欢迎的。大卫

浏览 0提问于2011-01-17得票数 1

回答已采纳

1回答

从抓取的网站(ARC文件)中提取图形

、、

我正在处理由Heritrix爬行生成的ARC文件。当我在Wayback Machine中查看这些页面时，看起来大部分图形都是从我的本地计算机加载的，所以我假设这些图形存储在ARC文件中。对吗？如果是这样，提取图像的最佳方法是什么？

浏览 0提问于2010-06-21得票数 0

5回答

Googlebot是用哪种编程语言编写的(或任何其他高效的网络爬虫)？

、

有人知道谷歌机器人是用哪种编程语言编写的吗？或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。

浏览 0提问于2009-10-29得票数 1

回答已采纳

1回答

如何配置heritrix来记录所有遇到的URL，包括那些被过滤/不抓取的URL？

我正在使用heritrix 3.1.1-snapshot抓取/存档一些网站内容，我需要记录它处理的每个页面中遇到的所有urls，包括那些(配置)不抓取的urls。我已经寻找了很长一段时间，没有得到积极的结果:(希望能在这里得到一些帮助。谢谢。

浏览 0提问于2011-04-08得票数 0

1回答

从Lucene指数更新Solr

、、、

我目前正在做一个网络存档项目。基本上，我们要做的是归档一组网站(使用heritrix爬虫)，并通过web接口提供对归档内容的访问。我们还提供全文搜索整个档案。目前，索引是使用坚果蜡生成的( apache的自定义版本，根据heritrix生成的索引.warc文件定制)。Nutch蜡转储一个Lucene索引，为了在Solr中使用它，所要做的就是生成一个正确的模式。这一切都完成了，而且它的运行情况也应该是一样的，但是存档不是静态的，并且会周期性地生成新的.warc文件。我现在能做的就是生成一个新的索引，将它与现有的索引合并，然后导入到Solr中。然而，要做到这一点，Solr必须重新启动。如果索

浏览 3提问于2012-03-27得票数 1

回答已采纳

1回答

Heritrix 3.2.0:编写和添加扩展

、、、

我目前正在使用Heritrix，我有一个标准的安装(这个是：)，它工作得很好。但是现在我想要编写和添加我自己的扩展，比如改变urls的优先级，这应该被抓取，或者仅仅是一个简单的提取器。我可以检查现有提取器的java代码，但如何将其添加到爬虫程序中？我尝试将java测试项目导出为jar文件，并将该文件放在Heritrix的lib文件夹中(其他库也在这里)。此外，我在作业的cxml文件中添加了一个bean。但在启动后，我收到了这个错误: 2014-11-07T19:51:40.296Z严重无法实例化bean类myModule.TestClass:找不到默认构造函数；嵌套异常是java.lan

浏览 4提问于2014-11-08得票数 0

1回答

在heritrix中查找到web列表的web跟踪

、、

最近在我的公司里，我一直在和网络爬虫Heritrix一起工作，我在那里工作了一段时间，搜索和测试它，我找不到如何解决我们的需求。我们希望每天在cron中自动运行heritrix，以爬行一个网页列表，我们要做的是检查该网站的任何链接是否指向我们域列表上的webs。困难的地方和找不到的方法是记录所有的跟踪到指向我们的一个域的链接。因为作业的日志文件存储一些信息的所有链接，而不是跟踪。在对作为列表中的域的grep brazzers完成作业时，运行一个脚本，因此，如果它在爬行日志中找到"brazzers“，则应该在另一个日志中显示，从开始到结束都会跟踪到整个日志： 2015年-10-25T

浏览 10提问于2015-10-26得票数 0

回答已采纳

1回答

爬虫获得外部网站搜索结果

、、、

我可以使用哪些最佳实践和库来输入外部网站上的搜索文本框并收集搜索结果？如何用不同的搜索框和复选框处理网站并收集结果？可以使用Selenium来自动化这个？我该用Heritrix还是nutch？哪一个更好？我听说nutch有插件。哪一个社区更大？

浏览 0提问于2009-12-16得票数 0

回答已采纳

2回答

带有热链接要求的递归wget

我经常用wget来镜像非常大的网站。包含热链接内容(无论是图像、视频、css、js)的站点都会造成问题，因为我似乎无法指定wget来获取其他主机上的页面需求，如果没有爬行器也可以跟踪到其他主机的超链接。例如，让我们看看这个页面让我们假设这是一个我想要完全镜像的大型站点，包括所有的页面要求--包括那些热链接的。 wget -e robots=off -r -l inf -pk ^^获取除热链接图像以外的所有内容。 wget -e robots=off -r -l inf -pk -H ^^获取所有内容，包括热链接图像，但却失控，继续下载整个web。 wget -e robots=off -

浏览 2提问于2012-10-17得票数 1

回答已采纳

2回答

如何从heritrix爬网中排除除text/html之外的所有内容？

、、、、

On：有一个“只存储成功的HTML页面”的用例我的问题:我不知道如何在我的cxml文件中实现它。特别要注意:将文本添加到ARCWriterProcessor =>中会将其regexp设置为ContentTypeRegExpFilter /html.*。..。示例cxml文件中没有ContentTypeRegExpFilter。

浏览 6提问于2010-08-16得票数 4

回答已采纳

1回答

java web爬虫

嗨，谁能推荐一个简单的java网络爬虫，爬行一个网站，并返回一个链接列表的网站？不，我不需要解析器。感谢您的关注。

浏览 2提问于2011-03-01得票数 0

1回答

在Java中抓取网站

、、

我正在尝试做的是一个URL的列表，并下载每个URL的内容(用于索引)。最大的问题是，如果我遇到一个类似facebook事件的链接，它只是重定向到登录页面，我需要能够检测并跳过该URL。似乎robots.txt文件就是为了这个目的而存在的。我查了heritrix，但这似乎比我需要的多得多。有没有更简单的工具可以相应地提供关于robots.txt和抓取站点的信息？ (而且，我不需要跟踪额外的链接并建立一个深度索引，我只需要为列表中的各个页面建立索引。)

浏览 0提问于2010-07-08得票数 1

回答已采纳

1回答

如何配置Nutch以避免爬行无意义的日历网页

、

我正在使用Nutch索引一个网站。我注意到，Nutch已经爬过一些垃圾网页，比如。这个网页是关于2015年发生的事件，11。这对我来说完全是胡说八道。我想知道Nutch是否有可能聪明地跳过这样的网页。有人可能会说，我可以使用Regex来避免这种情况。然而，由于日历网页的命名模式并不总是相同的，因此没有办法为其编写一个完美的Regex。我知道Heritrix (一个互联网档案爬虫)有这样的功能，以避免抓取无稽之谈的日历网页。有人能解决这个问题吗？

浏览 1提问于2012-05-04得票数 0

回答已采纳

1回答

将网页和相关资源下载到python中的WARC

、、、

我有兴趣下载一堆网页供以后分析。我想做两件事：将页面和相关资源(图像、与文章相关的多个页面等)下载到WARC文件中。将所有链接更改为指向现在的本地文件。我想用Python来做这个。有什么好的库可以这样做吗？刮刮似乎是为了刮刮网站，而不是单个页面，我不知道如何生成WARC文件。调用wget是一个可行的解决方案，如果没有更多的python本机的话。Heritrix是完全过火的，而不是python解决方案。如果它有一个有良好文档的python库，那么wpull将是理想的，但它似乎主要是一个应用程序。还有其他想法吗？

浏览 2提问于2016-12-17得票数 4

回答已采纳

1回答

Heritrix内容过滤

、

我需要聚合来自几个不同网站的内容(主要是HTML页面和PDF文档)。我目前正在试用Heritrix (3.2.0)，看看它是否能满足我的需求。虽然文档非常详细，但引擎似乎并没有像我预期的那样工作。我设置了一些简单的任务，并以许多不同的方式配置了DecideRules，但无论我做什么，我都发现Heritrix要么下载了太多的内容，要么什么都没有。这是我想要做的一个例子。我将Heritrix指向URL，如下所示...example.com/news/speeches。这是一个网页，它有一个HTML表，其中包含指向各个演讲的链接(例如，example.com/news/speech/speech

浏览 13提问于2015-08-15得票数 1

1回答

如何在Heritrix3.1中使用HeaderedArchiveRecord遍历WARC文件

、、

我使用的是Heritrix 3.1Java库。为了清楚起见，我对抓取不感兴趣，只对处理另一个团队生成的压缩的WARC (*.warc.gz)文件中的数据感兴趣。对于存储在WARC文件中的每个WWW文档，我需要一些来自记录头的信息，一些来自HTTP头的信息，以及HTTP payload/body的完整内容，因此我认为我需要使用HeaderedArchiveRecord类。 WARCReader warcReader = WARCReaderFactory.get(warcFile); int inputSequence = -1; ArchiveRecord record = warcRead

浏览 27提问于2014-02-10得票数 1

1回答

使用Nutch或Heritrix的定向爬网

、

我见过Nutch和Heritrix的爬行方式。它们都有生成/获取/更新周期的概念，从一些种子urls开始，在获取步骤之后迭代结果urls。作用域/过滤逻辑对应用于提取的URL的正则表达式起作用。我想做一些非常具体的事情。我不想从页面中提取所有的urls，但我更愿意根据一些xpath获取urls。原因是：-不是所有的urls都可以用精确的正则表达式进行分类-我可能会错过一些在给定reg ex之外的urls我可能还想遵循“下一页”序列-特定的爬行周期可能在每个深度都有不同的基于xpath的过滤器。有没有人对赫里特里克斯的纳奇做过这样的事情？谢谢Nayn

浏览 1提问于2010-07-15得票数 0

回答已采纳

1回答

使用python的请求模块刮取heritrix页面

、、

我想刮一个Heritrix主页使用pythons 模块。当我试图在chrome上打开这个页面时，我会得到以下错误： This server could not prove that it is 10.100.121.41; its security certificate is not trusted by your computer's operating system. This may be caused by a misconfiguration or an attacker intercepting your connection. 但我可以继续看这一页。当

浏览 6提问于2015-02-20得票数 0

回答已采纳

5回答

站点覆盖率的最佳开源爬虫

、

我对抓取很多网站很感兴趣。最重要的考虑因素是，蜘蛛能够到达尽可能多的站点。大多数爬行器所缺少的一个关键特性是执行JavaScript的能力。这是必需的，以便抓取ajax供电的网站。我真的很喜欢开源，我需要修改我的项目的代码。目前我认为Solr是Lucine的一部分，是一个非常好的解决方案。有人用过Solr或Lucine吗？我对Solr最大的问题是不能执行javascript，但是它有丰富的功能集和可扩展性，这两点都让Solr很有吸引力。

浏览 0提问于2010-01-13得票数 3

回答已采纳

2回答