Apache Nutch 2.3.1检查点不工作
Apache Nutch是一个开源的网络爬虫和搜索引擎软件，用于从互联网上收集和索引网页数据。它是基于Java开发的，可以帮助用户快速构建自己的网络搜索引擎。
Apache Nutch 2.3.1是Apache Nutch的一个特定版本，用于解决之前版本中的一些问题并提供新功能。然而，根据提供的信息，"检查点不工作"并不足以确定具体的问题。以下是一些可能导致检查点不工作的常见原因和解决方法：
- 配置错误：检查是否正确配置了Apache Nutch的检查点相关设置。这包括检查nutch-site.xml文件中的相关配置项，如checkpoint.dir和checkpoint.interval等。
- 权限问题：确保检查点目录具有适当的读写权限，以便Apache Nutch可以在其中创建和更新检查点文件。
- 硬件故障：如果检查点不工作，可能是由于硬件故障导致的。检查硬盘空间是否足够，并确保硬盘没有损坏。
- 版本兼容性问题：检查是否存在与Apache Nutch 2.3.1版本不兼容的其他组件或插件。确保使用与该版本兼容的所有依赖项。
如果以上解决方法都无法解决问题，建议查阅Apache Nutch的官方文档、用户论坛或邮件列表，以获取更详细的帮助和支持。
腾讯云并没有直接提供与Apache Nutch相关的产品或服务。然而，腾讯云提供了一系列与云计算和大数据相关的产品和服务，例如云服务器、云数据库、人工智能服务等，可以帮助用户构建和管理自己的云计算环境。您可以访问腾讯云官方网站（https://cloud.tencent.com/）了解更多信息。
相关·内容
1回答
我已经使用单节点集群(Hadoop 2.7.x和hbase 1.2.6)配置了apache Nutch 2.3.1。我必须检查它的检查点功能。根据我的信息，在Fetch和parse中可以恢复。我的解释站对Nutch中的resume选项不正确吗？
或者集群/配置有问题？
浏览 12提问于2018-01-23得票数 4
我们使用的是Nutch 2.3.1-src版本。正在执行深度为200的爬网命令。但在几次迭代之后，获取失败，并出现下面提到的运行时异常。Exception at GoraRecordWriter.class while writing to datastore: KeyValue size too large 爬网命令： /Data/Apache/apache-nutch-2.3.1/runtime/local/bin/
浏览 16提问于2019-01-22得票数 0
我正在使用ApacheNutch2.3.1进行一个项目，我需要能够从下载的html页面中提取特定的数据。我找到了一个插件(解析-xml NUTCH-185)，它可以帮助我实现这个目的，但是它使用的一些库已经不存在或被废弃了，我打算做的是进行必要的修改，使它与Nutch 2.3.1兼容--在Nutch编译中给我一个错误的库是这样的，您能帮我找到Nutch 2.3.1的对应库吗？import org.apache.lucene.document.Docum
浏览 1提问于2018-09-13得票数 0
回答已采纳
我运行hadoop jar /home/apache-nutch-2.3.1/runtime/deploy/apache-nutch-2.3.1.job org.apache.nutch.crawl.Crawldir crawl -depth 3 -topN 5，但得到以下错误： Exception in thread "main" java.lang.ClassNotFoundEx
浏览 29提问于2019-04-25得票数 0
回答已采纳
/bin/nutch index -all“时，在inject/generate/fetch/fetch/parse/updatedb命令工作后打印出一些错误，错误详细信息如下：
SolrIndexerJob: java.lang.RuntimeException: job failed: name=apache-nutch-2.3.1.jar, jobid=job_local140530148_0001at org.apach
浏览 1提问于2016-03-18得票数 1
我看到人们在网上发布关于这个主题的帖子时，使用了Nutch和Solr版本的不同组合。Nutch和Solr的最新稳定(非测试版)和兼容版本是什么，我可以下载和设置，而无需构建源代码和只需配置？
浏览 1提问于2013-05-16得票数 6
回答已采纳
当我尝试索引时，我得到了这个错误：
IndexingJob: starting : java.lang.RuntimeException: java.lang.RuntimeException失败: name=apache-nutch-2.3.1.jar，org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:120) at org.apache.nutch.indexer.IndexingJob.
浏览 3提问于2017-04-20得票数 1
2回答
我已经安装了Nutch2.3，并让它工作到注入种子urls ($ Nutch _ROOT/运行时/本地/bin/nutch注入file:///path/to/seed/). )。-2.3.1.jar, jobid=job_local1073670973_0001
at org.apache.nutch.util.NutchJob.waitForCompletion
浏览 0提问于2016-02-10得票数 2
我正在为Apache Nutch设置系统，但我被操作系统卡住了。我搞不懂哪个版本的ubuntu与Apache Nutch 2.3.1兼容。
任何帮助都将不胜感激。
浏览 4提问于2016-04-19得票数 0
我必须用Nutch 2.3.1设置hadoop堆栈。Hadoop2.7.4支持的Hbase版本为1.2.6，我已经成功地配置和测试了该版本。:78) at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:252)
at org.apache.n
浏览 6提问于2017-09-21得票数 1
回答已采纳
1回答
Apache注入urls
、、、、
我是Apache (2.3.1)和mongodb(3.4.7)的新手。分期付款后，我想注入urls并爬上维基百科网站。当我在终端上运行"./nutch注入urls“时，我会遇到这个错误。~/apache-nutch-2.3.1/runtime/local/bin$ .:135) at org.apache.nutch.storage.StorageUtils.createWebStor
浏览 1提问于2017-11-26得票数 0
回答已采纳
/ 2Injecting seed URLs at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:218)
at org.apach
浏览 1提问于2016-05-26得票数 1
回答已采纳
3回答
我对nutch还是个新手。事情是我正在爬行的网址，重定向到另一个网址.Now当分析我的爬行结果时，我得到了第一个网址的内容和状态代码:临时重定向到(第二个网址名称)。
浏览 10提问于2013-07-11得票数 1
2回答
我在带有MongoDB存储的Nutch2.3.1中使用了下面的命令。当它在爬行时，这个过程是通过按CTRL+C来完成的。在那之后，如果我试图运行相同的爬行脚本，它并不是简单的崩溃而没有任何错误。/apache-nutch-2.3.1/runtime/local/bin/nutch updatedb -D mapred.reduce.tasks=2 -D mapred.child.java.opts2018年3月2日:48:34:2018年
浏览 2提问于2018-03-02得票数 0
1回答
我遇到了一些问题，爬行与Nutch。我遵循了上的教程，但出错了："
有没有人可以为我提供一个指南，让我参考如何在window上正确使用nutch？
浏览 2提问于2017-10-18得票数 0
我已经用Hadoop生态系统配置了ApacheNutch2.3.1。我得去找一些人--阿拉伯文字网站。Nutch在获取时为少数URL提供了异常。<init>(HttpMethodBase.java:222) at org.apache.nutch.protocol.httpclient.HttpResponse.&
浏览 4提问于2018-03-20得票数 0
回答已采纳
我在尝试用Elasticsearch 5.4设置Nutch 2.3时遇到了麻烦。问题出在Nutch，因为我不能让它注入我的urls。hadoop日志显示以下警告：aurora apache-nutch-2.3.1 # runtime/local/bin/nutch inject urls/seed.txtInjectorJob: Injecting
浏览 2提问于2017-06-23得票数 0
1回答
我已经在Hadoop(2.5.2)多节点集群(AWS EC2机器)之上安装了ApacheNutch2.3.1。我已经相应地配置了Nutch文件(在主节点上)。现在，我运行以下命令来爬行，
/home/ubuntu/nutch/runtime/deploy/apache-nutch-2.3.1.job bin/hadoop jar org.apache.nutch.crawl.Craw
浏览 0提问于2017-12-09得票数 0
我正在尝试设置Apache Nutch和Apache Solr，以便我们的站点可以进行内部站点搜索。我使用的是JDK 131、Nutch 2.3.1和Solr 6.5.1sudo wget [java url] to /optsudo tar xvf nutch.tar.gz
cd /opt/apache-n
浏览 0提问于2017-05-30得票数 1
这是我第一次尝试在以下基础上设置和构建apache nutch 2.3.1此youtube教程在Windows 10上获得未解决的依赖项错误，如下所示： D:\apachenutch>ant运行时生成文件\apachenutch\build\test mkdir 已创建目录: D:\apachenutch\build\test\classes clean-lib： 解决-默认值： ivy:解决 ** ApacheIvy 2.3.0 - 20130110142753 :： http://ant.<e
浏览 78提问于2016-08-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
