我有nutch 1.14工作与Solr 6.4.2 Nutch不爬行(通过)所有的网页链接 <property> <
浏览 13提问于2019-02-15得票数 0
如果我用默认配置爬行它，Nutch只会带来头和页脚，动态加载的内容就会丢失。我用的是Nutch 1.14。
浏览 0提问于2018-06-08得票数 0
回答已采纳
我使用了从他们的wiki安装nutch的示例。我能够轻松地抓取从dmoz中拉出的多个页面。但是，有没有配置可以抓取它在页面上找到的外部链接，或者将这些外部链接写入下一步要抓取的文件？什么是最好的方式来遵循一个网页上的链接，索引该网页以及与nutch？如果我通过python执行
浏览 1提问于2010-10-26得票数 2
回答已采纳
我用nutch 1.4抓取一个站点，我知道nutch不会抓取这个站点中的所有链接。我没有过滤器，也没有爬行的限制规则。例如，nutch从不抓取此链接：如果我把这个链接给nutch抓取
浏览 0提问于2012-01-31得票数 0
如何使用nutch抓取基于身份验证的页面？我已经在nutch-site.xml、nutch-default.xml和httpclient-auth.xml中完成了所有必需的设置。我已经关注了下面的链接，。但是我的爬虫仍然不能抓取页面。有没有什么方法可以让我使用API密钥来帮助抓取？
浏览 1提问于2018-06-26得票数 0
Apache Nutch 1.2不会索引整个网站，只会对子文件夹进行索引。我的索引页面提供了我网站大部分区域/子文件夹的链接。比如东西，学生，研究...但nutch只在一个特定的文件夹中爬行-在这种情况下是“学生”。似乎其他目录中的链接没有被遵循。爬网-urlfilter.txt：+^启动-depth (同时使用wi
浏览 2提问于2011-02-14得票数 1
2回答
我是新来的纳奇，我正在做的POC与纳奇1.9。我只是想爬我自己的网站来建立一个搜索。我发现我做的第一次爬行只爬了一页。第二个爬行40页，第三个300页。增量减少，它总共爬行约400页。有谁知道为什么它不只是在网站的第一次运行的全部抓取？我使用了nutch教程()，并按照3.5节使用脚本运行。我也发现多次运行，它不会抓取整个网站无论如何- GSA为同一网站带回900多页，nutch带回400。杰森
浏览 4提问于2014-11-17得票数 0
回答已采纳
我正在运行Nutch 1.4/Solr 4.10来索引许多站点。我的爬虫包括一些带有数百个链接的种子页面。我目前运行的是使用这些设置，完成抓取需要5-7个小时。我希望"nutch crawl“的每个单独迭代花费较少的时间，但我需要确保所有页面最终都被爬行。我是否可以减少我的-topN或-depth值，同
浏览 0提问于2016-10-11得票数 0
3回答
我用Nutch 2.1抓取了一个URL，然后我想在页面更新后重新抓取页面。我该怎么做呢？我如何才能知道页面是否已更新？
浏览 4提问于2013-01-10得票数 9
回答已采纳
1回答
我想知道nutch 1.4是不是开箱即用。例如，如果有一个下拉列表，它会尝试从下拉列表中的项目中组合所有可能的页面吗？
谢谢
浏览 2提问于2012-05-10得票数 1
1回答
我已经设置Nutch 1.17抓取几个网站。与往常一样，可以有两种类型的高级别网页。首先，那些分类页面或主页不包含任何特定故事的细节，但提供多个页面的链接和简短文本。第二，有包含完整故事详细信息的页面，即文章。
现在我的问题是，我如何识别这是真正的文章页面，这个页面是一个分类页面。此外，我也有兴趣只索引故事页面
浏览 4提问于2020-08-25得票数 0
1回答
尝试将apache nutch与hadoop集成。构建apache-nutch-1.15.job文件后，使用ant将其放在运行时文件夹中，并尝试运行脚本bin/crawl，但得到一些依赖错误。在提取.job文件时，可以看到其中嵌入的所有必需的依赖项。此外，嵌入的依赖项版本也没有问题。at org.apache.nutch.net.URLNormalizers.<init>(URLNormalizers.java:146)
浏览 30提问于2019-03-28得票数 2
任何一个点我正确的文档或黑客停止nutch重新索引或获取相同的内容。对于给定的url，我只想抓取一次。
浏览 2提问于2014-08-20得票数 0
1回答
当Nutch获取站点地图时，它不会继续获取站点地图中标签中的所有链接。
我设置了什么配置选项来让nutch抓取网站地图中提到的所有链接。
浏览 1提问于2014-02-13得票数 1
1回答
我在网站上看到，nutch从每个链接等式中获取链接到topN。我有4个链接，但当nutch抓取我的链接时，所有返回的结果都等于topN。这意味着如果我有4个链接，topN = 10，nutch从所有链接中提取10个链接，而不是爬虫的每个link.end我都有10个链接。帮帮我
浏览 1提问于2011-11-22得票数 1
2回答
我使用apache Nutch 1.10来抓取网页并提取页面中的内容。其中一些链接包含动态内容，这些内容是在调用ajax时加载的。Nutch无法抓取和提取ajax的动态内容。我该如何解决这个问题呢？
浏览 1提问于2015-10-06得票数 3
1回答
我正在使用Apache Nutch来抓取网页。当我搜索特定的名字时，我想抓取网页，例如，如果我搜索比尔盖茨，我想获得该搜索结果的结果链接。我有像这样的网址但在爬行时，它不再显示要获取的url。实际上，它不会获取任何结果。
有没有抓取该页面的选项？我在regex-urlfilter.txt中添加了接受所有<
浏览 1提问于2013-05-23得票数 0
回答已采纳
我尝试在regex-urlfilter.txt文件中的nutch 1.8in环境中建立以下爬行行为：
第一步:抓取seed.txt文件中定义的站点的起始页面(www.domainname.com)。第二:另外只抓取两个特定目录"directoryname1“的页面(www.domainname.com/directoryname1/...)和"
浏览 0提问于2014-07-11得票数 1
我得抓取一些新闻网站。我已经在Hadoop 2.7.4和Hbase集群上安装了apache Nutch 2.3.1。我必须通过solr 6.6.1提供搜索。在抓取一些网站后，我观察到Nutch抓取页面中的所有内容。在新闻网站中，有包含最新或热门新闻等内容的侧栏。这些侧栏内容会随着时间的推移而变化。有没有办法让Nutch抓取主要故事内容，并避免这样
浏览 1提问于2017-11-08得票数 0
1回答
我想建立一个由大约2000-3000个网页组成的数据集，从几个种子URL开始。我尝试使用Nutch爬虫，但我无法完成它(无法将获取的‘片段’数据转换为html页面)。对你使用过的其他爬虫或其他工具有什么建议吗？如果web页面包含绝对URL，这将使脱机使用数据集变得不可能，该怎么办？
浏览 2提问于2012-01-22得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
