5)请解释我一个步骤，如果可能的话，我如何爬行一些网站，并将其信息保存到数据库(Hadoop或任何其他)，然后做搜索。提前说一声非常感谢。
浏览 2提问于2012-09-06得票数 3
当我尝试Crawler4j 的快速入门时，我想这是我应该更改结果存储位置的地方。 public static void main(String[] args) throws Exception { int numberOfCrawlers = 7;
浏览 5提问于2016-09-11得票数 0
3回答
聚合器是如何构建的？
、、、
我该怎么做呢？
有一个爬虫/爬虫，它会爬网寻找我需要的信息(我如何告诉爬虫要爬行什么，因为我不想获取整个网络？)？然后有一个索引系统来索引和组织我抓取的信息，也是一个搜索引擎？或者Kayak.com如何聚合他们的数据？(这是一项旅游聚合服务。)
浏览 2提问于2009-05-29得票数 14
在服务器上部署了爬虫，想在不使用远程桌面的情况下直接就能查看服务器硬盘上爬虫爬取到的最新数据，想问一下该如何实现？
浏览 345提问于2020-04-16
1回答
我的爬虫使用卡夫卡把爬行的网站对象的一个主题和水槽将重定向输出到Solr。有多个爬虫产生数据卡夫卡。
我的问题是:当一个爬虫想要爬一个网站，其他爬虫不应该尝试爬行它。如何在分布式环境中与它们通信？
浏览 0提问于2017-06-01得票数 2
我试图使用爬虫来获取ieee论文关键字，但现在我得到一个错误，如何才能修复我的爬虫？[0].replace("'", '"').replace(";", '')) 错误就在这里 Traceback (most recent call last):
File "G:/github/爬蟲crawlers/sup_ieee_keywords.py", line 90, in &
浏览 18提问于2019-02-19得票数 1
回答已采纳
2回答
抓取大型站点，处理超时
、、、、
我希望你能帮助我。我试图抓取一个4500在它包含信息的链接的网站。所以结构是这样的： Tier 2 (Containing different Topics)所以我的脚本在一个循环中打开每个类别-然后一个主题一个主题地打开，并从Tier 3中提取所有信息。但是由于有大约4500个主题，我有一些问题，我有时会有一个超时错误，在这之后我必须从头开始尝试(有时在200个主题之后，另一些时间在2200个主题之后)。我的问题是，我如何才能以正确的方式完成它，这样如果它崩溃了，我可
浏览 0提问于2013-06-12得票数 0
回答已采纳
2回答
有没有办法让我编程的爬虫，使静态按钮，如主页，按钮及其页脚是相同的，每个页面都不包括在爬虫中System.out.println(Jsoup.parse(html).body
浏览 3提问于2013-02-12得票数 2
回答已采纳
我有一个春天启动网络项目，需要与网络爬虫系统的工作。我的爬虫服务在没有任何停机时间的情况下工作，每个爬虫请求可能有很长的处理时间。我想通过一个REST接口获取抓取的URL。完成此请求的爬网后，我希望更新web表单中的请求状态。实现此场景的最佳方法是什么？
浏览 32提问于2020-10-22得票数 1
我正在使用crawler4j构建一个简单的网络爬虫。我想做的是每10分钟调用一次爬网控件。但是，爬网控件只获取一次数据(不是每10分钟获取一次数据)。有没有更好的方法来安排我的爬行每10分钟执行一次？下面是我在servlet中的代码。
浏览 4提问于2015-02-21得票数 0
是否存在一些标准的持续时间，爬虫必须在重复命中同一服务器之间等待，以避免使服务器负担过重。
如果没有，任何建议是什么可以是一个良好的等待时间爬虫被认为是礼貌的。
浏览 0提问于2009-04-28得票数 7
4回答
访问常见的爬网AWS公共数据集
、、、、
我需要浏览和下载公共爬虫公共数据集的一个子集。页面提到了数据托管的位置。如何浏览和下载托管在s3://aws-publicdatasets/common-crawl/crawl-002/上的常见爬网数据？
浏览 0提问于2013-05-20得票数 6
回答已采纳
1回答
我正在做一个项目，我需要一个成熟的爬虫来做一些工作，我正在为这个目的评估Nutch。我目前的需求相对简单:我需要一个能够将数据保存到磁盘的爬虫程序，并且我需要它能够仅重新爬取站点的更新资源，并跳过已经爬取的部分。有没有人有在Java中直接使用Nutch代码的经验，而不是通过命令行。我想从简单开始:创建一个爬虫(或类似的)，最低限度地配置它并启动它，没有任何花哨的东西。有没有这方面的例子，或者我应该看看的资源？
浏览 0提问于2010-12-03得票数 6
回答已采纳
我像数据库网站一样运行wiki。有些人经常爬(刮)我的网站数据。所以我想阻止这些爬虫。
是否有一个脚本来阻止一定数量的来自同一个IP地址的请求？
浏览 14提问于2021-12-12得票数 0
我想从一个网站中提取所有的数据。爬虫将从具有以下语法的url中抓取所有数据：但当一种特殊情况发生时，我不想再爬了。在我的代码中，我想在else发生时这样做。怎么请？
浏览 7提问于2014-01-16得票数 0
回答已采纳
0回答
使用Python语言编写爬虫程序，使用正则表达式将指定日期时段内的全部上市公司股票数据爬取下来，并按照股票代码保存到相应的Excel文件中。
有偿联系微信：15527440125
浏览 204提问于2020-05-23
如题，我最近在做一个数据分析，想要用到美团的美食信息，于是就想用python爬取美团的数据，但是在构造爬虫的时候发现美团有一个_token参数，百思不得其解，还请大神指教
浏览 2250提问于2018-09-12
我目前正在构建这个网络爬虫来获取起始url的所有链接，并从这些链接中爬取所有链接，等等。我还注意到，一旦我运行我的爬虫，我的互联网开始崩溃，这意味着网站不会加载，直到我打开我的网络爬虫。我想我发送了太多的http请求。
浏览 1提问于2012-05-02得票数 0
回答已采纳
我正在尝试使用Search Server Express 2010通过管理中心为一个非SharePoint站点创建一个爬网规则。如果我尝试指定一个URL来获取cookie，我会在IE8中得到以下JS错误。感谢您的帮助，谢谢。
浏览 6提问于2012-11-13得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
