3回答
web爬虫性能
、、
我有兴趣知道在一个非常一般的情况下(一个自制的业余网络爬虫)会有什么样的表现。更具体地说，一个爬虫程序可以处理多少个页面。当我说自制酿造在所有意义上，2.4 say核心2处理器，java编写，50mbit网速，等等。非常感谢,
卡洛斯
浏览 3提问于2010-09-13得票数 1
回答已采纳
1回答
我正在做一个项目，我需要一个成熟的爬虫来做一些工作，我正在为这个目的评估Nutch。我目前的需求相对简单:我需要一个能够将数据保存到磁盘的爬虫程序，并且我需要它能够仅重新爬取站点的更新资源，并跳过已经爬取的部分。有没有人有在Java中直接使用Nutch代码的经验，而不是通过命令行。我想从简单开始:创建一个爬虫(或类似的)，最低限度地配置它并启动它，没有任何花哨的东西。有没有这方面的例子，或者我应该看看的资源？
浏览 0提问于2010-12-03得票数 6
回答已采纳
我正在编写一个多线程的Java网络爬虫。根据我对网页的理解，当用户加载网页时，浏览器请求第一个文档(例如，index.html)，当它接收到超文本标记语言时，它会找到需要包括的其他资源(图像，CSS，JS)，并同时请求这些资源。我的爬虫程序只请求原始文档。由于某些原因，我不能让它每5秒抓取超过2到5页。我正在为我制作的每一个HttpURLConnection创建一个新的线程。看起来我应该至少能够每秒抓取20-40页。
浏览 1提问于2009-09-04得票数 2
回答已采纳
2回答
我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜欢用java编写代码，但我可以用任何
浏览 0提问于2010-11-11得票数 0
我正在使用的java客户端应用程序接口来自动和动态地检测许多网站的漏洞。我需要释放指定url的所有资源(警报、爬虫结果、活动扫描结果、内存使用情况)，并且不干扰其他url的扫描。那么，如何在zapproxy扫描中删除指定url的资源呢？
浏览 17提问于2016-06-12得票数 0
1回答
我是mod_rewrite的新手。和搜索引擎优化。我想创建一个RewriteRule，它本质上转换以下请求：转到这是我使用的：正如您所看到的，我没有考虑前面的3个参数，单是id就足以显示正确的页面。
现在我想知道的是--搜索引擎怎么知道“想要的
浏览 0提问于2011-06-26得票数 0
回答已采纳
2回答
对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8提问于2012-11-14得票数 2
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我需要向爬虫提供访问私有维基的权限。对于如何启用对单个客户端(而不是用户，因为爬虫无法登录到wiki)的访问，有什么建议吗？
浏览 2提问于2011-01-27得票数 0
回答已采纳
我正在考虑写我自己的，但我想知道是否有好的网络爬虫在那里是用Ruby编写的。
除了一个成熟的网络爬虫，任何可能有助于构建网络爬虫的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了，但是一个适用于构建网络爬虫的宝石列表也是一个很好的资源。
浏览 2提问于2011-02-13得票数 21
回答已采纳
我正在寻找LinkedIn爬虫代理名为。我找到了Google，Facebook和Pinterest的名字，但是我找不到Linkedin的爬虫参考。我看过LinkedIn的开发者网站，但找不到任何参考。在谷歌上，搜索结果充斥着从LinkedIn抓取内容的资源。
浏览 0提问于2018-05-02得票数 0
回答已采纳
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot
浏览 1提问于2012-04-16得票数 0
回答已采纳
我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。这个bug似乎是随机的，也是不可复制的，这让我认为它是由被爬行的网站的资源利用引起的。
该错误发生在“正常”模式，但更多发
浏览 2提问于2019-05-21得票数 1
我正在做一个自动工作的网络爬虫。在某些情况下，我想停止它，更改一些设置，然后重新开始爬行。
我担心的是资源问题。我可以释放我创建的对象，但我不知道Java使用的对象。
浏览 1提问于2011-06-23得票数 1
回答已采纳
1回答
文件夹7adcf7ba已经不存在了，所以我认为爬虫以某种方式使用了缓存数据。我可以使用robots.txt吗？元标签？特殊属性？我怎么发动汽车呢？
浏览 0提问于2017-12-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
