我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
1回答
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
我正在寻找Apache Lucene网络爬虫写在java，如果可能的话，或在任何其他语言。爬虫必须使用lucene并创建有效的lucene索引和文档文件，因此这就是nutch被排除的原因。有没有人知道这样的网络爬虫是否存在，如果答案是肯定的，我可以找到它。Tnx..。
浏览 0提问于2009-10-16得票数 1
回答已采纳
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot
浏览 1提问于2012-04-16得票数 0
回答已采纳
我需要找出如何找到.log文件中的所有网络爬虫。我不知道该找什么。我知道网络爬虫会做一些特定的事情，但是我找不到用java编程的好方法。谢谢
浏览 0提问于2014-01-20得票数 0
我目前正在构建这个网络爬虫来获取起始url的所有链接，并从这些链接中爬取所有链接，等等。我还注意到，一旦我运行我的爬虫，我的互联网开始崩溃，这意味着网站不会加载，直到我打开我的网络爬虫。我想我发送了太多的http请求。如果有人知道如何限制线程或修复以下错误：
java.lang.outOfMemory :无法创建本机线程
浏览 1提问于2012-05-02得票数 0
回答已采纳
是否可以将网络爬行器/网络爬虫移植到智能手机等移动设备上？如果是这样，我会怎么做呢？
浏览 0提问于2011-12-20得票数 0
我想使用一个网络爬虫和抓取一个特定的网站。该网站是一个学习管理系统，许多学生在这里上传他们的作业，项目演示文稿等。我的问题是，我可以使用网络爬虫下载已经上传到学习管理系统中的文件吗？爬虫能做到这点吗？我知道webeater (用Java编写的Crawler )
浏览 1提问于2011-03-30得票数 1
回答已采纳
我正在努力创建一个Java的网络爬虫。爬虫访问网站，使用JDBC访问/存储数据库中的数据，还将文件存储在本地或云存储上。作为爬行的一部分，我想记录爬虫使用的确切细节--Number of sites visited (HTTP+HTTPS)
Number of bytes of data received也许是一些必须插入到我的java应用程序中的库？当爬虫执行某些操作(如访问网站、下载数据等)时，我是否需要在每个阶段单独记录以上所有参数？？我
浏览 1提问于2012-06-28得票数 0
回答已采纳
1回答
我想抓取网页的IFrame内容(动态内容)； </iframe>
所以从开始。这是否支持爬行IFrame内容？我通过了这个；上面的问题似乎是关闭而不
浏览 3提问于2014-12-09得票数 1
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
有没有人对爬虫有什么好的建议，可以处理像链接清理，flash，一些ajax，css等等？我知道机会很小，但我认为在我开始编写自己的工具之前，我应该在这里抛出这个问题。
浏览 3提问于2008-09-22得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
