如果我运行的爬虫与持久支持启用，我暂时松散的互联网连接。爬虫是否会重试那些在临时网络丢失期间获得无主机错误路由的URL？
浏览 2提问于2014-01-21得票数 1
回答已采纳
我想要检测服务器端呈现的对我的页面的当前请求- ssr来自网络爬虫或普通用户。而不是在用户使用我的页面时运行。
如何检测这个东西？
浏览 4提问于2019-10-22得票数 1
在PHPMYAdmin中，我正在运行一个网络爬虫。网络爬虫偶尔会拾取相同的urls。在网络爬虫中，它已经索引了数千个链接，我不想要重复的链接。有没有办法在SQL中删除相似的行(唯一的区别是id字段)
浏览 1提问于2012-08-17得票数 0
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
1回答
我想用JS写我自己的网络爬虫。我正在考虑使用node.js解决方案，如
目标是每10分钟进行一次“爬行”，所以我希望我的爬虫每10分钟从网站上获取数据。那么，我应该考虑什么样的解决方案来让脚本一直运行，即使计算机被关闭了呢？
浏览 3提问于2015-05-23得票数 5
回答已采纳
1回答
我需要一个开源的web爬虫在java开发的增量爬行支持。
Nutch -一个网络爬虫，有更多的hadoop支持功能。我可以在eclipse中编辑代码，但它在运行map时会导致许多错误，减少作业。
浏览 4提问于2014-09-22得票数 1
回答已采纳
1回答
一个网络爬虫买了我们的网站两次。它忽略了我们的robots.txt，我们没有得到客户服务的回复，也没有使用电子邮件和twitter的支持。基于用户代理字符串的错误代码使用tomcat/tuckey？(如果这很重要，我们的站点是托管在Windows服务器上的。)我不能使用IP地址，因为机器人使用了很多(显然是基于网格的)。这在一定程度上是因为我们的网站是一个古老而破旧的遗留系统，但谷歌的爬虫和必应的爬虫并没有打倒我们，我们的正常业务流量也很好。对一个机器人进行大量的投资/开发是不明智的。
浏览 0提问于2012-06-15得票数 2
回答已采纳
3回答
我对编程相当陌生，并且正在为我在网络爬虫上的论文而工作。我已经提供了一个网络爬虫，但我发现它太慢，因为它是单线程。花了30分钟才爬上1000个网页。我试图创建多个线程来执行，同时使用20个线程运行1000个网页只需2分钟。但现在我遇到了“内存堆出”的错误。我确信我所做的是错误的，即为20个线程创建了一个 for 循环。在不给出错误的情况下多线程java爬行器的正确方法是什么？说到这一点，多线程是否解决了我的问题？
浏览 10提问于2009-07-18得票数 2
回答已采纳
我目前正在构建这个网络爬虫来获取起始url的所有链接，并从这些链接中爬取所有链接，等等。我还注意到，一旦我运行我的爬虫，我的互联网开始崩溃，这意味着网站不会加载，直到我打开我的网络爬虫。我想我发送了太多的http请求。如果有人知道如何限制线程或修复以下错误：
java.lang.outOfMemory :无法创建本机线程
浏览 1提问于2012-05-02得票数 0
回答已采纳
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
1回答
我正在用asp.net开发一个网络爬虫。
我的网络爬虫有一个主页，它从HREF标签打开其他HTML页面，下载HTML页面并获取数据。现在的问题是，有时我会得到一个对象引用找不到的异常，有时代码运行得很好。
浏览 1提问于2014-01-06得票数 0
如果我想写一个多线程爬虫，我想知道哪个是最好的best服务提供商。Appengine，ec2....
Appengine java显然有一些限制..此外，一个免费将是伟大的，因为我只是测试应用程序。
浏览 2提问于2009-12-17得票数 0
2回答
我们正在使用Puppeteer编写一个网络爬虫。我们写的木偶爬虫执行和爬行网站的网址没有问题的网页，如约1,500 - 5,000，但是，当我们执行的网站超过5,000，如果它在中间由于一些错误或崩溃而中断，那么它需要重新开始。如果出现任何错误，如何使基于Puppeteer的网络爬虫从爬行的最后状态恢复？在Puppeteer中有没有内置的函数？如何让这个木偶手无头的chrome web爬行通过一个队列系统？
浏览 14提问于2020-12-05得票数 2
我正在寻找一个web应用程序，它可以以与搜索引擎非常相似的方式从网络上收集数据，但它不会将结果作为标题和摘要的列表，而是将结果转储到一个表中，试图从其内部索引中的页面中提取元数据。(很久以前，谷歌有一个叫做Google Squared的网络应用程序。今天还有其他类似的工具吗？这是维基百科页面中的相关描述: Google从整个网络中提取结构化数据，并以类似电子表格的格式显示其结果。每个搜索查询返回一个搜索结果表，其中有自己的一组列--与搜索主题相关联的公共属性。
浏览 0提问于2023-02-07得票数 2
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
是否可以将网络爬行器/网络爬虫移植到智能手机等移动设备上？如果是这样，我会怎么做呢？
浏览 0提问于2011-12-20得票数 0
1回答
我有许多网络爬虫运行在不同的服务器上。我可以通过让每个爬虫检查SQL服务器中的finderprint来做到这一点。
但是--有没有更合适的方法呢？我在ubuntu上运行。
浏览 2提问于2014-06-03得票数 0
我有一个，我正在运行一个网络爬虫。不幸的是，爬虫在一段时间后不会向数据库添加任何条目。如果我想连接到VM以了解问题所在，我就无法连接(通过Putty和Google自己的界面)。但是在GCP接口上，它说服务器仍然在运行。如果我停止VM并再次启动它，就好像什么都没有发生一样，但是过了一段时间，同样的错误再次出现。
有人有解决办法吗？
浏览 0提问于2020-01-15得票数 1
我正在写一个网络爬虫。不幸的是，要爬行的站点非常旧，并且它使用了一些ActiveX控件。
我希望我的爬虫在命令行中运行，或者至少不加载整个Internet Explorer。有没有可能在命令行中运行ActiveX控件？
浏览 1提问于2014-12-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
