1回答
我目前在我的robots.txt中使用以下代码来禁止任何爬虫访问我的网站。但我只想有一个例外，那就是Google AdSense的爬虫。下面是我的代码：谷歌的AdSense爬虫名为“Mediapartners Google”。
我如何才能将其添加为异常，并继续阻止所有其他爬虫？
浏览 18提问于2021-05-18得票数 1
3回答
我用Scrapy写了一个爬虫。我发现当我的字符串有中文的时候，logging.error()会抛出一个异常。但爬虫一直在跑！我的问题是:在出现异常时，是否存在强制Scrapy停止的设置？
浏览 3提问于2017-06-08得票数 7
回答已采纳
我正在尝试重现rails站点在特定爬虫访问特定页面时生成的异常：该页面接受GET参数。crawler的IP始终是基于EU的(我的站点是基于美国的)，其中一个用户代理是：查看发送的HTTP头，我发现我的浏览器请求和爬虫请求之间唯一的区别是它包含
浏览 0提问于2015-10-11得票数 2
我的Rails3站点被带有奇怪的accept头的爬虫程序击中，触发异常，如下所示以下是一些导致问题的我真的不关心我返回给这些爬虫的是什么，只是想避免异常。
浏览 0提问于2011-02-05得票数 8
2回答
我正试着写一个网络爬虫。当我浏览一个大页面时，我的arraylist变量无法保存所有数据。它被抛到了异常之下。线程java.lang.StackOverflowError".中的异常" thread -0“
保存这些urls的最佳方法是什么，因为我需要访问那些urls和子urls等等。我想保存到数据库或写入文件，但这些机制可能会减慢爬虫性能。
浏览 0提问于2015-11-19得票数 0
1回答
我正在用asp.net开发一个网络爬虫。
我的网络爬虫有一个主页，它从HREF标签打开其他HTML页面，下载HTML页面并获取数据。现在的问题是，有时我会得到一个对象引用找不到的异常，有时代码运行得很好。
浏览 1提问于2014-01-06得票数 0
1回答
在渲染过程中，在所有其他标签前面弹出一个确认框，要求确认：。此标记和/html/body/div1/form/div1处的前一个标记都具有样式属性"display:none“。我在想，也许这是美丽汤中的一个bug，并用LXML重写了代码。实际上，如果我使用root.findall(".//div")，返回的列表也不会包含跳过的标记，因为根据html源文件，应该有一个包含xpath /ht
浏览 2提问于2019-02-28得票数 0
我用ASP Core3.1应用程序开发了一个网络爬虫。其根本原因是，尽管应用程序作为一个整体被设计为一个API (用于启动爬虫、停止它、获取一些爬行数据)，但这些服务在后台运行的时间比API请求甚至会话长得多。我知道Singleton模式会导致问题，但是我没有更好的方法来运行这个爬虫。我应该期待哪些问题，是否有更合适的方法来设计这些服务？我在这个设计中面临的主要问题是，如果在这个过程中出现了任何异常，例如一个失败的下载，异常就不会再出现在调用方法上(没有)，而且异常可能会不确定地运行。
浏览 3提问于2020-03-03得票数 0
回答已采纳
我寻找一个网络爬虫解决方案，可以是足够成熟的，可以简单地扩展。我对以下特性感兴趣..。爬虫应该能够为我探索Web的一部分，并且它应该能够决定哪些站点符合给定的标准
上面的这些事情可以一个一个地完成，而无需付出很大的努力，但我对提供可定制的、可扩展的爬虫的任何解决方案都感兴趣。
浏览 1提问于2010-01-18得票数 7
回答已采纳
我创建了一个新的爬虫并手动运行它。爬虫作业运行时没有出错，但是当我检查日志时，我会收到下面的EOF异常通知。我尝试将一个简单的测试json文件上传到同一个S3桶中，并对它运行爬虫，它完美地解析了模式。因此，我不认为这是一个权限或爬虫配置的问题。
对于如何进一步调试有任何建议吗？
浏览 9提问于2022-09-16得票数 0
回答已采纳
1回答
处理远程:真正的链接和搜索机器人
、、、、
在大多数情况下，响应可以是js或html，因此搜索机器人不会造成问题我如何设置链接，使搜索机器人(谷歌，冰，其他爬虫)不会尝试它？或者-是否有一种类型的响应我应该返回，以便爬虫知道不要返回到那个url？
浏览 2提问于2014-12-03得票数 2
1回答
基本上，它使用命令shell_exec来运行javascript爬虫。当它工作时，它会返回一个字符串。但是，有时js爬虫会变得没有响应，shell_exec就会挂起。and response is: ', $e->getMessage(), "\n";我不确定在PHP中有什么命令可以说“让我们尝试运行这个命令60秒，如果它超过了这个时间，那么让我们抛出一个异常并处理该异常
浏览 0提问于2015-06-12得票数 0
这是我的代码。我的目标是抓取多个域。我在url数组中设置了域，但是我不能爬行。这是结果:我的代码运行(‘总链接数：'，387) (’新闻链接：'，146)import requestsimport codecs
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5)",
"ac
浏览 7提问于2015-05-07得票数 1
在分享调试器上显示所有内容的Facebook。不知道我还能做些什么让它得到正确的信息。
属性应该显式地提供'og:image‘属性，即使可以从其他标记推断值。"og:url“deve ser fornecida explicitamente，mesmo que um valor a ser fornecida a partir de que标签。分享
缺少“fb:app_id”属性的app ID应该显式地提供，指定应用ID，以便将分享给Facebook的故事正确地归因
浏览 27提问于2016-05-07得票数 1
回答已采纳
1回答
我希望我的爬虫等待5分钟，如果它得到一个SocketConnectException(即，如果互联网连接关闭)，并再次恢复，也可能发送邮件给管理员。我看过源代码，抛出这个异常的方法是私有的，所以我不能重载它们。除了更改源代码之外，还有其他选项可以处理此异常吗？谢谢。
浏览 2提问于2015-06-02得票数 1
回答已采纳
6回答
我正在运行一个网络爬虫供我自己使用。我下载了一个，想给它提供种子。我想给它提供大约50个种子。所以我创建了一个字符串数组。我想为爬虫提供一个种子，每次它通过我的for循环。字符串temp =新字符串{"，"；对于(int i= 0；i <=temp.length；i++) { urlsi = tempi；}
爬虫需要分配给不过，我的代码得到了一个外部异常。我想要做的是每次爬行器通过for循环时提供1种种子。在这方面的任何帮助都将不胜感
浏览 7提问于2011-02-21得票数 3
回答已采纳
作为编写爬虫程序(用Node.js编写，但实际上不是重点)的一部分，我有时会收到超时和其他网络异常。某些异常(如http errorcode)可以正确地归因于目标请求端点。例如，当使用http代理抓取时，如何检查异常(如前面提到的超时)是由于代理还是由于请求端点？
浏览 5提问于2013-06-29得票数 0
回答已采纳
我能够在vs代码上运行所有的爬虫，没有任何错误。但是，当我尝试运行调试器时，它会引发异常我在MacOS上。我也可以从终端正确地运行scrapy命令。
浏览 9提问于2021-10-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
