1回答
我想抓取一个网站，但我得到了下一个错误： '<head>\n<title>Access Denied</title>\n</head>' 我只是在控制台中尝试： scrapy shell https:网站有没有防爬虫的方法？如何抓取这个网站？
浏览 27提问于2020-07-14得票数 1
回答已采纳
我将编写数百个爬虫来抓取不同的静态网页，所以我选择Scrapy来帮助我完成我的工作。
在工作过程中，我发现大多数网站都很简单，不会防蜘蛛。我想知道哪些型号的爬虫加载和使用DOWNLOAD_DELAY参数，以及如何编写程序在检测服务错误时自动增加DOWNLOAD_DELAY (爬虫请求太频繁)。
浏览 2提问于2019-01-17得票数 1
1回答
我想我会写一个爬虫，从www.wordreference.com获取单词。我在机械化爬虫框架中使用Python。这个网站有没有可能有防爬虫机制？
浏览 5提问于2011-04-07得票数 1
回答已采纳
1回答
我对面向公共的站点(登录/身份验证后没有任何内容)感兴趣，这些站点的内容如下：
任何其他的东西，通常会使爬行网站成为一个头痛！我已经建立了一个爬虫/蜘蛛，执行一系列的分析在网站上，我在寻找网站，将使它的斗争。
浏览 1提问于2013-09-12得票数 11
我已经开发了Nodejs express服务器，我关心的是爬虫流量....i意味着如果有人开始向我的服务器发送请求使其宕机，那么如何检测或避免这种情况。
提前谢谢。
浏览 0提问于2016-04-10得票数 0
最近在腾讯云大力腐化下，终于入手了一台云服务器！也在论坛看着教程搭建了人生第一个word press博客网站！但是发现个问题，word press该怎么防注入，先google半小时在度娘十分钟没有解决！特此来论坛求给位大大告知一个姿势！该如何防注入求各位大大带路~~~！
浏览 493提问于2017-03-31
谷歌网站管理员指南解释说，web服务器应该处理包含_escaped_fragment_的url请求(爬虫将www.example.com/ajax.html#!mystate修改为url
我的网站位于亚马逊S3上，我没有web服务器来处理此类请求。我如何才能确保爬虫获得提要，我的网站获得索引？
浏览 0提问于2012-10-09得票数 6
1回答
我正试图从offerup.com和刮壳中获取一些信息，什么都没有。scrapy shell https://offerup.com/response.xpath('//text()').extract()['Request unsuccessful. Incapsula incident ID: 623000250007296502-10946686267359632']你知道为什么会这样吗？任何帮助都是非常感谢的。
浏览 4提问于2017-07-26得票数 0
1回答
托管爬虫的最佳解决方案？
、、、
我有一个爬虫，爬行几个不同的领域为新的帖子/内容。总内容数为十万页，每天都有很多新的内容添加。因此，为了能够通过所有这些内容，我需要我的爬虫爬行24/7。目前，我将爬虫脚本托管在与爬虫添加内容的站点相同的服务器上，而且我只能在夜间运行cron作业来运行脚本，因为当我这样做时，网站基本上停止工作，因为脚本的加载。换句话说，一个非常糟糕的解决方案。是否有可能继续从同一主机运行爬虫，但在某种程度上平衡负载，以便脚本不会扼杀网站？
我会
浏览 3提问于2014-03-06得票数 10
回答已采纳
2回答
我的GooglePlu +1按钮不工作。它是由Liferay的JSP页面生成的。计数不会增加。没有任何错误信息出现在其他地方，包括谷歌Chrome控制台。 <% plusOneDisplayStyle = "tall";
}
浏览 2提问于2013-12-08得票数 1
只要开始使用firebase + react就可以建立一个网站。我的网站的一个设计特点是爬行和显示从另一个网站分析的数据(例如，股票价格的变化)。我已经有了负责解析数据的python爬虫，但是我不知道如何(在后台)在firebase中执行服务器的这个python爬虫(或者根本不可能)？下面是我的系统的示例用法
浏览 0提问于2018-01-25得票数 3
我的robots.txt：Disallow: /HTTP_REFERER: [empty string]QUERY_STRING: [empty string]REMOTE_HOST: 98.137.
浏览 0提问于2013-09-13得票数 1
我是Apache重定向的新手，但我已经学会了如何处理由PHP在我的网站上生成的干净urls，它们工作得很好。
我一直在研究这个问题，似乎找不到一个简单直接的答案。我的问题是，爬虫/蜘蛛/机器人会使用php在我的网站上显示的链接: example.com\Shoes\Running\Men，还是会使用RewriteRule的url: php作为最终会在搜索引擎中显示的链接
浏览 0提问于2013-03-15得票数 1
回答已采纳
我有一个移动网站，它确实显示使用是移动友好的，但我收到一条消息说，日历页面上有可用性错误，这是网站的一部分，但不是移动友好的。我最终将使这一页移动友好，但就目前而言，我只是希望谷歌，而不是将其视为移动网站的一部分。所以我的问题是，通过在页面上使用noidex，Google会忽略它，而不会对它的可用性进行评估。
浏览 4提问于2015-03-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
