部署了CDN，但是爬虫抓取仍然超时。
部署了 CDN 后爬虫抓取仍然超时可能是由于多种原因引起的。以下是一些可能的原因以及相应的解决方案：
- CDN 配置问题：请确认 CDN 配置是否正确，包括源站 IP 地址、协议类型以及请求限制。你可能需要调整服务器的缓存策略、回源设置以及安全连接设置等。
- 网络连接问题：爬虫抓取速度可能受到网络连接质量的影响。你可以尝试优化网络连接速度以及稳定性，例如使用更快的带宽、网络服务提供商、CDN 网络节点等。
- 服务器响应问题：服务器响应速度可能会影响爬虫抓取速度。你可以考虑优化服务器性能、系统资源使用以及服务器响应时间，例如升级硬件、优化服务器配置、优化负载均衡器等。
- 爬虫程序问题：爬虫程序设计是否合理也会影响抓取速度。你可以尝试优化爬虫程序、使用异步加载等方式来加快抓取速度。
- CDN 加速配置问题：部分CDN 可能无法提供足够的缓存，导致爬虫抓取过程中需要多次从源站拉取内容，从而拖慢抓取速度。在这种情况下，请考虑调整 CDN 配置以提高缓存效率或增加CDN 节点。
- 安全限制措施：CDN 可能有一些安全限制措施，如防盗链设置等，这些设置可能会影响爬虫抓取速度。请确认安全限制设置，并尝试修改适当的策略以方便爬虫抓取。
综上所述，如果你仍然遇到了爬虫抓取速度问题，请确认以上解决方案并进行相应的调整。除了上述可能的解决方案外，还可以考虑使用 Web 服务器代理或反向代理等技术提高爬虫的抓取速度。
相关·内容
如何使用nutch抓取基于身份验证的页面？我已经在nutch-site.xml、nutch-default.xml和httpclient-auth.xml中完成了所有必需的设置。不过，它仍然显示以下内容：
Generator: 0 records selected for fetching, exiting ...
Stopping at depth=1 - no more URLs to fetch.
我已经关注了下面的链接，。但是我的爬虫仍然不能抓取页面。有没有什么方法可以让我使用API密钥来帮助抓取？
浏览 1提问于2018-06-26得票数 0
1回答
我部署了一些抓取蜘蛛来抓取数据，我可以从ScrapingHub下载.csv格式的数据。
其中一些爬虫有FilePipeline，我用它来下载文件(pdf)到特定的文件夹。有没有什么方法可以通过平台或应用程序接口从ScrapingHub检索这些文件？
浏览 0提问于2017-06-15得票数 0
3回答
我已经在托管MVC4网站的共享主机帐户上配置了多个主机名。我这样做是为了从这些多个主机名加载静态资源，以便通过并行请求获得一些速度。所有这些主机名将映射到IIS中的同一站点/应用程序。然后，我们更改了静态资源的URL，以便从这些主机名加载它们。基本上，这就像从CDN加载(我们并没有真正使用CDN，只是让它并行加载)。
但是，我想阻止搜索引擎和其他爬虫程序访问这些多主机名/子域。否则，它会将它们列在搜索列表中。
我想添加robots.txt，但这些域使用相同的应用程序。所以我已经有了我的主域的robots.txt。
你知道如何防止爬虫抓取这些额外的主机名吗？
浏览 2提问于2013-06-21得票数 2
回答已采纳
嘿，伙计们，我试着把我的刮伤项目部署到Heroku上，一切都部署好了。但是当我试图执行heroku运行抓取抓取爬虫名时，我会得到错误。
RuntimeError:在您的系统路径中找不到firefox。请指定firefox二进制位置或安装firefox。我已经将这些行添加到/etc/path中。
/Applications
/Applications/Firefox.app
/Applications/Firefox.app/Contents/MacOS/firefox-bin
/Applications/Firefox.app/Contents/MacOS/firefox
在将它们添加到etc
浏览 2提问于2015-08-06得票数 0
回答已采纳
1回答
我正在尝试用curl编写一个基于PHP的爬虫。我有20,000-30,000网址的数据库，我必须抓取。每次调用curl来获取网页大约需要4-5秒。
我如何优化这一点并减少获取页面所需的时间？
浏览 0提问于2012-12-06得票数 0
回答已采纳
[图片]
为什么部署腾讯云CDN加速以后，百度蜘蛛就抓取不了了？但是用户可以正常访问，用其他模拟蜘蛛均可正常抓取…求大神指导 seo优化配置 单独解析配置都尝试过，也联系过客服，还有源站也确定没有对百度做屏蔽，源站抓取正常（有跳转）
[图片]
浏览 1667提问于2018-02-27
我写了一个网站爬虫，我使用while循环来抓取整个网站，但我的循环在大约660秒后停止。
while ( 1 ) {
sleep ( 30 );
echo "Crawling on the go ..." . time ();
echo "<br />";
echo str_pad ( " ", 4096 );
flush ();
}
但是这个简单的同时也在大约660秒后停止！我不知道我的问题是什么！我检查了我的服务器上的WHM
浏览 5提问于2011-06-29得票数 1
早上好,
我有一个我正在努力诊断和解决的问题。首先是免责声明，我大约6、7个月前才开始学习Python，在此之前我没有任何开发经验。我的第一个项目是一个使用Scrapy引擎的web抓取项目。在学习了Docker之后，我决定把它分解成容器。这需要一点时间才能弄明白，但一旦我做到了，我就让它工作起来，并在docker-compose.yml中进行协调。
我有5个服务，一个用于Scrapyd，它是Scrapy引擎运行的守护进程/服务器，一个用于postgres收集抓取的条目，一个用于轮询postgres查找关键字，以及一个postgres服务。最后，我有部署服务，这是给我带来麻烦的地方。
deplo
浏览 24提问于2020-03-14得票数 1
回答已采纳
我的网站提供了动态创建的内容，爬虫可以看到，基于以下规范：。这样，谷歌爬虫用以下语法索引了大约5000个： urls
用谷歌的网站管理员工具查看我的抓取报告，我确信这些页面都被成功抓取了。但是，当通过Google进行搜索时，它们不会显示为结果。请注意，我确实找到了我的通用网站，在“更多结果”下，我找到了大约40个动态生成的页面，但显然这不是我想要的。我想根据它们的内容(AAPL，GOOG，...)找到页面。也许，爬虫认为我的页面或多或少是一样的。但事实并非如此。
浏览 3提问于2013-06-09得票数 0
1回答
我正在制作一个抓取html、css和js页面的爬虫。爬行器是一个典型的爬行器，它有4个并行运行的围棋例程来获取资源.为了学习，我已经使用了3个测试站点。爬虫工作良好，并在测试其中两个程序时显示程序完成日志。
然而，在第三个网站中，有太多的超时发生在获取css链接。这最终导致我的程序停止。它获取链接，但在20+连续超时之后，程序将停止显示日志。基本上它停下来了。我不认为这是事件日志控制台的问题。
我需要单独处理超时吗？我不会发布完整的代码，因为它与我正在寻找的概念性答案无关。但是，代码如下所示：
for {
site, more := <-sites
if more {
浏览 0提问于2015-08-14得票数 1
回答已采纳
1回答
我想抓取有用的资源(比如背景图片)。)从某些网站。这不是一项艰苦的工作，特别是在一些出色的项目，如刮刮的帮助下。
这里的问题是，我不仅要爬这个网站一次。我还想让我的爬行长时间运行，并抓取更新的资源。因此，我想知道，有什么好的策略，一个网页爬虫得到更新的网页？
这是我想过的一个粗略的算法。我把爬行过程分成了几个回合。每一轮URL存储库都会为爬虫提供一定数量(比如，10000)的URL来进行抓取。然后下一轮。具体步骤如下：
爬虫将启动URL添加到URL存储库
爬虫要求URL存储库最多抓取N个URL
爬虫获取URL，并更新URL存储库中的某些信息，如页面内容、获取时间和内容是否已更改。
浏览 1提问于2010-04-05得票数 4
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？我在考虑标准输入/输出，但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数据已经写入文件，以及让php脚本知道爬虫何
浏览 1提问于2011-03-31得票数 1
1回答
我有一个lambda函数，它执行爬虫、SNS作业和ETL。有没有办法让lambda函数等待爬虫在SNS和ETL之前先完成？
谢谢
我目前还没有对step函数的IAM访问，但仍然需要这样做。目前，它只是一次执行，因此SNS和ETL没有按预期工作。
浏览 6提问于2022-11-01得票数 0
作为编写爬虫程序(用Node.js编写，但实际上不是重点)的一部分，我有时会收到超时和其他网络异常。某些异常(如http errorcode)可以正确地归因于目标请求端点。其他的，比如我自己配置的超时就更难了(不可能？)至属性。
例如，当使用http代理抓取时，如何检查异常(如前面提到的超时)是由于代理还是由于请求端点？
浏览 5提问于2013-06-29得票数 0
回答已采纳
我正在使用Scrapy 1.1，我有一个项目，我有一个爬虫'1‘抓取站点A(在那里我获得了90%的信息来填充我的项目)。然而，根据站点A抓取的结果，我可能需要从站点B抓取额外的信息。就开发程序而言，在爬虫'1‘中抓取站点B是否更有意义，或者是否可以从管道对象中与站点B交互。我更喜欢后者，认为它解耦了2个站点的抓取，但我不确定这是否可能，或者是处理这种用例的最佳方式。另一种方法可能是对站点B使用第二个爬行器(爬行器'2')，但是我会假设我必须让爬行器'1‘运行，保存到db，然后运行爬行器'2’。无论如何，任何建议都将不胜感激。
浏览 16提问于2017-02-27得票数 0
回答已采纳
我正在尝试使用用Python编写的爬虫来抓取网站。我想将Tor与Python集成，这意味着我想使用Tor匿名地抓取站点。
我试过这样做。似乎不起作用。我检查了我的IP，它仍然和我使用tor之前的一样。我是通过蟒蛇检查的。
import urllib2
proxy_handler = urllib2.ProxyHandler({"tcp":"http://127.0.0.1:9050"})
opener = urllib2.build_opener(proxy_handler)
urllib2.install_opener(opener)
浏览 8提问于2009-07-08得票数 55
2回答
爬虫设计-调用异步作业与调用服务
、、、、
我在看。爬虫服务处理一个新抓取的url，然后：
将作业添加到反向索引服务队列中，以生成反向索引
将作业添加到DocumentService队列以生成静态标题和片段
如果爬虫服务同步调用这两个服务，会发生什么情况？我仍然可以根据每个服务的负载水平地扩展所有3项服务，对吗？我认为可能的原因是，如果其中一个失败了，就会有更复杂的流控制。这些异步作业还有其他更有说服力的原因吗？
浏览 5提问于2020-03-01得票数 1
回答已采纳
2回答
我试图从页面中抓取一些内容，但是Beautifulsoup停留在一些没有源代码的页面上，例如这个one。 import requests
from bs4 import BeautifulSoup
def make_soup(url):
try:
html = requests.get(url).content
except:
return None
return BeautifulSoup(html, "lxml")
url = "https://cdn.podigee.com/uploads/u735/1
浏览 9提问于2020-01-29得票数 0
服务器错误：爬虫发起抓取，httpcode返回码是5XX ====我的好几个站都这样了，以前百度能正常抓取的，但是最近突然不行了，是什么问题啊？大家的腾讯云服务器有这个问题吗？
浏览 195提问于2016-04-26
实验室牛马一枚，被拉来干爬虫的协同部署，还得抓取数据反馈给中台，结果被腾讯云新加坡丢包75延迟500狠狠的上了一课，开发调试都困难，有无大佬提供加速思路？
一时半会不敢找导师，最近刚找他报销服务器费用???
浏览 26提问于2024-03-26
2回答
我用PHP创建了一个非常简单的网络爬虫，用来抓取一些足球网站的比赛结果。
但是当我抓取一个网站时，抓取它大约需要0.5 -1秒。因此，如果我有很多网址要抓取，这将需要大量的时间。
这是我抓取网站的代码起点：
$doc = new DOMDocument();
$doc->loadHTMLFile("http://resultater.dai-sport.dk/tms/Turneringer-og-resultater/Pulje-Stilling.aspx?PuljeId=229");
$xpath = new DOMXpath($doc);
我已经自己创建了爬虫，所以也
浏览 2提问于2015-04-20得票数 3
1回答
AWS胶爬虫读取GZIP头信息
、、、、
我在Glue中设置了一个爬虫，它从S3桶中抓取压缩的CSV文件(GZIP格式)。我有一个ETL工作，把这个CSV转换为Parquet和另一个爬虫，读取地板文件和填充拼花表。
第一个抓取器读取压缩的CSV文件(GZIP格式)，就像读取GZIP文件头信息一样。CSV文件有五个字段。下面是示例数据
3456789,1,200,20190118,9040
但是，在爬虫填充表后，行如下所示。
xyz.csv0000644000175200017530113404730513420142427014701 0 0ustar wlsadmin3456789 1 200 20190118 9040
第一列有一
浏览 0提问于2019-01-21得票数 1
1回答
我正在寻找一个PHP的网络爬虫收集一个大型网站的所有链接，并告诉我，如果链接被打破。
到目前为止，我已经尝试在这里修改了一个例子。我也试过抓取phpDig，但是网站宕机了。任何关于我应该如何进行的建议都是很棒的。
编辑
问题不是抓取链接，而是规模问题我不确定我修改的脚本是否足以抓取可能有数千个URL，因为我尝试将搜索链接的深度设置为4，但爬虫在浏览器中超时。其他人提到了一些关于杀死进程的事情，以避免服务器过载，有人可以详细说明一下这个问题吗？
浏览 0提问于2011-04-12得票数 0
我正在使用nutch 1.7，并尝试使用以下命令抓取domain1.com
bin/nutch crawl urls -dir crawl -solr http://localhost:8983/solr/ -depth 3 -topN 5
但是，在我更改urls/seed.txt、删除并添加之后，重新运行上面的命令，爬虫仍然爬行domain1.com而不是domain2.com。
有人知道为什么吗？
浏览 0提问于2013-11-27得票数 1
需要知道是否有一个爬虫/下载器，可以抓取和下载和整个网站的链接深度至少为4页。我正在尝试下载的站点有java script超链接，这些超链接只能由浏览器呈现，因此爬虫程序无法抓取这些超链接，除非爬虫程序自己呈现它们！
浏览 4提问于2010-09-30得票数 0
回答已采纳
1回答
我认为通过添加内部缓存来优化烧瓶应用lambda服务器，因为更改数据的速度相对较慢(例如，站点下拉列表每年可能会更改几次)。我用zappa部署到lambda。这有什么意义吗？或者每次请求处理时都会闪存。我知道我不能依赖aws保持状态，我的目标是在不花费大量金钱的情况下优化性能--更不用说ElastiCache了。
更新:是的，像zappa这样的无服务器部署框架循环状态，所以为什么我不应该。下面是一个黑客午间博客，更详细地讨论国家回收利用问题。
虽然Lambda函数在设计上是短暂的，但是容器仍然被重用以进行优化，这意味着您仍然可以利用内存中的状态，这些状态通过调用而持久化。
不确定是否
浏览 2提问于2018-01-16得票数 3
我需要编写一个网络爬虫，并希望能够爬行使用一个已知的用户代理。例如，我希望我的爬虫程序充当iphone来抓取网站的移动站点，然后使用Mozilla PC代理再次抓取，等等。
这样，我将能够抓取每一个“类型”的网站(移动和个人电脑)。然而，我也希望能够设置我的爬虫的用户代理，这样网站管理员也可以在他们的统计数据中看到访问整个网站的是一个爬虫，而不是真正的用户。
所以我的问题是，你们知道如何在PHP中同时设置一个移动代理和一个爬虫代理吗？这有可能吗？
浏览 1提问于2011-05-14得票数 3
回答已采纳
1回答
我试图通过使用python2.7中的爬虫来在网站的@media only screen CSS文件中找到特定的CSS媒体查询(CSS媒体查询)。
现在，我可以抓取网站/URL(从CSV文件中)，使用以下代码在其HTML源代码中查找特定的关键字：
import urllib2
keyword = ['keyword to find']
with open('listofURLs.csv') as f:
for line in f:
strdomain = line.strip()
if strdomain:
浏览 0提问于2017-02-20得票数 1
我有一个SPA (角9)，我必须主持Azure，使用SSL的URL重写爬虫到一个Prerender VM。到目前为止，我已经使用App实现了这一点，但是考虑到站点上当前的流量，S1层有点太昂贵了。
我看过在Blob上托管一个静态网站，正如许多人建议的那样，，但如果爬虫访问我的站点，如果我正确理解的话，将无法将URL重写到VM (或其他服务)。
我得出的结论是，如果我不想使用Azure，我应该使用VM，但我想知道Azure是否提供了一些我错过的东西。
需求
SSL
URL重写到Prerender VM
比应用程序服务更便宜(至少对于低流量的网站来说是这样)
感谢每一个愿意花时
浏览 1提问于2020-03-10得票数 0
回答已采纳
1回答
我的团队一直在使用Sharepoint 2010抓取大量外部网站。
Sharepoint web爬虫没有提供足够的可配置性，因此我们一直使用快速web爬虫来运行爬虫。
但是，在Sharepoint 2013中，FAST web crawler似乎已被弃用/与Sharepoint web crawler合并。
我找不到关于如何配置2013 Web Crawler组件的重要文档。它比2010年的Sharepoint爬虫更强大吗？
浏览 2提问于2013-01-17得票数 1
1回答
自愿节流请求
、、
在编写网络爬虫/刮刀时，有哪些算法和技术可以用来控制请求和避免对服务器进行检查/被禁止？当阅读到关于web抓取(例如，)时，经常会出现这种情况，但总是类似于“我应该实现节流，但没有实现”:)
我的Google-fu可能很弱，因为我发现大部分讨论都是关于如何控制请求服务器端的，还有一些(比如)是专门针对某些库的。
浏览 0提问于2014-08-24得票数 0
回答已采纳
1回答
我正在用Python构建一个web爬虫，使用MongoDB来存储一个队列，其中包含所有要爬行的URL。我将有几个独立的工人，将抓取URL。每当工作人员完成URL抓取时，它将在MongoDB集合"queue“中发出请求，以获得要爬行的新URL。
我的问题是，既然会有多个爬虫，我如何确保两个爬虫器不会同时查询数据库并获得相同的URL来抓取？
非常感谢你的帮助
浏览 0提问于2014-03-29得票数 0
回答已采纳
我正在使用scrapy/spyder来构建我的爬虫，也使用BeautifulSoup ..我一直在做一个爬虫程序，我相信我们在抓取的几个单独的页面上，我们已经达到了预期的效果，所以我的下一个挑战是抓取相同的站点，但只抓取特定于高级类别的页面。 我尝试过的唯一一件事就是使用allowed_domain和start_urls，但当我这样做的时候，它确实击中了它找到的每个页面，我们想要控制我们抓取的页面，这样我们就有了一个干净的信息列表。 我知道在每个页面上都有一些链接，这些链接会把你带到你所在的页面之外，也可能会出现在网站的其他地方。但是，我想要做的是只关注每个类别中的几个页面。 # al
浏览 5提问于2019-04-23得票数 0
我正在寻找LinkedIn爬虫代理名为。我找到了Google，Facebook和Pinterest的名字，但是我找不到Linkedin的爬虫参考。我看过LinkedIn的开发者网站，但找不到任何参考。在谷歌上，搜索结果充斥着从LinkedIn抓取内容的资源。
浏览 0提问于2018-05-02得票数 0
回答已采纳
我想抓取一个网页(新闻)，只获得最新的链接。我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
我看过Java中关于析构函数的帖子，了解到Java没有析构函数，但我很困惑，如果没有析构函数，我的应用程序需要做什么。
我的应用程序允许用户创建一系列的网络爬虫，这些爬虫保存在一个数组列表中。每个crawler都有一个进度面板gui，显示已爬行的页面等，并允许用户暂停该爬虫。但是，用户可能还想“终止”该爬虫程序。应该注意的是，Crawler类的每个实例都有一个Scraper类的实例，而Scraper类又有一个DatabaseConnection类的实例。
我需要做什么才能让用户按下"Terminate“，对于那个爬行器，它的抓取器，以及抓取器的DatabaseConnection，都被
浏览 4提问于2011-07-08得票数 0
回答已采纳
我想创建销售分析和绩效衡量爬虫或工具。我想创建一个应用程序，人们将注册与他们的网站域名，我将提供一个关键字脚本…类似于下面的内容
window.omnipredict_key = 'xxxxx-xxxx-xxxxxx-xxxxxx-xxxxxx'；
我需要认证密钥，然后我的脚本将包括在那个特定的网站，我完成了，并计划下一步发展我的脚本。这个想法即将抓取用户的活动。
我如何才能做到这一点呢？我想让它像CND一样，任何人都可以复制和传递这些密钥，并使用我的脚本。如果按键错误，我会在控制台中放入一条消息
浏览 1提问于2020-06-23得票数 0
我在一个只用于抓取公共数据的网络爬虫中使用。
我希望它能够爬行网站的无效证书，无论多么无效。
我的爬虫不会传入任何用户名、密码等，也不会发送或接收敏感数据。
对于这个用例，如果存在站点的http版本，我会抓取它，但有时它当然不会。
如何用Apache的HttpClient来实现这一点？
我尝试了一些建议，比如，但是对于一些无效的证书，它们仍然失败，例如：
failed for url:https://dh480.badssl.com/, reason:java.lang.RuntimeException: Could not generate DH keypair
failed for url
浏览 8提问于2018-11-15得票数 6
回答已采纳
我正在使用Erin Drummond的python脚本来抓取bittorrent tracker ()，但是我在抓取UDP跟踪器时似乎遇到了问题。问题是返回的“完整”数字始终是10或更小。这对我来说似乎不太现实，因为据我所知，这是跟踪器注册了一个torrent的完整下载的次数。我用100d的infohashes进行了测试，以确保这不只是一个巧合。
我一直在调整本地网络的缓冲区大小(4096而不是2048)和套接字超时(10而不是8)，但除此之外，我没有更改任何内容。有没有人有什么建议可能会导致不完整的“完整”数字？也许超时仍然太低？
浏览 4提问于2013-11-05得票数 4
我用scrapy写了一个蜘蛛。每次我尝试抓取一个特定的网站时，爬虫在一开始都运行得很好。但是当我下降到500-600个请求时，蜘蛛开始爬行得非常慢。
我检查了内存和cpu设置，但这不是问题所在。我很确定这个网站正在放慢我的请求。
如何调整scrapy以快速一致地抓取？
浏览 2提问于2020-07-30得票数 0
1回答
我在建一个网络爬虫来搜索。因为我只需要文章的标题来索引。我使用Jsoup连接URL目的地。
Jsoup.connect(url).timeout(20000).execute();
但是我遇到了一个问题，连接超时。我想知道超时是否是因为在该URL上加载了许多图像而发生的。
我如何才能获得一个网页，而不用加载图片使用Jsoup？
浏览 0提问于2018-06-13得票数 0
我正在运行Nutch 1.4/Solr 4.10来索引许多站点。我的爬虫包括一些带有数百个链接的种子页面。我目前运行的是
-topN 400 -depth 20
使用这些设置，完成抓取需要5-7个小时。我希望"nutch crawl“的每个单独迭代花费较少的时间，但我需要确保所有页面最终都被爬行。我是否可以减少我的-topN或-depth值，同时仍然确保所有页面都将被抓取？
浏览 0提问于2016-10-11得票数 0
我使用AWS Glue Crawler来抓取大约170 GB的avro数据来创建一个数据目录表。
avro数据中有几个不同的模式版本，但是爬虫仍然设法将数据合并到一个表中(我启用了“按数据兼容性分组和模式相似性模式”)。
这是当事情变得有问题的时候。
我只能使用雅典娜对数据运行SELECT COUNT(*) FROM <DB>.<TABLE>查询-任何其他查询都会引发以下错误：
GENERIC_INTERNAL_ERROR: Unknown object inspector category: UNION
简单的Google检查让我相信这与avro文件中的模式有关。
通
浏览 0提问于2019-03-24得票数 0
当scrapy关闭时，它会忘记所有的urls。我想给scrapy一组网址，已抓取，当它是开始。如何向爬虫添加规则，让爬虫知道哪些urls被访问过？
当前函数：
SgmlLinkExtractor(allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths(), tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None)
只需使用parse告诉爬虫抓取哪个
浏览 0提问于2012-11-28得票数 3
2回答
我想让一个抓取爬虫在芹菜任务工人内部不断运行，可能使用。或者，正如所建议的，这个想法是使用爬虫程序来查询返回XML响应的外部API。我希望将我想要查询的URL (或查询参数并让crawler构建URL)传递给crawler，crawler将进行URL调用，并将提取的项返回给我。一旦爬虫程序开始运行，我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫，而是希望爬虫无所事事地等待URL爬行。
我发现的在另一个python进程中运行scrapy的两个方法使用一个新进程来运行爬虫程序。我不希望每次我想要抓取一个URL时，都必须派生和拆卸一个新的进程，因
浏览 0提问于2013-05-23得票数 2
1回答
我有这个问题，几个月前，我用抓取器部署了一个war文件，从某些网站提取数据，爬虫正常工作，但后来他们开始失败，我以为网站改变了，但事实并非如此。
所以，调试爬行器，我刚刚发现数据没有被正确地解析，因为它是用另一种货币(假设我得到的是加拿大的，而不是美国的)。
我不知道为什么这会突然改变，我很漂亮，我设置了用户代理从一个特定的国家获得货币，但现在它似乎被忽略了。
我尝试了一些方法来查看是否有任何变化，比如默认情况下将User.country这样的Java属性更改为US。没有结果。
注意:我的测试是在本地服务器上运行的，这里的数据总是以美国美元计算，生产服务器位于澳大利亚。
我正在寻找一个人谁可以
浏览 4提问于2016-10-07得票数 0
回答已采纳
我写了从Python script.Now启动抓取爬虫的代码，我想要一致的绕过网站列表，即我为一个网站运行爬虫，当它完成抓取时，我关闭爬虫并重复调用另一个网站的爬虫。
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from datetime import datetime
start_urls=['https://sentek.ru/','http://www.s-kab.ru/',https://sevkab.nt-
浏览 0提问于2019-04-27得票数 0
我目前已经在一个heroku应用上部署了我的Rails应用，一切都运行正常。
我还在另一个heroku应用程序上部署了另一个版本。
当我试图在第二个应用程序上部署我的更新代码时，我得到了错误：
应用程序错误应用程序中发生错误，无法提供您的页面。请稍后重试。
以下是我收到错误的日志。很抱歉屏幕抓取，没有复制/粘贴。
编辑:该应用程序在本地也能完美工作
浏览 3提问于2014-03-03得票数 0
1回答
我有一个初学者的问题:我想用MozMill编写一个爬虫(大约1000个网页)，但太多时候，网站在加载一些元素时会出现问题，所以没有页面加载。--> waitForPageLoad()方法停止我的爬虫程序我该如何继续？
浏览 1提问于2012-02-24得票数 0
回答已采纳
我几乎所有的网站页面都是用户访问的，如果不是用户，没有登录，他们根本就不能访问这些页面。
搜索引擎爬虫是否仍然能够列出、抓取和索引这些用户页面，因为它们不会登录？
有没有更好的方法来使用这个系统来获得更好的索引？
浏览 0提问于2011-09-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
