我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
要么是我的google-fu让我失望了，要么就是还没有太多的人这么做。正如您所知，Backbone.js有一个弱点--它不能为页面爬虫(比如googlebot )呈现的html提供服务，因为他们不运行JavaScript (尽管考虑到它的Google拥有自己的资源、V8引擎，以及JavaScript应用程序正在崛起这一令人警醒的事实，我预计有一天会发生这种情况)。我知道Google有一个hashbang的解决方案，但这只是一个糟糕的主意。另外，我正在使用PushState。这对我来说是一个极其重要的问题，我也希望对其他人也是如此。SEO是不可忽视的东西，因此对于许多需要或依赖的应用程序来说，不
浏览 4提问于2012-09-16得票数 19
2回答
我必须运行微爬虫，这是一个爬虫网络应用程序，与node.js运行。我不知道如何打开这个应用程序，我下载了node.js，当我在node.js命令行中编写install npm和install bower时，什么也没有发生。我也不知道如何在安装后启动web应用程序。
请帮帮我
浏览 2提问于2014-09-28得票数 1
作为编写爬虫程序(用Node.js编写，但实际上不是重点)的一部分，我有时会收到超时和其他网络异常。某些异常(如http errorcode)可以正确地归因于目标请求端点。其他的，比如我自己配置的超时就更难了(不可能？)至属性。
例如，当使用http代理抓取时，如何检查异常(如前面提到的超时)是由于代理还是由于请求端点？
浏览 5提问于2013-06-29得票数 0
回答已采纳
我想知道-爬虫可以完全用javascript编写吗？这样，只有当用户需要信息时才会调用爬虫程序，并且所有内容都是从用户的计算机上运行的。
如果crawler是在服务器端编写的，是不是也有IP被阻塞的风险？
浏览 1提问于2010-04-18得票数 3
1回答
我刚写完一个爬虫，一直在想为什么爬行某个网站会很糟糕。我知道现代浏览器的风险主要是由javascript造成的。因此，我的问题是，web爬虫(用PHP或Java编写)是否能够刮起可能会对爬虫造成损害的站点？
浏览 3提问于2014-11-08得票数 1
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot许多不必要的特性(bloats)Ability很容易集成到我的项目中。
浏览 1提问于2012-04-16得票数 0
回答已采纳
我正在考虑写我自己的，但我想知道是否有好的网络爬虫在那里是用Ruby编写的。
除了一个成熟的网络爬虫，任何可能有助于构建网络爬虫的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了，但是一个适用于构建网络爬虫的宝石列表也是一个很好的资源。
浏览 2提问于2011-02-13得票数 21
回答已采纳
我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。
现在，我正在使用cron作业，每15分钟运行一次爬虫。问题是，我无法知道爬虫要花多少时间才能完成(有时可能需要超过15分钟)，如果已经在运行，我不想再运行另一个爬虫。
我一直在想，我是否最好使用一个无限循环，并使爬虫成为一个永久运行的进程(但是如何确保爬虫不会失败并退出呢？以及如何在每次退出时重新启动？)。
哪一个更有效率？无限循环还是cron作业？
浏览 7提问于2021-05-14得票数 0
2回答
我有一个网站，这是相当好，但与非常少的信息。所以我想添加一些信息，比如关于特定领域的新闻(比如政治、好莱坞等)。我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。
其次，我正在做过去两天的研究，但我找不到一个特定的来源能够做到这一点。现在我希望爬虫找到信息，规范化并存储在mysql数据库中。听起来很简单哈。但这不适合我。
因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。我也希望定制它，所以任何工具，这是开源的，很好地被定制将是伟大的。
任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜
浏览 0提问于2010-11-11得票数 0
1回答
我用python编写了一个爬行过程，它运行在亚马逊上的一个ec2实例上。我已经编写了这个爬虫，这样它就可以用它的结果向一个单独的"hub“实例报告。集线器处理爬虫的结果，爬虫可以自由地继续爬行。我在这个爬行实例中想到的是，克隆爬虫的几个实例很容易，每个实例都要向中心报告以便处理。
因此，在这一点上，我有一个集线器和8个单独的爬行器(都在它们自己的实例上)不断地爬行和报告等等。
我在想用小的，分开的爬行器：
有冗余，所以如果一个爬虫被挂断，其余的爬虫可以继续工作。
(这是一个假设)如果每个爬虫都有自己独立的ip，我就有更好的网络利用率。
我可以旋转几个爬虫或缩小规模取决于我目
浏览 2提问于2015-01-08得票数 0
回答已采纳
3回答
谷歌机器人信息？
、、
有没有人知道更多关于谷歌网络爬虫(又称GoogleBot)的细节？我很好奇它是用什么写的(我自己做了几个爬虫，现在正准备做另一个)，以及它是否能解析图像之类的东西。我假设它是这样做的，b/c images.google.com中的图像都被调整了大小。如果它都是用Python编写的，如果他们使用自己的库来做大多数事情，包括html/image/pdf解析，我也不会感到惊讶。也许他们不会这样做。也许它们都是用C/C++编写的。提前谢谢你-
浏览 1提问于2010-04-14得票数 0
回答已采纳
我有一个用C编写的小网络爬虫，它从不同的网站收集一些数据，并创建json对象，这些json对象作为utf-8编码的字符串通过unix套接字发送。
Node.js正在监听该套接字文件，并接收所有的json字符串。
现在的问题是，如何才能将这些数据发送到所有连接的socket.io客户端？
提前感谢并为我糟糕的英语表达歉意。
浏览 0提问于2014-11-16得票数 0
3回答
我试着做三件事。
第一:抓取和存档，至少每天，一组预定义的站点。
第二:对此数据运行通宵批处理python脚本(文本分类)。
第三:向用户公开一个基于Django的前端，让他们搜索抓取的数据。
我一直在使用Apache Nutch/Lucene，但当我可以使用另一个爬虫引擎时，让它与Django很好地配合似乎太难了。
about 建议我可以只用Django本身编写爬虫，但我不确定该怎么做。
基本上--对于用Django或现有的python爬虫编写我可以适应的爬虫有什么建议吗？或者我是否应该在第二步中加入“变成Django友好的东西”，并编写一些胶水代码？或者，最后，我应该完全放弃Django吗
浏览 0提问于2009-06-09得票数 2
2回答
我试着用Scrapy写一个小的网络爬虫。
我编写了一个抓取特定页面上某些链接的URL的爬虫，并编写了指向csv文件的链接。然后，我编写了另一个爬虫，它在这些链接上循环，并从指向这些链接的页面下载一些信息。
链接上的循环：
cr = csv.reader(open("linksToCrawl.csv","rb"))
start_urls = []
for row in cr:
start_urls.append("http://www.zap.co.il/rate"+''.join(row[0])[1:len('&#
浏览 8提问于2013-11-26得票数 0
回答已采纳
我想使用一个网络爬虫和抓取一个特定的网站。该网站是一个学习管理系统，许多学生在这里上传他们的作业，项目演示文稿等。我的问题是，我可以使用网络爬虫下载已经上传到学习管理系统中的文件吗？下载它们之后，我想为它们创建一个索引，以便查询文档集。用户可以使用我的应用程序作为搜索引擎。爬虫能做到这点吗？我知道webeater (用Java编写的Crawler )
浏览 1提问于2011-03-30得票数 1
回答已采纳
3回答
用PHP解释JavaScript
、、、、
我希望能够运行JavaScript并使用PHP获得结果，并且想知道是否有一个PHP库允许我解析它。我的第一个想法是使用node.js，但由于node.js可以访问套接字、文件和其他东西，我想我更愿意避免这样做。
的基本原理：--我正在用进行屏幕抓取，并且遇到了许多情况，其中的数据是由JavaScript在前端生成的，我想避免编写专门的过滤函数，以便在每个案例的基础上对JavaScript进行操作，因为这需要很多时间。更一般的情况是直接解析JavaScript。
否决：--我不知道这个问题有什么争议，现代的网络爬虫都知道，唯一的区别是它们往往不是用PHP编写的。1
浏览 6提问于2010-12-02得票数 15
回答已采纳
4回答
我正在寻找一个客户端重定向到另一个领域的PHP。
我不想做301 - 302 - 307等重定向的原因是因为我希望页面向爬虫程序发送一个200HTTP OK响应。
我通常使用混淆的JavaScript在静态use主机(如S3 )上执行此操作，但是，我意识到爬虫程序可能会拾取JS，因为它是客户端。
我使用的未被阻塞的JS代码示例；
window.location.href = "http://yourURL.com";
然而，爬虫很难找到PHP，所以我想做一个类似的重定向，但用的是PHP。
如果有人能分享他或她的意见，这将是最好的方式。
提前感谢！
浏览 0提问于2015-07-29得票数 0
2回答
有效地搜索大量URL列表
、、、
我正在建立一个网络爬虫，它必须爬行数百个网站。我的爬虫保存了一个已经爬行的urls列表。每当爬虫要爬行一个新页面时，它首先搜索已经爬行的url列表，如果已经列出了，则爬虫跳到下一个url，以此类推。一旦url被爬行，它就会被添加到列表中。
目前，我正在使用二进制搜索来搜索url列表，但是问题是，一旦列表变大，搜索就会变得非常慢。因此，我的问题是，我可以使用什么样的算法来搜索一个urls列表(列表的大小每天增长到20到100 k)。
爬虫目前是用Python编写的。但我将把它移植到C++或其他更好的语言中。
浏览 5提问于2016-06-23得票数 0
回答已采纳
我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本，一个线程下载池和一个池处理结果。由于有了GIL，它真的可以同时下载吗？GIL对网络爬虫有什么影响？会不会每个线程从套接字中提取一些数据，然后转到下一个线程，让它从套接字中提取一些数据，等等？
基本上我想问的是，用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗？
谢谢!
浏览 4提问于2010-05-14得票数 10
回答已采纳
2回答
我需要运行我的爬虫从我的网络管理。我有两个想法要做：
将爬行器作为外部进程运行。很简单，但我不想要。
爬虫将是我的网站的一部分，我会在后台运行它。我觉得这是个更好的解决办法。我在找像这样的东西。里面有什么办法吗？
应用程序用C#编写，在Linux上使用.NET内核。
浏览 3提问于2016-06-11得票数 0
5回答
我不知道从哪里开始找。我读过关于守护进程的文章，不理解这个概念。
更多详情：
我一直在写一个爬虫，从来没有停止和爬虫通过RSS在互联网上。
爬虫是用java编写的，因此现在它是一个jar。
我是一台拥有Ubuntu11.04的机器的管理员。
这台机器有一些崩溃的机会，所以我希望每次你启动机器时，爬虫都能运行。
此外，我希望它继续运行，即使当我注销。我不确定这是可能的，但大多数时候我都是注销的，而且我仍然希望它能够爬行。
有什么想法吗？有人能给我指明正确的方向吗？
只是在寻找最简单的解决方案。
浏览 0提问于2012-01-28得票数 29
回答已采纳
1回答
我该如何为谷歌chrome扩展网站编写一个爬虫呢？
我正在做一些关于chrome扩展的安全研究。每个类别大约有100个扩展，我现在遇到的问题是编写一个爬虫来至少抓取UID。这个网站似乎是用javascript更新的。如果我抓取html，我将什么也得不到，因为该站点似乎会在稍后阶段加载页面的其余部分。换句话说，我需要的核心内容(即包含所有扩展元素的DOM )似乎是在我使用python抓取HTML之后加载的。有什么想法吗？
浏览 2提问于2012-04-21得票数 1
回答已采纳
我在找的电子邮件地址
参展商--退回1011份结果
我编写了一个PHP爬虫来获取
但是，我需要将“电子邮件通用公司电子邮件”与我的鼠标悬停，以显示电子邮件地址。我想通过我的爬虫自动完成它。
我们可以在代码中看到js函数。
function fixEmail(mungedAddress) {
Address = mungedAddress;
var sAddress = decode(mungedAddress);
$('#Email').attr('href', 'mailto:' + sAddress);
}
fun
浏览 4提问于2015-11-10得票数 1
回答已采纳
0回答
我正在开发一个应用程序，这将有一些网站的网络爬虫。
应用程序将通过URL触发Azure函数，爬虫将从该URL开始工作。
到目前为止，一切顺利，但是，我们必须保存一些爬虫通过该站点的证据。我们正在考虑用爬虫经过的屏幕保存一个PDF文件，但是，由于Azure函数没有GDI+，它不能与Selenium或PhantomJS一起工作。
一种不同的方法是下载HTML内容并以某种方式将此HTML字符串(带有所有JS和CSS依赖项)保存到PDF文件中。
我想要一些库，它可以与Azure函数一起工作，以制作一些URL (或HTML字符串)的屏幕截图，并保存为PDF。
谢谢。
浏览 7提问于2018-07-16得票数 0
回答已采纳
我试图用Mechanize编写一个网站爬虫，我发现我的目标网站是以SPA的方式编写的，虽然有一堆文本字段和按钮，但是没有表单！
如何使用mechanize填充文本字段并单击窗体外的按钮？
浏览 5提问于2015-08-19得票数 1
回答已采纳
我有一个url列表，例如[‘ '，'，...]。
这些urls在一个域名中，我用Scrapy编写了一个爬虫程序，我需要使用相同的爬虫程序一起运行这些urls。如果我有10个urls，我想创建10个相同的进程来运行爬虫程序，以提高效率。有解决方案吗？
我尝试使用CrawlerProcess来运行爬虫，但是如果urls太多，它会提醒我有太多TCP连接的错误。虽然crawler始终处于运行状态，但这种方法不利于维护。
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_proje
浏览 0提问于2019-01-06得票数 0
3回答
我想创建或找到一个用Python编写的开源网络爬虫(爬虫/机器人)。它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。
有谁知道可以帮助我的开源脚本吗？此外，如果有人能给我一些关于我应该做什么的建议，那么他们将非常受欢迎。
浏览 4提问于2011-08-11得票数 6
回答已采纳
1回答
我用c# (使用Microsoft WebCrawler)编写了一个简单的网络爬虫项目，它可以下载特定站点的内容。
我已经为DocumentCompleted注册了事件，并等待页面的ReadyState完成。
当我使用任何浏览器导航到页面时，该站点运行得非常好。当我试图在代码中执行相同的操作时，页面的ajax部分没有正确加载。
正如Marcom建议的那样，我从我的网页爬虫和网页浏览器上看到了小提琴的响应。当我的网页爬虫导航到网页时，他会在与网页相反的一个仿真器上接收假信息。
有线索吗？
浏览 1提问于2011-03-11得票数 0
1回答
我想用JS写我自己的网络爬虫。我正在考虑使用node.js解决方案，如
目标是每10分钟进行一次“爬行”，所以我希望我的爬虫每10分钟从网站上获取数据。
我知道我可以编写一个无限循环，例如：
var keeRunning = true;
while (keepRunning) {
// fetch data and process it every 10 minutes
}
如果我一直都有我的电脑，而且我在网站上，这会非常好的工作。
然而，如果我关闭我的电脑，我可以想象它将不再工作了。那么，我应该考虑什么样的解决方案来让脚本一直运行，即使计算机被关闭了呢？
浏览 3提问于2015-05-23得票数 5
回答已采纳
我正在用scrapy写一个爬虫，但是，我遇到了一些用js渲染的网站，因此urllib2.open_url不能工作。我发现我可以用webbrowser.open_new(网址)打开浏览器，但是我不知道如何用webbrowser获取页面的源码。有没有什么方法可以用webbrowser来做这件事，或者有没有其他没有webbrowser的解决方案来处理js站点？
浏览 1提问于2013-01-11得票数 2
我正在尝试制作一个爬虫，由于数据没有显示在页面源代码中，我只能使用web驱动程序执行javascript并获得响应，然后进行数据分析。脚本被简化了，就像这样，使用Promise。
var res = ""
function f1() {
p = window.Promise
a = p.resolve(5).then(function(value) {
console.log(value)
res = value
return res
})
return a
}
console.log(f1())
浏览 1提问于2016-12-16得票数 1
1回答
我有一个爬虫，它每隔60秒检查一次用Nodejs编写的URL列表。它不使用数据库，在内存中存储一些项目，并且应该全天候运行。
托管这个爬虫的合适的解决方案是什么？
据我所知，AWS是按秒付费的，我想这会让一个全天候的过程变得非常昂贵？也许我在这里遗漏了一些东西，AWS文档非常令人困惑。
浏览 1提问于2020-09-22得票数 0
1回答
我想了解Googlebot (和其他爬虫)如何爬行我的网站。具体而言，它是否传递一个document.referrer，如果它维护localStorage密钥，那么我通过Google实现了一个脚本，该脚本检测这些爬虫并将数据记录到Logstash。
这是我用来检测爬虫用户代理的条件(为爬虫返回true )：
function() {
if(navigator.userAgent.indexOf('robot de Google') < 0 &&
navigator.userAgent.indexOf('Googlebot') <
浏览 0提问于2018-02-09得票数 4
回答已采纳
我正在编写一个网络爬虫。所有链接都存储在MySQL数据库中。因为我将在多个节点上运行爬虫程序，所以我需要尽可能快地将URL设置为“正在爬行”，以保持高效。
我的网络爬虫是用C#编写的。现在，它下载URL和ID，然后将URL设置为使用ID爬行。问题是它需要两个不同的查询。有没有办法把它们结合在一起呢？
下面是我当前的代码：
string stm = "SELECT * FROM pages WHERE IsCrawled = 0 LIMIT 1;";
MySqlCommand cmd = new MySqlCommand(stm, conn);
cmd.ExecuteScalar
浏览 1提问于2014-03-02得票数 0
8回答
我用Ruby语言编写了一个网络爬虫，我正在使用Nokogiri::HTML来解析页面。我需要把页面打印出来，当我在IRB中闲逛的时候，我注意到了一个pretty_print方法。然而，它需要一个参数，我不知道它想要什么。
我的爬虫正在缓存网页的HTML，并将其写入我的本地计算机上的文件。我想要“漂亮打印”的HTML，以便它看起来很好和适当的格式时，我这样做。
浏览 1提问于2009-12-14得票数 28
回答已采纳
1回答
向机器人隐藏代码
、、、、
我只是在想。有没有一种方法只对爬虫隐藏页面的特定部分？
我知道我可以设置"display: none“，然后用JS将其显示给用户。在过去，它可以工作，但现在爬虫(/will )更聪明(尤其是谷歌的爬虫)，可以阅读JS。
那么，有没有办法对机器人隐藏某些部件，但在未来不会对用户隐瞒？不是整页，只是部分。
PS #1:我只是在想，我没有理由这么做(现在？)
PS #2:也许AJAX是可能的？但没有理由不让智能js阅读爬虫来隐藏它。
谢谢大家，
麦芽酒
浏览 6提问于2014-10-16得票数 0
回答已采纳
我已经用PHP编写了自己的SiteSearch脚本。
SiteSearch解析来自queryString的两个D1参数：
search //搜索短语
filters (可选) //指示站点的哪些部分包括或忽略
我不介意GoogleBot和其他爬虫读取search参数。
但是，我建议爬虫忽略filters参数，因为该参数的大量配置只会返回相同的结果--对于爬虫来说，返回相同的、重复的页面。
尽管我希望将以下内容添加到我的robots.txt文件中：
User-agent: *
IgnoreParameter: filters
这不是一个选择。
和一个元机器人指令，比如：
也不是一个选择。
有什
浏览 0提问于2021-04-29得票数 2
回答已采纳
4回答
嗨，我用python编写了一个网络爬虫，从nytimes.com这样的新闻网站上提取新闻文章。我想知道什么是一个好的数据库作为这个项目的后端？
提前感谢！
浏览 3提问于2010-01-27得票数 1
回答已采纳
由于某些原因，facebook爬虫在我的rails操作中触发了json响应。这导致该操作只返回对象的json表示，而不返回普通的html标记+打开的图形标记。我已经用rails 3.2.6对此进行了测试。我使用facebook的open graph调试器来查看抓取器正在看到的内容：。
代码非常简单。想象一个对象的一个简单的"show“操作，例如一个用户。它以以下方式结束：
respond_to do |format|
format.js { render :json => @this.to_json }
format.html
end
facebook爬虫正在触发form
浏览 0提问于2012-06-20得票数 9
回答已采纳
4回答
我正在编写一个爬虫，需要从许多网站获取数据。问题是每个网站都有不同的结构。我如何才能轻松地编写一个从(许多)不同网站下载(正确)数据的爬虫？如果网站的结构发生变化，我是否需要重写爬虫，或者是否有其他方法？
什么逻辑和实现的工具可以用来提高自动网络爬虫挖掘的数据的质量(许多网站涉及不同的结构)？
谢谢!
浏览 0提问于2012-07-20得票数 1
我有一个应用程序，分为两个主要部分：
用Python编写的网络爬虫
用Golang编写的REST
他们共享一个MySQL数据库，该数据库主要由web爬虫填充/更新，然后通过REST读取。
我想在双方都使用ORM，以使与数据库的交互更容易，但现在我不确定这是否是一种好方法。
在Python方面，我考虑使用小淘气，而对于Golang，我将使用戈姆。
维护两组ORM模型文件似乎不是个好主意，每当我想要更改数据库的某些属性时，都必须更改每组文件。此外，我担心两个or在争夺数据库的结构时，可能会出现冲突，或者模型可能与实际的db结构不同步。
在这种情况下，使用ORM会带来比其价值更大的麻烦吗？或者我应该
浏览 0提问于2015-10-13得票数 2
2回答
我有一些图像分类器是用python编写的。网站上有很多例子，描述了在stdin/stdout的风暴螺栓中使用python的方法。我想集成我的python图像分类器和风暴爬虫拓扑。有可能吗？
谢谢
浏览 2提问于2020-01-04得票数 0
回答已采纳
5回答
我已经在HTML中将页面编码设置为UTF-8：
meta http-equiv="content-type" content="application/xhtml+xml; charset=UTF-8"
在HTTP头中，我有：
Content-Type text/html; charset=UTF-8
为什么é没有正确显示？
更新：
包含é的数据是从互联网上爬行的；爬虫是用微软.Net编写的。我使用MySQL .Net连接器连接MySQL。
显示é的页面是用PHP编写的。
浏览 4提问于2011-06-25得票数 7
回答已采纳
4回答
在过去的几天里我开始学习蟒蛇。我想知道用python编写爬虫的等效方法。
所以在红宝石里我用：
nokogiri，用于爬行html并通过css标记获取内容。
用于从url获取JSON数据的Net::HTTP和Net::HTTP::Get.new(uri.request_uri).body
在python中，它们的等价物是什么？
浏览 6提问于2012-10-15得票数 2
回答已采纳
4回答
"in“的有效替代
、、、
我正在编写一个网络爬虫，最终目标是创建爬虫所走路径的地图。虽然我不知道其他爬虫以多快的速度抓取页面，但我的爬虫每分钟大约有2000页。
爬虫使用递归回溯算法，我将其深度限制为15。此外，为了防止爬虫无休止地修改页面，它将访问过的每个页面的url存储在一个列表中，并检查该列表中是否有下一个候选url。
for href in tempUrl:
...
if href not in urls:
collect(href,parent,depth+1)
当这种方法被拉下大约300,000页时，它似乎成了一个问题。在这一点上，爬虫的平均速度是每分钟500页。
所以我的
浏览 0提问于2011-06-29得票数 4
回答已采纳
1回答
我最近刚刚对搜索引擎的工作原理产生了兴趣，我发现它们使用的是“机器人”或“网络爬虫”。我立即开始想知道这些东西是如何工作的，我想要创建一个！那么，首先:如何编写一个从服务器请求页面的程序？如果你能用JavaScript给我一个简单的例子，那就太棒了(我用Node作为一种普通的脚本语言运行它)。接下来，有没有让我解释HTML的Node模块？为我创建一个DOM，这样我就可以遍历所有的链接，等等？如果我错了请纠正我，但我想它是这样做的.任何用C++、C或Python语言编写的例子都是受欢迎的，尽管我更喜欢JS或Python语言，因为我更熟悉高级脚本语言。
浏览 6提问于2011-12-26得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
