我目前使用作为我的网络爬虫的选择，我试图自学网络爬虫是如何工作的。我已经开始爬行了，我希望它能在下面的根目录(/ crawlStorageFolder / crawl /crawlStorageFolder)中快速返回爬行过的数据
public class Controller {
public static void main(String[] args) throws Exception {
/*
* crawlStorageFolder is a folder where intermediate crawl data is
浏览 1提问于2012-09-23得票数 0
2回答
我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的数据库中。 有时因为脚本加载了很长时间，我在浏览器中遇到超时， 但在后台，我继续说。我在我的数据库里看到了。 我能防止这种情况吗？..现在，如果我停止webserver，这是可能的。 谢谢你，并致以最良好的问候。
浏览 0提问于2010-01-22得票数 0
7回答
我正在寻找一些健壮的，良好记录的PHP网络爬虫脚本。也许是Java项目的一个port -
我正在寻找免费和非免费的版本。
浏览 2提问于2011-01-30得票数 9
回答已采纳
1回答
我已经建立了一个网络爬虫，应该爬行我的客户网站每晚。我不希望我的请求出现在他们的Google分析中，那么我如何自动确保这一点？
据我所知，我是通过用户代理指示请求来自爬虫的。那么，默认情况下，我应该使用哪个用户代理字符串来获得过滤掉我的请求的分析(这样客户就不需要从他们的报告中过滤掉请求)
浏览 2提问于2011-12-20得票数 1
1回答
朋友们，我用Java实现了一个多线程的网络爬虫。为了使它更高效，我想将其转换为分布式架构，即在3台机器上。据我所知，主从架构是最好的。谁能提供一些见解，说明哪种体系结构是最好的，以及我如何用Java实现它？
浏览 0提问于2013-02-26得票数 0
1回答
我正在用nodejs开发一个网络爬虫。我在网站爬行体中创建了一个独特的urls列表。但也有一些扩展像jpg，mp3，mpeg .我想避免爬那些有扩展的人。有什么简单的方法吗？
浏览 3提问于2015-10-14得票数 0
回答已采纳
而不是使用google搜索设备爬虫来索引内容，而是使用对sql服务器数据库的查询。
查询运行得很好，但我认为所有这些注册表现在都属于默认集合( Google Search Appliance的完整索引)。
您知道如何仅使用查询的数据创建新的集合吗？
提前谢谢。诚挚的问候。何塞
浏览 0提问于2010-02-09得票数 1
回答已采纳
3回答
我目前正在做我自己的网络爬虫，我想知道…
网络爬虫再次访问相同站点的合适间隔是多少？
你应该每天重温一次吗？每小时一次？我真的不know...has任何人在这件事上的一些经验？也许有人能给我指个方向？
浏览 0提问于2010-07-10得票数 1
回答已采纳
在服务器上部署了爬虫，想在不使用远程桌面的情况下直接就能查看服务器硬盘上爬虫爬取到的最新数据，想问一下该如何实现？
浏览 345提问于2020-04-16
1回答
我想抓取网站和写入输出到Solr与我的应用程序。我的爬虫使用卡夫卡把爬行的网站对象的一个主题和水槽将重定向输出到Solr。有多个爬虫产生数据卡夫卡。
我的问题是:当一个爬虫想要爬一个网站，其他爬虫不应该尝试爬行它。如何在分布式环境中与它们通信？
浏览 0提问于2017-06-01得票数 2
是否存在一些标准的持续时间，爬虫必须在重复命中同一服务器之间等待，以避免使服务器负担过重。
如果没有，任何建议是什么可以是一个良好的等待时间爬虫被认为是礼貌的。
这个值在不同的服务器上是否也不同...如果是这样的话，如何确定呢？
浏览 0提问于2009-04-28得票数 7
我有一个数据库的一些数据，如网址，ip，国家，州等。
我需要抓取url并将值映射到url。
假设我有一个url 和美国国家，我需要用抓取的数据来映射这个国家。
我尝试了数据库爬虫，它是非常慢的.Because我有500万的网址。
是否有其他选项可以将数据库值与open search服务器搜索的数据进行映射。？？
提前谢谢。
浏览 3提问于2012-12-22得票数 0
我希望将glue爬虫程序设置为仅爬行s3存储桶中的新文件夹。根据文档，看起来我想将RecrawlBehavior设置为CRAWL_NEW_FOLDERS_ONLY。但是我找不到任何关于如何在CloudFormation模板中做到这一点的指导。 这现在是我的爬虫程序的配置属性，但是我对RecrawlBehavior的使用是无效的： Configuration: "{\"Version\":1.0,\"RecrawlBehavior\":\"CRAWL_NEW_FOLDERS_ONLY\",\"CrawlerOutput\"
浏览 59提问于2020-11-07得票数 2
回答已采纳
我像数据库网站一样运行wiki。有些人经常爬(刮)我的网站数据。所以我想阻止这些爬虫。
是否有一个脚本来阻止一定数量的来自同一个IP地址的请求？
浏览 14提问于2021-12-12得票数 0
3回答
我正在开发一个网络爬虫，它从世界各地的网站抓取数据，并处理不同的语言和编码。
目前我正在使用以下函数，它在99%的情况下都有效。但有1%让我头疼。
function convertEncoding($str) {
return iconv(mb_detect_encoding($str), "UTF-8", $str);
}
浏览 0提问于2011-07-03得票数 4
回答已采纳
1回答
我想爬一个公开可用的网站(和一个合法的爬行)的个人项目。通过对爬虫的简单试用，我发现我的程序在一秒钟内就有8次使用新的HTTPRequest来访问服务器。按照这个速度，根据我的估计，要获得完整的数据，我需要大约60天的爬行。
虽然该网站是合法的爬行，我知道它仍然是不道德的爬行速度，造成不便的正常流量在网站上。我想在这里理解的是我是否可以这样做4倍(运行4个实例的我的爬虫并行)，使总工作量下降到只有15天，而不是60天？
您如何找到网络服务器支持的最大命中率？爬行率的理论(和道德)上限是什么，以避免对服务器的常规通信产生不利影响？
浏览 0提问于2014-08-19得票数 0
0回答
使用Python语言编写爬虫程序，使用正则表达式将指定日期时段内的全部上市公司股票数据爬取下来，并按照股票代码保存到相应的Excel文件中。
有偿联系微信：15527440125
浏览 204提问于2020-05-23
1回答
https://github.com/aws-samples/aws-step-functions-kendra-web-crawler-search-engine 我指的是上面的链接，并在特定的网站上实现网络爬行。 我已经使用命令deploy --profile --with-kendra部署了堆栈 但是当我使用crawl --profile --name lambda--docs --base-url https://docs.aws.amazon.com/ --start-path /lambda --关键字lambda//dg时 出现错误：'/crawl‘未被识别为内部或
浏览 22提问于2021-04-14得票数 0
如题，我最近在做一个数据分析，想要用到美团的美食信息，于是就想用python爬取美团的数据，但是在构造爬虫的时候发现美团有一个_token参数，百思不得其解，还请大神指教
浏览 2249提问于2018-09-12
我的问题是:我有sharepoint 2007 web应用程序和windows server 2008操作系统。我在SharePoint2007中做搜索，它工作得很好。最近我添加了一个新的网站页面，但它没有出现在搜索结果中。我也在爬虫日志中查找了它，但我没有找到页面的url。
新信息当我切换到windows身份验证时，一切都很好，页面是在搜索process.but中找到的，切换回表单身份验证不会使网页出现在搜索结果中。
我的问题是:如何让新页面出现在搜索结果中？
浏览 1提问于2013-01-31得票数 0
我正在用Ruby构建一个网络爬虫，Rails作为前端。我使用的是Mechanize，它是基于Nokogiri构建的。我已经实现了一个可以抓取网页的解决方案，但我希望能够在一次运行中抓取20万个网站，我知道有一种比等待几个小时才能完成的更好的方法。我希望能够通过激发并行请求来实现最佳性能，而不会让它变得太复杂。我不知道任何关于线程和它的限制是什么，所以不要在爬虫运行时将服务器扣为人质，如果有人愿意指出我可以在哪里学习如何做到这一点，或者至少告诉我我应该寻找什么。保持在我的，我将写入数据库和文件(可能我可以从数据库导出，一旦抓取完成，而不是直接写入文件)。谢谢。
注意:在SO中有一个类似的问题，但
浏览 0提问于2012-09-22得票数 3
回答已采纳
1回答
从论坛中抓取数据
、、
我对Scrapy很陌生。我想爬所有的帖子从一个论坛，和最新的那些新的帖子。有一些问题我想弄清楚。
1.如何确保爬虫不会爬行两次？
2.如果有某种机制可避免两次爬柱。即使我重新启动爬行器，这个机制也能工作吗？
3.爬虫会继续自动爬行新职位吗？
4.我需要在这个项目中使用什么db / plugin？
以下是蜘蛛类的初始化
name = "forum"
allowed_domains = ["forum.com"]
start_urls = (
'http://s7.forum.com/posts.aspx',
浏览 6提问于2014-12-01得票数 1
回答已采纳
我需要运行一个php脚本(网站爬虫)上提交按钮点击，而不是页面重新加载。后台脚本运行后，应出现确认/警报弹出窗口，表明站点爬网程序已结束。有什么想法吗？
浏览 0提问于2012-04-17得票数 0
我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。
这个bug似乎是随机的，也是不可复制的，这让我认为它是由被爬行的网站的资源利用引起的。
因为这是一个不可复制的错误，我不认为我能修复它，但有没有办法检测爬虫已经冻结，然后再试一次？
下面是关于爬虫和bug的一些信息：
爬虫是使用Selenium和Python构建的。
这个错误发生在不同的网站和产品上。
该错误发生在“正常”模式，但更多发生在无头模式。
谢谢!
费利佩
浏览 2提问于2019-05-21得票数 1
我在多个TYPO3实例上配置了crawler (版本5.1.3) (配置和TYPO3版本7.6.20始终相同)。有时它会工作，有时我会遇到这样的问题：
当所有的都做好后，我想开始爬网-->信息-->网站爬虫-->开始爬行。当我在页面树中选择一个页面并点击时：
然后它正在加载10 - 15分钟，我得到一个服务器错误(500)。
这使得不可能使用爬网程序来抓取页面。
提前谢谢。
浏览 6提问于2017-08-11得票数 0
回答已采纳
2回答
我需要建立一个小的搜索引擎，如谷歌使用ASP.NET MVC3。对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：
如何使用Asp.net MVC3和C#构建网络爬虫。我开始建立一些基本的，但我需要一些指南，资源和书籍。
使用这个网络爬虫，我轮询搜索引擎的数据，并使用Lucene.Net对数据应用索引。我需要建立小型搜索引擎，搜索由网络爬虫填充的数据。
请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8提问于2012-11-14得票数 2
1回答
我想建立一个爬虫，需要抓取网页的网址，并将结果返回给一个网页。现在，我从终端启动scrapy并将响应存储在一个文件中。当一些输入发布到Flask、处理并返回响应时，我如何启动爬虫？
浏览 1提问于2015-07-24得票数 5
我现在在一个网站上工作。整个网站都是受保护的，因此只有登录的用户才能访问此网站(只要beta测试运行->的时间有限)。
我们有两种不同类型的分享在我们的网站上。一个是简单的“喜欢”按钮，另一个只是使用：{URL}
为了给facebook爬虫提供访问权限，我建立了这样的保护：
if(wUserCur::isLoggedIn() || in_array($currentPath, $allowedLogins) || strstr($_SERVER['HTTP_USER_AGENT'], 'facebookexternalhit')):
// do n
浏览 2提问于2011-09-21得票数 3
有没有人遇到过这样的错误:搜索爬虫忽略了一个aspx页面？对于这些页面，我收到以下警告消息：“此URL的内容已被服务器排除，因为没有索引属性”。
任何帮助都将不胜感激。
谢谢。
浏览 0提问于2009-05-19得票数 1
回答已采纳
1回答
打开搜索服务器设置超时
、、、
我在OpenSearchServer中使用web爬虫，在爬行时，它在Extracting url list操作期间被卡住了。在完成会话的时候，它也会被卡住。有没有办法设置一个时间限制或超时，以便在某些东西运行时间过长时中止？
浏览 5提问于2015-10-08得票数 0
我是Python的新手，我想使用Python来抓取几个需要Google帐号登录的网站。例如，我想爬一个网站xxx.appspot.com，我需要登录我的谷歌帐户访问它，因为这个数据库需要验证，我是授权人员。
当我做这样的事情：
content=urllib.urlopen(target_url).read()
当然，我得到的“内容”只是一个登录页面。如何实现代码，以便爬虫在实际爬行之前可以在Google帐户中签名。
浏览 1提问于2013-12-18得票数 2
回答已采纳
我使用robots.txt文件来防止爬虫抓取特定的页面。当我想要阻止在/folder/myfolder/中爬行myfolder中的所有内容时，我可以将robots.txt放在/folder/myfolder/robots.txt中并写道：
User-agent: *
Disallow: /
或者我必须将robots.txt放在/robots.txt中并设置：
User-agent: *
Disallow: /folder/myfolder/
谁知道呢？
浏览 3提问于2016-12-03得票数 1
1回答
我回到了Python中的一个旧项目，但我似乎忘记了我是如何提取数据的，如果有人能为我指出正确的方向和文档来实现这一点，我将不胜感激。
我实现了一个web爬虫，它通过扫描我的HTML代码从html页面中提取信息。使用我使用过的BeautifulSoup和urllib2库扫描mywebsite.com/product=1的URL。
但是我想让mywebsite.com增加到最多10。如何提取、读取和替换url的末尾并替换它呢？我注意到其他人实现了urlparse库来替换域main，但是它与我的方法不一样。
> mywebsite.com/product=1
> mywebsit
浏览 2提问于2017-03-03得票数 0
回答已采纳
我一直试图用nutch来抓取twitter和linkedin的数据，Nutch-0.9。
然而，当我尝试爬行twitter时，regex-filter似乎不起作用，我的regex-filter文件有+^，而我希望做的是只爬行那些遵循上述模式的urls。我以urls结束，比如。
至于linkedin的部分内容，每当我尝试爬行时，它都会显示超时。linkedin上的robots.txt说，你需要发送邮件才能让你的爬虫变成白色，但他们从来没有回复。
感谢你的帮助！
浏览 1提问于2013-09-14得票数 2
1回答
我正在用asp.net创建一个网站，但我有一些问题..
我已经编码了一个程序，可以抓取一个给定的网页，即thenextweb.com的链接，内容和图像。
现在我想将这些抓取的数据存储在我的表*Crawlr_Data*中。
我希望爬虫每隔30分钟运行一次，并用新的链接更新表格。
{在我的网站主页上，我显示了存储在数据库中的信息}
如何在后端运行crawler并更新数据库？我应该使用什么技术(web服务，WCF)，或者在visual studio中使用任何其他我可以使用的东西，以便我在托管网站在线时，它的爬虫可以继续运行和更新表}
请提建议，谢谢
浏览 0提问于2012-01-14得票数 0
回答已采纳
4回答
访问常见的爬网AWS公共数据集
、、、、
我需要浏览和下载公共爬虫公共数据集的一个子集。页面提到了数据托管的位置。
如何浏览和下载托管在s3://aws-publicdatasets/common-crawl/crawl-002/上的常见爬网数据？
浏览 0提问于2013-05-20得票数 6
回答已采纳
2回答
网络爬虫的最佳数据库设计
、、、
许多数据库系统适合与网络爬虫一起工作，但是有没有专门为网络爬虫开发的数据库系统(在.net中)。
我的经验告诉我，网络爬虫有许多部分和服务，每个部分都需要一些特定的功能。例如，要缓存网页，我们需要一些东西，比如sql server的。或者检查db中是否已经存在URL，最好的选择是。
事实上，我有两个问题
1)与网络爬虫一起工作的最好的数据库系统是什么？
2)是否有涵盖所有功能的数据库系统！
浏览 2提问于2011-07-05得票数 1
我有一个Nutch爬行任务，它已经运行了一整天，直到我错误地杀死了这个进程。
我不想重新抓取种子(花费很多时间)，所以我想知道是否有一种方法或一些Nutch Crawler参数，可以让爬虫忽略那些已经被抓取的urls。
非常感谢！
浏览 2提问于2012-04-07得票数 0
回答已采纳
我正在构建一个php+querypath爬虫来构建一个想法的原型。我担心一旦我运行它，目标站点可能会以某种方式受到影响，因为它有大量我想要抓取的相关页面--目前有1361个页面。
有什么建议可以将对目标站点的影响降到最低？
浏览 2提问于2012-03-28得票数 0
回答已采纳
1回答
我是搜索引擎新手，我发现googlenews非常有趣。
我想写一个简单的爬虫
只解析三个不同新闻网站的文章链接。
将链接保存在数据库(mysql)中，并使用链接在网站上公布的时间戳(而不是爬虫检测到链接的时间)。
如您所知，新闻网站每天都会生成链接(我想基本上解析它们的所有链接(不仅仅是今天打印的链接，还包括生成before...and的所有链接--所有这些链接都保存在新闻网站数据库中)。
我不知道我想爬的新闻网站使用的是哪个数据库，我也没有访问它的权限。
那么googlenews如何能够解析所有新闻网站的所有文章链接，包括很久以前生成的链接呢？googlenews可以访问
浏览 4提问于2014-06-06得票数 3
回答已采纳
我用node.js做了爬虫。我想爬一些网站的基础上，每小时。
我试着找出我应该使用的用户代理，但是我只得到了像谷歌机器人和必应机器人这样的结果。我不知道我能不能利用这些用户代理。
你能告诉我我应该使用哪个用户代理吗？
浏览 1提问于2018-09-10得票数 1
回答已采纳
1回答
我想创造一个爬虫/刮刀。以及我想爬的元素，在我看来是为JS服务的。在我的浏览器中，我可以看到这个元素，但是在webdriver上，我看不到这个元素。
例如，URL：
在我的浏览器上，我可以看到这样的元素：
但是在chrome上，我看不到这样的元素：
我的网络驱动程序代码是这样的：
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())
dr
浏览 0提问于2021-04-08得票数 0
回答已采纳
1回答
可以使用带有伪URL的Apify抓取多个页面吗？ 当人们问同样的问题时，答案大多指向伪URL，如果有可能或不可能这样做，并不会直接解决问题。 如果我在运行爬虫的时候不知道伪URL，并且我从一个页面上抓取了10个链接-然后想要抓取这10个链接，那怎么做呢？ https://kb.apify.com/tutorial-creating-your-first-crawler/crawling-multiple-pages
浏览 15提问于2019-03-19得票数 0
我从数据库中获得了1000个URL，以及2个字段，如name和id
我的清单看起来像这样
[{'name':'name1','id':'id1,'link':'myurl1'},
{'name':'name2','id':'id2,'link':'myurl2'},
{'name':'name3','id':'id3,'link':'my
浏览 0提问于2015-11-09得票数 0
2回答
我正在为一个项目使用Flask，Gevent和scrapy。基本的想法是，你输入一个url，它就会以输入作为参数启动一个爬虫进程。目前，它似乎可以很好地处理通过websocket传输的输出。
我很好奇什么是最好的方式来处理多个爬虫同时运行，所以如果两个人在同一时间输入一个网址。我认为最好的方法是使用队列系统，理想情况下，我只希望同时运行数量可控的爬虫。
有没有关于如何使用我已经在使用的库的建议？或者可能会提出一种不同的方法？
浏览 1提问于2012-12-16得票数 0
1回答
我是纳奇和索尔的新手。相对来说，Solr比Nutch要新得多:)
在过去的两周里，我一直在使用nutch，我想知道我是否可以在我的nutch爬虫上进行查询或搜索(在它完成之前)。我之所以这样问，是因为我正在抓取的网站真的很大，抓取需要3-4天才能完成。我想在nutch爬虫还在抓取URL的时候分析一些快速结果。有人建议我，Solr会让它成为可能。
为此，我遵循了中的步骤。我看到Solr搜索中只显示了注入的URL。我知道我做了一件非常愚蠢的事情，爬行从来没有发生过，我觉得我遗漏了一些信息。但我做了链接中提到的所有步骤。我认为在这个过程中的某个地方应该会发生爬行，而这是遗漏的。
我只是想看看是否有人
浏览 0提问于2011-02-09得票数 0
回答已采纳
我想要检测服务器端呈现的对我的页面的当前请求- ssr来自网络爬虫或普通用户。
我想在网络爬虫中做一些事情，而不是当它是用户的时候。
我想在网络爬虫访问页面以获取完整数据时运行ng-in-viewport。
而不是在用户使用我的页面时运行。
如何检测这个东西？
浏览 4提问于2019-10-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
