我需要做一个网络爬虫来收集特定网站的链接和信息。我还需要使用Apache HTTP Client来完成，我已经在网站上浏览了几天的教程，但一无所获。现在，我正在尝试弄清楚如何使用apache来抓取HTTPClient，这样我就可以解析它。坦率地说，这可能是误解了HTTPClient的用途。任何帮助都将不胜感激。
浏览 1提问于2019-11-01得票数 0
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
我刚刚开始写一个简单的网络爬虫来获取我们系统中链接的信息。我使用的是httpclient 4.x。我有大约100个线程运行抓取链接，并在它们上做head请求，它在最初的几个小时内工作得很好，然后它就会变得像爬虫一样尖叫。我不确定我是否正确地设置了连接管理器。下面是创建httpclient对象所需的代码。有没有人看到这个代码块会发出警报？当我停止服务器并重新启动它时，一切都像新的一样。);
final ClientConnectionManager cm = new ThreadSafeClientCon
浏览 1提问于2010-07-15得票数 0
回答已采纳
我正在寻找一个web应用程序，它可以以与搜索引擎非常相似的方式从网络上收集数据，但它不会将结果作为标题和摘要的列表，而是将结果转储到一个表中，试图从其内部索引中的页面中提取元数据。(很久以前，谷歌有一个叫做Google Squared的网络应用程序。今天还有其他类似的工具吗？这是维基百科页面中的相关描述: Google从整个网络中提取结构化数据，并以类似电子表格的格式显示其结果。每个搜索查询返回一个搜索结果表，其中有自己的一组列--与搜索主题相关联的公共属性。
浏览 0提问于2023-02-07得票数 2
但是我不希望机器人/爬虫看到这个内容(大图像)，相反，他们应该看到设置cookie之后的真实内容。URL对于两个内容都是相同的。
我可以对此做更多的澄清。如何避免机器人看到促销内容？
浏览 3提问于2014-04-11得票数 0
回答已采纳
我正在创建一个行为良好的网络蜘蛛，我注意到一些服务器导致Apache HttpClient给了我一个SocketException --特别是：导致这种情况的代码是：HttpResponse response; response = httpclient.execute(httpget); //httpclient is of t
浏览 4提问于2011-03-12得票数 9
回答已采纳
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
1回答
我正处于一个我必须编写的程序的开始阶段，该程序将从我拥有的大型数据库中提取用户，并将其与任何类似于Whitepages电话簿的内容进行比较。这样做的原因是为了用更新的相关联系信息更新存储在我的数据库中的任何旧联系信息。到目前为止，我只接触过Whitepages Pro，它提供了一个API，允许我对他们的数据库运行一些查询，并返回我认为是最新的信息。我可以访问用户的电话号码、姓名和地址，因此最初的想法是将旧的电话号码+姓名与更新的数据库进行比较，以更正旧的数据。我的问题是，对于我的问题，这看起来是一个好的解决方案吗？Whitepages似乎是我唯一可以使用的工具(它确实花费了300美元，但如果它
浏览 1提问于2015-05-01得票数 0
我一直在网上和StackOverflow上寻找答案，但我没有找到完全适用于我的情况的案例。我使用Facebook Linter来调试FB抓取我的meta标签的方式。如果我在一个简单的About页面上使用它，它可以提取所有内容，特别是og:url元标记。当我抓取正常的内容页面时，问题就开始了。尽管我已经三次检查了我的标记格式是否正确，但FB Linter将URI从URL中删除，因此它报告og:url标记只有域名electionstats.com/！页面上实际存在的og:url标记如下所示：
我怀疑这是FB缓存页面的问题，因为在我的About页面上，我进行了快速代码更改，更
浏览 3提问于2011-10-10得票数 0
回答已采纳
我正在考虑写我自己的，但我想知道是否有好的网络爬虫在那里是用Ruby编写的。
除了一个成熟的网络爬虫，任何可能有助于构建网络爬虫的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了，但是一个适用于构建网络爬虫的宝石列表也是一个很好的资源。
浏览 2提问于2011-02-13得票数 21
回答已采纳
1回答
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
但是，没有使用任何搜索引擎，这意味着，编写一个纯网络爬虫。--很明显，它永远不会停下来运行.它甚至在碰到我想要的东西之前会遇到很多“垃圾”站点。
浏览 8提问于2010-09-26得票数 0
回答已采纳
在PHPMYAdmin中，我正在运行一个网络爬虫。网络爬虫偶尔会拾取相同的urls。在网络爬虫中，它已经索引了数千个链接，我不想要重复的链接。有没有办法在SQL中删除相似的行(唯一的区别是id字段)
浏览 1提问于2012-08-17得票数 0
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
1回答
如果有人能让我知道我是否需要一个网络爬虫，或者我最好使用HttpClient或JDK的内置功能对这个流进行编码，非常感谢。
浏览 0提问于2011-12-05得票数 2
1回答
我的最终目标是有一个应用程序，可以通过在网络上查找食品来检索食品信息。我这里有一个简单的代码，只是想转到一个网页并打印出该页面的源代码，但我一直被重定向，因为“用户代理字符串似乎来自自动化进程”。你现在是不是必须特别才能有一个网络爬虫？try HttpClient client = new HttpClient();
client.MaxResponseContentBufferSize = 25600;
浏览 3提问于2013-10-08得票数 0
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
然而，这是复杂的理解对我来说，因为我开始学习C++大约一个月前。
浏览 15提问于2010-11-25得票数 22
回答已采纳
我想要检测服务器端呈现的对我的页面的当前请求- ssr来自网络爬虫或普通用户。而不是在用户使用我的页面时运行。
如何检测这个东西？
浏览 4提问于2019-10-22得票数 1
2回答
网络爬虫的最佳数据库设计
、、、
许多数据库系统适合与网络爬虫一起工作，但是有没有专门为网络爬虫开发的数据库系统(在.net中)。1)与网络爬虫一起工作的最好的数据库系统是什么？
2)是否有涵盖所有功能的数据库系统！
浏览 2提问于2011-07-05得票数 1
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号