我正在尝试用ABOT在c#.i中制作网络爬虫，我搜索了很多例子，并添加了ABOT网络爬虫。从那我只能得到日志输出而不是超文本标记语言页面输出。我想得到超文本标记语言页面输出only.because，超文本标记语言输出是超文本标记语言敏捷工具的输入。帮助我从ABOT网络爬虫在C#中获得超文本标记语言输出。谢谢。
浏览 4提问于2013-09-12得票数 5
我需要找到一种方法来爬行我们公司的web应用程序之一，并从它创建一个静态网站，可以烧录到cd上，供旅行的销售人员用来演示网站。后端数据存储分布在很多很多系统上，所以简单地在销售人员的笔记本电脑上的虚拟机上运行站点是行不通的。而且他们在一些客户端无法访问互联网(我知道没有互联网，手机phone....primitive )。有没有人对爬虫有什么好的建议，可以处理像链接清理，flash，一些ajax，css等等？我知道机会很小，但我认为在我开始编写自己的工
浏览 3提问于2008-09-22得票数 9
回答已采纳
3回答
C++网络爬虫
、、、
我正在尝试并尝试制作一个最小的网络爬虫。我在很高的层次上理解了整个过程。那么进入下一层细节，程序如何“连接”到不同的网站来提取HTML？另外，对于网络爬虫来说，C++是一个很好的选择吗？
谢谢!
浏览 1提问于2012-07-01得票数 0
回答已采纳
2回答
我需要一个库(希望是在C#中！)它作为web爬虫程序来访问HTTP文件和FTP文件。原则上，我喜欢阅读HTML，我想把它扩展到PDF，WORD等。我对初学者的开源软件很满意，或者至少对文档的任何方向都很满意。
浏览 0提问于2010-10-19得票数 3
回答已采纳
1回答
虽然已经有相当多关于这些主题的帖子，但我的问题有点具体。我需要分析几个网站，一旦完成，我需要发送一些数据给它。例如，假设网站A为我提供了一个搜索选项卡，我需要以编程方式向其提供数据。根据目标站点的更新，结果页可能会有所不同。我想编写这样一个爬虫。那么，哪种工具/语言最适合实现这一点呢？我已经精通java和C语言，所以任何基于它们的东西都会很有帮助。
浏览 1提问于2013-03-27得票数 0
3回答
我想要创建一个web爬虫/蜘蛛来迭代地获取网页中的所有链接，包括基于javascript的链接(ajax)，对页面上的所有对象进行编目，构建和维护站点层次结构。我的问题是：谢谢
布拉杰什
浏览 1提问于2011-07-01得票数 0
3回答
我正在为一家拥有来自世界各地的客户的公司开发一个网站，该网站将以两种语言提供服务:意大利语(本地)和英语。当然，他们可以选择手动覆盖语言。当搜索引擎机器人检查站点以索引页面时，会发生什么情况？通常情况下，爬虫总是有基于美国的IP，即使爬虫器在"change language“链接上”单击“以显示意大利语页面，因为他们不能接受cookie(以及会话)，所以我无法保存语言集，也不能跟踪选择了什么是所以问题是，你如何处理这种情况，
浏览 0提问于2011-07-18得票数 0
回答已采纳
5回答
我需要写一个网络爬虫，我需要哪种语言是性能最好的语言，比如内存和性能。
编辑：原名是“为速度和性能而优化的语言c++或C#”
浏览 7提问于2010-09-21得票数 0
规格: Win7 64、VS 2010、.NET 4.0、NCrawler库
我正在写一个爬虫，它将从网上商店提取一些数据。应用程序可以很好地提取URL，我可以正确地导航到商店中的每一件商品。问题是，保存产品所有页面数据的每个“description”对象都是文本形式的，我想知道是否有办法从这个"propertyBag“中读取<-description> text <-/descriptopn>这样的特定标记的内容，或者有其他方法。
浏览 0提问于2014-11-30得票数 0
1回答
我在C++/Qt4.8.5中为Windows创建了网站爬虫。我发现，有时页面可能包含隐式(伪)重定向，就像script标记中的script。原始爬虫只检测到href标记中的a属性。但是还有其他节点可以包含urls。例如，<META HTTP-EQUIV="REFRESH" CONTENT="0; URL=/relative_url">。与url容器、隐式重定向相关的标记/属性(包括script)的<
浏览 1提问于2014-03-30得票数 3
回答已采纳
有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
当我设置我的数据系统时，我正在尝试获得一些建议。我想设置一个网络爬行系统。它可能会定期抓取几百/上千个站点。
我知道Nutch并且用过Nutch，但是我想知道其他人是否知道比Nutch更好的爬虫。我还使用了Elasticsearch作为索引器，很难让Nutch与更新版本的ES一起工作。
浏览 10提问于2018-02-01得票数 1
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
让我们假设，我有一个关于以下域的网站: example.com
当用户访问example.com时，我的脚本将重定向到3种语言中的一种，基于他们的navigator.language，如果他默认使用英语但是，谷歌在没有任何语言前缀的情况下爬行我的网站主页，是否有可能将example.com排除在爬虫之外？
浏览 0提问于2019-12-07得票数 2
回答已采纳
我想爬行几个网站，并收集基于语言的数据。"Java“等。我是新的Nutch爬虫。我刚刚用HBase完成了Nutch2.3的安装。如何自定义爬行，以便在解析每个页面时，我可以获得该页面中的链接并从中提取一些数据。例如日期、主题等。
谢谢。
浏览 2提问于2015-03-16得票数 3
我想禁用前端索引，利用爬虫。如何设置以下爬虫配置：( B)用几种语言编制定制记录索引
但是，在文档中没有任何关于语言的内容：
浏览 0提问于2018-07-24得票数 1
回答已采纳
我有一个相对简单的案例。我基本上想存储各种网站之间的链接数据，不想限制域名。我知道我可以使用一些http客户端库编写自己的爬虫程序，但我觉得我会做一些不必要的工作--确保页面不会被多次检查，弄清楚如何读取和使用robots.txt文件，甚至可能尝试使其并发和分布式，我确信还有很多其他我还没有想到的事情因此，我想要一个网络爬行框架，它可以处理这些事情，同时允许我决定如何处理响应(在我的例子中，只提取链接并存储它们)。大多数爬虫似乎认为你是在为搜索索引网页
浏览 0提问于2009-08-20得票数 2
回答已采纳
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
查找，可能是“href”链接，然后存储在某个数据文件中。互联网上是否有更简单的教程或指南？
浏览 15提问于2010-11-25得票数 22
回答已采纳
2回答
有效地搜索大量URL列表
、、、
我正在建立一个网络爬虫，它必须爬行数百个网站。我的爬虫保存了一个已经爬行的urls列表。每当爬虫要爬行一个新页面时，它首先搜索已经爬行的url列表，如果已经列出了，则爬虫跳到下一个url，以此类推。因此，我的问题是，我可以使用什么样的算法来搜索一个urls列表(列表的大小每天增长到20到100 k)。
爬虫目前是用Python编写的。但我将把它移植到C++或其他更
浏览 5提问于2016-06-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
