登录后，我查看了facebook中的html代码，他们似乎对JS文件做了很多请求(根据firebug，多达20个)。所以，虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件)，但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗？我想提高性能，加载“稍后需要”的内容(text/js/css)似乎是个
浏览 2提问于2013-03-18得票数 3
请参阅：我怀疑这是FB缓存页面的问题，因为在我的About页面上，我进行了快速代码更改，更改了meta标签输出，然后通过Linter重新运行同一页面，Linter
浏览 3提问于2011-10-10得票数 0
回答已采纳
2回答
我必须运行微爬虫，这是一个爬虫网络应用程序，与node.js运行。我不知道如何打开这个应用程序，我下载了node.js，当我在node.js命令行中编写install npm和install bower时，什么也没有发生。我也不知道如何在安装后启动web应用程序。
浏览 2提问于2014-09-28得票数 1
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
我目前想部署一个网站排名API，为此，我需要一个网络爬虫。事情是，我想让网络爬虫运行24/7，以便它可以不断更新网站。但是，对于Heroku这样的服务，一个小时后服务器就停止了。我如何宿主一个总是在Heroku上活动的Node.js脚本。如果不可能，我还能做些什么呢？
浏览 0提问于2021-01-21得票数 1
回答已采纳
我正在寻找一个web应用程序，它可以以与搜索引擎非常相似的方式从网络上收集数据，但它不会将结果作为标题和摘要的列表，而是将结果转储到一个表中，试图从其内部索引中的页面中提取元数据。(很久以前，谷歌有一个叫做Google Squared的网络应用程序。今天还有其他类似的工具吗？这是维基百科页面中的相关描述: Google从整个网络中提取结构化数据，并以类似电子表格的格式显示其结果。每个搜索查询返回一个搜索结果表，其中有自己的一组列--与搜索主题相关联的公共属性。
浏览 0提问于2023-02-07得票数 2
NAvbar代码： <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap</Head>
<Script src="https://ajax.googleapis.com/ajax/libs/jquery/3.5.1/jquery.min.
浏览 16提问于2021-09-29得票数 0
3回答
我想知道使用常规的href-link和通过添加javascript onclick来使元素可点击有什么SEO区别吗？<a href="myUrl">Link</a>
浏览 3提问于2010-08-24得票数 3
1回答
我一直在开发一个使用Backbone.js路由器的项目，所有数据都是通过restful请求由javascript加载的。服务器使用可索引数据呈现此页面，当用户访问此页面时，我可以手动初始化Backbone.js路由器。当用户在某个地方共享该网站的网址时，它将不是一个可索引的页面，而且web爬虫可能无法识别该网址的内容。另外，网络爬虫搜索页面中的额外字符串可能会让用户感到厌烦。我可以在服务器端从他们的用户代理中检测到流行的网络爬虫，比如谷歌、雅虎、必应、Facebook，
浏览 1提问于2013-01-06得票数 2
回答已采纳
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
查找，可能是“href”链接，然后存储在某个数据文件中。
浏览 15提问于2010-11-25得票数 22
回答已采纳
python是新手，但在C语言方面有大约3+年的业余经验。b'‘'‘非常感谢！
浏览 2提问于2018-01-01得票数 0
1回答
我想建立一个使用angular的网络爬虫/刮板网络应用程序。想法是使用客户端发出所有的http请求。使用无头浏览器可以大大减轻解析Html和评估JS代码的痛苦。有没有什么基于JS的无头浏览器可以使用？
浏览 1提问于2020-02-08得票数 0
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
我有反应网络应用程序。这是一个单一的页面应用程序，所以基本上有一个“空”HTML文件和一个JS包来完成这一切。我通过用户和机器人的User-Agent字符串来区分它们。所以这些都是可能的：ROBOT DESKTOP
浏览 0提问于2021-01-07得票数 0
回答已采纳
1回答
我正处于一个我必须编写的程序的开始阶段，该程序将从我拥有的大型数据库中提取用户，并将其与任何类似于Whitepages电话簿的内容进行比较。这样做的原因是为了用更新的相关联系信息更新存储在我的数据库中的任何旧联系信息。到目前为止，我只接触过Whitepages Pro，它提供了一个API，允许我对他们的数据库运行一些查询，并返回我认为是最新的信息。我可以访问用户的电话号码、姓名和地址，因此最初的想法是将旧的电话号码+姓名与更新的数据库进行比较，以更正旧的数据。我的问题是，对于我的问题，这看起来是一个好的解决方案吗？Whitepages似乎是我唯一可以使用的工具(它确实花费了300美元，但如果它
浏览 1提问于2015-05-01得票数 0
1回答
我想问的是，从性能的角度来看，Node.js是否值得考虑？考虑到吞吐量是最重要的因素。Node.js更易于移植和跨平台是另一个原因，但性能对我来说更重要。
浏览 1提问于2013-06-30得票数 2
1回答
最近我一直在使用网络爬虫，我已经想出了如何搜索文本，但有没有办法让我的网络爬虫搜索其他东西，比如视频和图像，然后下载它们并组织它们。这是目前为止我的网络爬虫：var cheerio = require('cheerio'); pagesToVisit.push(
浏览 3提问于2016-09-04得票数 0
我听说，当网络爬虫检查网页时，它们会在一段时间后终止，以捕获可用的代码(如html)，然后去检查另一个页面。因此，如果JS代码在头部，我将失去为捕获而保留的大量时间。如果这是真的，那么把JS放在头上是不好的，但可能放在底部，放在jQuery语法中，比如$(document).ready()。
关于这个你能告诉我些什么？谢谢大家！
浏览 2提问于2011-02-06得票数 1
回答已采纳
我正在考虑写我自己的，但我想知道是否有好的网络爬虫在那里是用Ruby编写的。
除了一个成熟的网络爬虫，任何可能有助于构建网络爬虫的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了，但是一个适用于构建网络爬虫的宝石列表也是一个很好的资源。
浏览 2提问于2011-02-13得票数 21
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
