我目前想部署一个网站排名API，为此，我需要一个网络爬虫。事情是，我想让网络爬虫运行24/7，以便它可以不断更新网站。但是，对于Heroku这样的服务，一个小时后服务器就停止了。我如何宿主一个总是在Heroku上活动的Node.js脚本。如果不可能，我还能做些什么呢？
浏览 0提问于2021-01-21得票数 1
回答已采纳
2回答
我必须运行微爬虫，这是一个爬虫网络应用程序，与node.js运行。我不知道如何打开这个应用程序，我下载了node.js，当我在node.js命令行中编写install npm和install bower时，什么也没有发生。我也不知道如何在安装后启动web应用程序。
浏览 2提问于2014-09-28得票数 1
正如您所知，Backbone.js有一个弱点--它不能为页面爬虫(比如googlebot )呈现的html提供服务，因为他们不运行JavaScript (尽管考虑到它的Google拥有自己的资源、V8引擎输入node.js。我才刚刚开始进入这股热潮，但似乎有可能有相同的Backbone.js应用程序存在于客户端，在服务器上与node.js手牵手。然后，node.js将能够提供从Backbone.js应用程序呈现到页面爬虫的html。这似乎是可行的，但我正在寻找一个更有经验的node.js
浏览 4提问于2012-09-16得票数 19
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
1回答
问题是爬虫找不到规范的站点，因为它是通过Angular动态加载的。有没有可能绕过这个限制，比如在Angular项目的索引站点中放置对所有对象的引用？更清楚地说：object的详细视图: mysite.com/#/ detail /object1
如果我根据当前显示的对象动态添加对amp页面的引用，爬虫将找不到amp
浏览 1提问于2017-09-18得票数 0
1回答
我想问的是，从性能的角度来看，Node.js是否值得考虑？考虑到吞吐量是最重要的因素。Node.js更易于移植和跨平台是另一个原因，但性能对我来说更重要。
浏览 1提问于2013-06-30得票数 2
大多数代码都以node.js为中心，所以javascript解决方案会很好。同时，我也喜欢在Apify中使用木偶师这个事实。尽管如此，我的用例需要对许多网站进行相当浅的(例如深度约4)的爬行。有办法在新的Apify API中指定最大深度吗？看起来这是他们遗留的爬虫中的一个参数，但是我还没有在新的API中找到它。
浏览 8提问于2019-10-16得票数 0
回答已采纳
这不一定是一个爬虫，但我想它更容易理解说明的方式。我想在node.js中执行同样的任务。as的res.render似乎不接受html-string作为输入。假设node.js get与浏览器获得的地址相同的html？
您可以想到一个web爬虫，它获取html并执行javascript来呈现页
浏览 2提问于2015-02-01得票数 2
我是Node.js的新手。我引用并编写了一个爬虫，代码可以工作。谢谢并致以最良好的敬意。
浏览 1提问于2016-10-17得票数 0
回答已采纳
当我通过linkedin.com网站发布一个分享，然后抓取它的属性并从API中再次分享时，图片的显示方式不同。这里有一个例子，底部的帖子是从web界面共享的，然后顶部的帖子是从API共享的：
这些帖子的属性是相同的。2411-4490-b8f0-8f5e587d1857-large.png",以及通过REST API-2411-4490-b8f0-8f5e587d1857
浏览 0提问于2014-12-01得票数 0
在接下来的几周里，我正在Node上写一个网络爬虫来取乐。在我的原型中，我使用jsdom来查询页面，然后搜索所有的锚并将href添加到我的爬行列表中。
浏览 6提问于2011-09-20得票数 1
回答已采纳
我使用的API非常昂贵。每次通话的费用约为1美分。我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
我已经尝试过只使用一种文件格式，例如，如果文件只是json或gz，那么爬虫工作得很完美，但我正在寻找一种解决方案，通过该解决方案，我可以自动化任何类型的文件处理。第二个问题是我的json数据有一个字段(列)，爬虫将其解释为struct数据，但我希望将该字段类型设置为string。
浏览 0提问于2019-09-14得票数 1
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 "，其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么？我在看AWS Glue，但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好？DynamoDB表的大小不大，存储了几百个数字。
浏览 4提问于2019-12-21得票数 0
回答已采纳
Angluar2 TypeScript项目中的nodejs可以使用simplecrawler吗？如果是的话，正确的设置是什么？
npm install simplecrawler --save...@Injectable()但是创建Crawler对象失败了：有浏览器控制台错误：
crawler.js:10 Uncaught ReferenceErr
浏览 4提问于2016-07-16得票数 0
回答已采纳
1回答
stackoverflow.com"+$(link).attr('href'));
// Search For Node.js
浏览 3提问于2015-03-26得票数 0
我的目标是拥有动态的og:标签，这可以被facebook爬虫看到。通过做一些研究，我认为最好的(也可能是唯一的)方法是在服务器上预先录制我的应用程序。不过，我在做这件事上有问题。我已经有了一个现有的Node.js服务器，它看起来与大多数在线指南中的服务器略有不同。for retrieving data from DB
// Send all other re
浏览 0提问于2018-01-26得票数 0
由于Google Maps API改为" Credits“，我的问题是:爬虫/机器人(来自搜索引擎或监视程序，如"uptrends")会消耗Maps API的Credits吗？
浏览 88提问于2018-09-03得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
