腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何在Heroku上连续运行和托管
Node.js
脚本?
、
我目前想部署一个网站排名
API
,为此,我需要一个网络
爬虫
。事情是,我想让网络
爬虫
运行24/7,以便它可以不断更新网站。但是,对于Heroku这样的服务,一个小时后服务器就停止了。我如何宿主一个总是在Heroku上活动的
Node.js
脚本。如果不可能,我还能做些什么呢?
浏览 0
提问于2021-01-21
得票数 1
回答已采纳
2
回答
如何打开需要
node.js
的web应用程序
、
、
、
我必须运行微
爬虫
,这是一个
爬虫
网络应用程序,与
node.js
运行。我不知道如何打开这个应用程序,我下载了
node.js
,当我在
node.js
命令行中编写install npm和install bower时,什么也没有发生。我也不知道如何在安装后启动web应用程序。
浏览 2
提问于2014-09-28
得票数 1
6
回答
使用
node.js
服务Backbone.js应用程序的内容,搜索搜索引擎优化
爬虫
、
、
、
正如您所知,Backbone.js有一个弱点--它不能为页面
爬虫
(比如googlebot )呈现的html提供服务,因为他们不运行JavaScript (尽管考虑到它的Google拥有自己的资源、V8引擎输入
node.js
。我才刚刚开始进入这股热潮,但似乎有可能有相同的Backbone.js应用程序存在于客户端,在服务器上与
node.js
手牵手。然后,
node.js
将能够提供从Backbone.js应用程序呈现到页面
爬虫
的html。这似乎是可行的,但我正在寻找一个更有经验的
node.js
浏览 4
提问于2012-09-16
得票数 19
1
回答
爬行url \如何在
node.js
中获取动态链接
、
我正在使用js
爬虫
来抓取网站,现在我遇到了CNN,的那一部分(基于某种原因动态生成的urls)。事情是
爬虫
,不要真正接触脚本-我应该如何解决它?除了我的
node.js
爬虫
之外,我还应该编写自己的代码吗?是否有先进的
爬虫
知道如何处理这种动态行为?
浏览 1
提问于2016-07-23
得票数 2
回答已采纳
1
回答
使Angular网站的AMP版本可爬行
、
、
、
、
问题是
爬虫
找不到规范的站点,因为它是通过Angular动态加载的。有没有可能绕过这个限制,比如在Angular项目的索引站点中放置对所有对象的引用?更清楚地说:object的详细视图: mysite.com/#/ detail /object1 如果我根据当前显示的对象动态添加对amp页面的引用,
爬虫
将找不到amp
浏览 1
提问于2017-09-18
得票数 0
1
回答
node.js
与C#的网络爬行性能
、
、
、
、
我想问的是,从性能的角度来看,
Node.js
是否值得考虑?考虑到吞吐量是最重要的因素。
Node.js
更易于移植和跨平台是另一个原因,但性能对我来说更重要。
浏览 1
提问于2013-06-30
得票数 2
2
回答
在使用Apify SDK时,是否有指定最大爬行深度的方法?
、
大多数代码都以
node.js
为中心,所以javascript解决方案会很好。同时,我也喜欢在Apify中使用木偶师这个事实。尽管如此,我的用例需要对许多网站进行相当浅的(例如深度约4)的爬行。有办法在新的Apify
API
中指定最大深度吗?看起来这是他们遗留的
爬虫
中的一个参数,但是我还没有在新的
API
中找到它。
浏览 8
提问于2019-10-16
得票数 0
回答已采纳
2
回答
使用
node.js
创建启用javascript的web
爬虫
、
这不一定是一个
爬虫
,但我想它更容易理解说明的方式。我想在
node.js
中执行同样的任务。as的res.render似乎不接受html-string作为输入。假设
node.js
get与浏览器获得的地址相同的html? 您可以想到一个web
爬虫
,它获取html并执行javascript来呈现页
浏览 2
提问于2015-02-01
得票数 2
1
回答
节点http.request ():与var ClientRequest和callbackFn的关系
、
我是
Node.js
的新手。我引用并编写了一个
爬虫
,代码可以工作。谢谢并致以最良好的敬意。
浏览 1
提问于2016-10-17
得票数 0
回答已采纳
1
回答
为什么在linkedin.com上发布的图像与通过应用编程接口发布的图像显示不同?
当我通过linkedin.com网站发布一个分享,然后抓取它的属性并从
API
中再次分享时,图片的显示方式不同。这里有一个例子,底部的帖子是从web界面共享的,然后顶部的帖子是从
API
共享的: 这些帖子的属性是相同的。2411-4490-b8f0-8f5e587d1857-large.png",以及通过REST
API
-2411-4490-b8f0-8f5e587d1857
浏览 0
提问于2014-12-01
得票数 0
3
回答
高效网络
爬虫
的语言建议
、
、
、
我正在寻找一种语言来编写一个高效的网络
爬虫
。我所看重的东西:我试过
node.js
。
浏览 6
提问于2010-12-03
得票数 2
2
回答
从HTML字符串中解析所有URL的最好方法是什么?
、
、
在接下来的几周里,我正在Node上写一个网络
爬虫
来取乐。在我的原型中,我使用jsdom来查询页面,然后搜索所有的锚并将href添加到我的爬行列表中。
浏览 6
提问于2011-09-20
得票数 1
回答已采纳
3
回答
如何防止昂贵的
API
被
爬虫
和
爬虫
吃掉?
我使用的
API
非常昂贵。每次通话的费用约为1美分。我注意到,来自蜘蛛和
爬虫
的访问产生了对该
API
的数千次调用,而我正在为这些调用收费。有没有办法阻止显示由
API
生成的内容的网页部分,即只有实际的访问者才能看到它,并且在抓取网页时不会生成
API
调用?
浏览 1
提问于2016-10-23
得票数 2
2
回答
当s3数据存储有json和.gz压缩文件时,如何通过Glue
爬虫
创建AWS雅典娜表?
、
、
、
我已经尝试过只使用一种文件格式,例如,如果文件只是json或gz,那么
爬虫
工作得很完美,但我正在寻找一种解决方案,通过该解决方案,我可以自动化任何类型的文件处理。第二个问题是我的json数据有一个字段(列),
爬虫
将其解释为struct数据,但我希望将该字段类型设置为string。
浏览 0
提问于2019-09-14
得票数 1
1
回答
将具有动态生成名称的DynamoDB表导出到S3
、
、
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 ",其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么?我在看AWS Glue,但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好?DynamoDB表的大小不大,存储了几百个数字。
浏览 4
提问于2019-12-21
得票数 0
回答已采纳
2
回答
使用
node.js
simplecrawler与Angular2 TypeScript项目
、
Angluar2 TypeScript项目中的nodejs可以使用simplecrawler吗?如果是的话,正确的设置是什么? npm install simplecrawler --save...@Injectable()但是创建Crawler对象失败了:有浏览器控制台错误: crawler.js:10 Uncaught ReferenceErr
浏览 4
提问于2016-07-16
得票数 0
回答已采纳
4
回答
如何通过
爬虫
php获取悬停数据(Ajax)
、
、
、
有没有可能用任何
爬虫
。 我使用PHP和来解析/抓取页面。
浏览 3
提问于2012-03-30
得票数 3
回答已采纳
1
回答
Node.js
多页
爬虫
、
stackoverflow.com"+$(link).attr('href')); // Search For
Node.js
浏览 3
提问于2015-03-26
得票数 0
1
回答
已经存在的
Node.js
服务器上的Prerender角应用程序
、
、
、
、
我的目标是拥有动态的og:标签,这可以被facebook
爬虫
看到。通过做一些研究,我认为最好的(也可能是唯一的)方法是在服务器上预先录制我的应用程序。不过,我在做这件事上有问题。我已经有了一个现有的
Node.js
服务器,它看起来与大多数在线指南中的服务器略有不同。for retrieving data from DB // Send all other re
浏览 0
提问于2018-01-26
得票数 0
2
回答
爬虫
/机器人是否消耗Maps
API
配额?
、
由于Google Maps
API
改为" Credits“,我的问题是:
爬虫
/机器人(来自搜索引擎或监视程序,如"uptrends")会消耗Maps
API
的Credits吗?
浏览 88
提问于2018-09-03
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
云直播
对象存储
腾讯会议
活动推荐
运营活动
广告
关闭
领券