腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
谷歌如何对Angular4网站进行索引?
、
、
、
谷歌如何对所有页面进行索引?如您所见,该站点使用的是Angular4 (查看源)。
浏览 0
提问于2017-07-03
得票数 3
回答已采纳
1
回答
NodeJs
食谱
爬虫
、
、
、
、
这是我在
nodeJs
中用拜拜制作的
爬虫
的尝试,我想到了在我想做的未来项目中使用它的想法。对于我想要解析数据的每个网站,我需要创建一个新的解析器脚本,以便尝试保存一些
代码
复制,并将结构添加到我创建的RecipeParser类扩展的项目中。
浏览 0
提问于2019-03-01
得票数 6
3
回答
阻止
NodeJS
程序退出
、
、
、
、
我正在创建基于
NodeJS
的
爬虫
,它与node-cron包一起工作,我需要防止入口脚本退出,因为应用程序应该永远作为cron运行,并将在某些时间与日志执行
爬虫
。在web应用程序中,服务器将监听并防止终止,但在无服务器应用程序中,它将在所有
代码
执行完后退出程序,而不会等待crons。 我应该为此编写while(true)循环吗?
浏览 9
提问于2017-05-23
得票数 11
回答已采纳
1
回答
在
nodejs
/express中如何允许
爬虫
使用站点地图
、
、
在
nodejs
/express中,如何允许
爬虫
使用站点地图? 下面的
代码
是我的应用程序流的一部分,我应该把我的站点地图文件夹/文件放在哪里?以及如何允许
爬虫
?
浏览 2
提问于2015-09-06
得票数 1
回答已采纳
1
回答
用
NodeJS
查找域上的所有页面
、
、
我正在用Node查找域上的所有页面。我在Stackoverflow上搜索,但我只找到了这个用于Ruby:的线程--我有同样的问题,但是对于Node。我也在谷歌上搜索过这个问题,但我发现的都是刮刀器,它们没有找到可以自己抓取的链接。我也在寻找类似“站点地图生成器”、“网页机器人”、“自动刮刀”、“用Node获取域上的所有页面”之类的东西,但没有带来任何结果。 我有一个刮板,需要它将要处理的一系列链接,例如,我有一个页面www.example.com/products/,其中我想找到所有现有的子页面,例如www.example.com/products/product1.html,www.exam
浏览 0
提问于2014-07-08
得票数 3
1
回答
如何使用express for Google重定向不同的语言
、
、
、
、
我必须如何更改
代码
?
浏览 12
提问于2019-06-13
得票数 0
1
回答
无法在Lambda中创建AWS胶水爬行器,Lambda由Step函数触发
、
、
、
、
该查询成功运行,并在给定的S桶中生成结果 要在Lambda中创建AWS
爬虫
,下面是我在Lambda (
NodeJS
)中的
代码
: };}; Problem creat
浏览 2
提问于2021-08-14
得票数 1
2
回答
使用websocket在烧瓶中排队
、
、
、
、
基本的想法是,你输入一个url,它就会以输入作为参数启动一个
爬虫
进程。目前,它似乎可以很好地处理通过websocket传输的输出。我很好奇什么是最好的方式来处理多个
爬虫
同时运行,所以如果两个人在同一时间输入一个网址。我认为最好的方法是使用队列系统,理想情况下,我只希望同时运行数量可控的
爬虫
。
浏览 1
提问于2012-12-16
得票数 0
1
回答
托管一个节点网络
爬虫
?
、
我有一个
爬虫
,它每隔60秒检查一次用
Nodejs
编写的URL列表。它不使用数据库,在内存中存储一些项目,并且应该全天候运行。 托管这个
爬虫
的合适的解决方案是什么?
浏览 1
提问于2020-09-22
得票数 0
1
回答
如何检测
Nodejs
服务器上的crawler流量
、
、
我已经开发了
Nodejs
express服务器,我关心的是
爬虫
流量....i意味着如果有人开始向我的服务器发送请求使其宕机,那么如何检测或避免这种情况。 提前谢谢。
浏览 0
提问于2016-04-10
得票数 0
1
回答
测试所有内部链接
、
、
我运行一个
NodeJS
服务器。我有时会删除页面,而忘记删除引用。我想测试所有内部链接是否正常工作。我想象一个
爬虫
和一个npm测试包,可以建立一个从主页链接的所有内部页面的列表,并确认它们返回一个200状态
代码
。 实现这一目标的最佳框架是什么?
浏览 13
提问于2021-07-08
得票数 0
4
回答
在标签结束和开始之间提取文本
、
、
我想找出电话号码:这段
代码
将是网络
爬虫
的一部分。
浏览 8
提问于2015-08-19
得票数 2
回答已采纳
1
回答
用节点
爬虫
或简单
爬虫
进行
NodeJS
网络爬行
、
我是网络
爬虫
的新手,我需要一些关于这两个节点JS
爬虫
的提示。提前谢谢你。
浏览 0
提问于2018-05-07
得票数 2
回答已采纳
1
回答
网络
爬虫
文件扩展名处理
、
、
我正在用
nodejs
开发一个网络
爬虫
。我在网站爬行体中创建了一个独特的urls列表。但也有一些扩展像jpg,mp3,mpeg .我想避免爬那些有扩展的人。有什么简单的方法吗?
浏览 3
提问于2015-10-14
得票数 0
回答已采纳
1
回答
Cheerio提取一个没有结束标签的链接
、
、
我正在用cheerio和
nodejs
做一个
爬虫
,我试着提取一个没有结束标签的。
浏览 1
提问于2015-08-19
得票数 0
1
回答
Nodejs
如何将facebook/twitter
爬虫
机器人重定向到另一个服务器生成的页面?
、
、
我正在构建一个小应用程序,当我共享页面时,抓取HTML的
爬虫
不会评估JavaScript(这很有意义)。因此,我想做的是使用某种服务器端的用户代理检测,在社交媒体
爬虫
到达时进行检测,然后不再向它显示普通的AngularJS模板文件,而是将其重定向到一个服务器生成的页面,该页面将包含所需的元标记,所有这些都填充了正确的信息我知道有prerender.io可以做到这一点,但是是否有一种简单的方法可以使用
NodeJS
/ExpressJS来实现呢?
浏览 0
提问于2017-10-05
得票数 0
回答已采纳
1
回答
如何使用``react share`包在Twitter和Facebook上分享图片和描述?
、
、
、
这是我的头盔
代码
。shareImg} /></Helmet> 这是Twitter和Facebook分享按钮的
代码
片段
浏览 52
提问于2019-08-03
得票数 2
回答已采纳
1
回答
NodeJS
:调试内存使用
我有一个网络
爬虫
正在消耗大量的记忆。我尝试过node --trace-gc,就像"
NodeJS
0.3.1应用程序泄漏内存“一样,问题也是一样的。我将异步库用于多个gets到服务器。
浏览 3
提问于2011-08-23
得票数 2
回答已采纳
1
回答
通过内置模块进行引用欺骗
、
、
、
我一直在想,是否有办法只使用内置表达式来欺骗Referer,尝试更改不安全的标头时,XMLHttpRequest会抛出错误。我不喜欢使用外部的原因是,它们通常有一些我永远不会使用的功能,因此很可能很重。
浏览 5
提问于2020-02-25
得票数 0
1
回答
异步调用web服务并将数据保存到mysql数据库的最佳方式/程序/语言?
、
、
、
我认为它类似于网络
爬虫
,除了它不必处理html页面,而是JSON/XML。 进行这项工作的最佳方式是什么?这可以使用PHP或
NodeJS
来完成吗?
浏览 4
提问于2012-07-19
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
学习分享Java爬虫伪代码
nodejs集成redis
反爬虫的极致手段,几行代码直接炸了爬虫服务器
《快速上手nodejs》
TypeScript Nodejs 项目结构
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券