腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
禁用
js
时,在reactjs中设置动态元标记
、
我遇到了一些问题谷歌
爬虫
和元标签,我使用反应头盔(没有ssr)的反应ssr。反应头盔确实有效,但谷歌搜索似乎找不到我添加的标签。我知道
爬虫
在没有启用
js
的情况下运行网站,在测试时我可以看到,当
js
被禁用时,头盔不会呈现标签(启用时可以正常工作)。知道
怎么
做吗? 谢谢你的帮助。
浏览 0
提问于2020-12-28
得票数 0
回答已采纳
1
回答
爬行url \如何在node.
js
中获取动态链接
、
我正在使用
js
爬虫
来抓取网站,现在我遇到了CNN,的那一部分(基于某种原因动态生成的urls)。事情是
爬虫
,不要真正接触脚本-我应该如何解决它?除了我的node.
js
爬虫
之外,我还应该编写自己的代码吗?是否有先进的
爬虫
知道如何处理这种动态行为?
浏览 1
提问于2016-07-23
得票数 2
回答已采纳
2
回答
卡尔瓦-
怎么
阻止
爬虫
?
、
、
我在Ubuntu上与calva一起使用vs代码。我的clojure应用程序监听一个端口,我发现如果我退出vs代码,它会留下一个java进程绑定到这个端口,我必须找到这个端口,然后再重新启动。
浏览 9
提问于2022-02-06
得票数 1
1
回答
如何忽略phantomjs中的错误
、
我有一个web
爬虫
,我使用phantomjs来解析页面,我想得到html,但我总是在html代码之前在输出中得到这种类型的错误。ReferenceError: Can't find variable: collapse_content_selector TypeError: 'undefined' is not a function (evaluating '$('[
浏览 0
提问于2013-10-19
得票数 26
回答已采纳
1
回答
向机器人隐藏代码
、
、
、
、
有没有一种方法只对
爬虫
隐藏页面的特定部分?那么,有没有办法对机器人隐藏某些部件,但在未来不会对用户隐瞒?不是整页,只是部分。但没有理由不让智能
js
阅读
爬虫
来隐藏它。麦芽酒
浏览 6
提问于2014-10-16
得票数 0
回答已采纳
1
回答
服务端渲染如何帮助
爬虫
?服务器端渲染和客户端渲染哪个更好?
、
、
、
我正在阅读angular的服务器端渲染文档,因为它们提到服务器端渲染是帮助
爬虫
。我知道在服务器端渲染
爬虫
可以获得整个dom,但
爬虫
也可以与组件交互,那么它如何帮助
爬虫
呢?
浏览 18
提问于2019-09-15
得票数 0
1
回答
将Web Scraper/ Web Crawler移植到移动设备?
、
、
、
是否可以将网络爬行器/网络
爬虫
移植到智能手机等移动设备上?如果是这样,我会
怎么
做呢?
浏览 0
提问于2011-12-20
得票数 0
1
回答
如何在node.
js
中发出https请求
、
、
我要做个
爬虫
。对于http请求,我曾经这样做过。', function () { }); http.request(options, callback).end(); throw er; // Unhandled 'error' eventError: getaddrinfo ENOTFO
浏览 2
提问于2015-01-18
得票数 1
回答已采纳
1
回答
在性能方面,为什么facebook不一次加载所有的
JS
文件?
、
登录后,我查看了facebook中的html代码,他们似乎对
JS
文件做了很多请求(根据firebug,多达20个)。所以,虽然我知道facebook需要加载许多
JS
和CSS文件(而不是一个
JS
和一个CSS文件),但我的问题是更通用的网站和网络
爬虫
的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络
爬虫
(googlebot和朋友)吗?我想提高性能,加载“稍后需要”的内容(text/
js
/css)似乎是个好主意,但如果
爬虫
不能使用(当然是内
浏览 2
提问于2013-03-18
得票数 3
1
回答
Symfony DomCrawler如何单击执行
js
代码的链接
、
、
、
、
如何使用
爬虫
来点击执行
js
代码的链接,这个链接没有HREF属性。
爬虫
可以通过客户端在页面上执行
js
代码吗?
浏览 82
提问于2021-02-03
得票数 0
1
回答
这是一个搜索引擎优化错误,没有加载谷歌-搞笑
js
的
爬虫
?
、
不会为
爬虫
加载google-analitics
js
会导致问题吗?这对SEO不好吗?
浏览 0
提问于2017-09-19
得票数 1
1
回答
HTML流的SEO/爬行性影响
、
、
随着HTML流(例如反应18流)的兴起,我想知道
爬虫
是如何处理HTML的。谷歌
爬虫
是如何处理这个问题的?谷歌确实提到了流这里,但它没有说明谷歌
爬虫
如何处理HTML。 其他
爬虫
(DuckDuckGo,Bing,Facebook,Twitter等)
怎么
样?我假设
爬虫
会等到HTML流结束时,这个假设安全吗?
浏览 0
提问于2021-07-27
得票数 7
1
回答
编写可与任何服务器保持登录状态的crawler
、
、
、
、
我正在写一个
爬虫
。一旦
爬虫
登录到一个网站,我想使
爬虫
“停留-始终登录”。我该
怎么
做呢?客户端(如浏览器、
爬虫
等)使服务器遵守此规则吗?当服务器在一天内允许有限的登录时,可能会出现这种情况。
浏览 0
提问于2009-11-26
得票数 0
回答已采纳
1
回答
如何在Linux终端上运行包含javascript内容的html文件?
、
、
我正在研究一个网站
爬虫
机器人,从中提取特定的信息。我至少需要在html文件上运行"on document ready“javascript函数,这样才能生成内容并获得它。我该
怎么
做呢?我看到一个叫"rhino“的命令,但它似乎只适用于.
js
文件,该文件是一个html文件。正如你可以猜到的,它里面包含html和
JS
。我们的计划是:下载html文件,编辑它们的"on document ready“
js
函数,获取输出,传递下一个,重复。
浏览 82
提问于2019-02-11
得票数 0
回答已采纳
1
回答
使Angular网站的AMP版本可爬行
、
、
、
、
问题是
爬虫
找不到规范的站点,因为它是通过Angular动态加载的。有没有可能绕过这个限制,比如在Angular项目的索引站点中放置对所有对象的引用?更清楚地说:object的详细视图: mysite.com/#/ detail /object1 如果我根据当前显示的对象动态添加对amp页面的引用,
爬虫
将找不到amp
浏览 1
提问于2017-09-18
得票数 0
1
回答
React / Express -服务器端呈现如何使用我的动态页面工作
、
、
、
、
我的问题是: SSR将如何与搜索引擎
爬虫
工作,以了解我的文章存在?所以,如果我要搜索“我的网站条款”或“我的网站条款栏”,它如何知道这些不同的文章存在?
浏览 2
提问于2017-03-01
得票数 2
回答已采纳
2
回答
如何打开需要node.
js
的web应用程序
、
、
、
我必须运行微
爬虫
,这是一个
爬虫
网络应用程序,与node.
js
运行。我不知道如何打开这个应用程序,我下载了node.
js
,当我在node.
js
命令行中编写install npm和install bower时,什么也没有发生。我也不知道如何在安装后启动web应用程序。
浏览 2
提问于2014-09-28
得票数 1
2
回答
Import.io某些爬网程序没有本地爬网按钮
我使用import.io创建了一些
爬虫
,但是对于其中一些
爬虫
来说,本地运行的选项似乎没有显示出来。有谁知道为什么他们没有从本地运行按钮,或者我
怎么
才能把
爬虫
放进去?
浏览 2
提问于2015-11-29
得票数 0
1
回答
爬行,爬行,获取数据
我想写一个
爬虫
来做一些基础设施(路由器,WAPS,系统等)的清单。所以,我在服务器上安装了一个应用程序,以及如何部署它。
爬虫
是
怎么
开始的?
爬虫
是如何返回数据的?
浏览 5
提问于2008-12-05
得票数 0
4
回答
我应该同时打开多少个Java HttpURLConnections?
、
、
我正在编写一个多线程的Java网络
爬虫
。根据我对网页的理解,当用户加载网页时,浏览器请求第一个文档(例如,index.html),当它接收到超文本标记语言时,它会找到需要包括的其他资源(图像,CSS,
JS
),并同时请求这些资源。我的
爬虫
程序只请求原始文档。由于某些原因,我不能让它每5秒抓取超过2到5页。我正在为我制作的每一个HttpURLConnection创建一个新的线程。看起来我应该至少能够每秒抓取20-40页。知道是
怎么
回事吗?
浏览 1
提问于2009-09-04
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
爬虫之旅(2)——网页知识储备html、css及js
怎么才能靠加密货币躺着挣钱
python爬虫:带你了解爬虫应当怎么做
没有路子怎么能创业挣钱?
易货怎么挣钱?易货交易的利润高吗?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券