1回答
使用AJAX请求抓取页面
、、、
我正在使用带有jsDOM的Node.js来抓取网页并在其中执行JavaScript。但是，如果页面包含AJAX请求，则不会执行这些请求。
是否有在抓取的页面中执行AJAX调用的选项？
浏览 1提问于2011-05-27得票数 4
回答已采纳
2回答
我将一个完整的超文本标记语言页面附加到一个div (抓取)。如何阻止它请求script和css文件？我尝试立即删除这些节点，但它们仍然被请求。
这是一个浏览器插件，我正在抓取JS
浏览 0提问于2015-01-06得票数 0
我正在使用Cheerio和请求网络抓取图像URL，当我想要获取URL时，我会一直获取URI。我能做些什么来修复这个问题？
浏览 47提问于2020-04-04得票数 0
回答已采纳
在Chrome中，您可以访问developer > network，查看该网站提出的所有请求。有更简单的方法吗？
浏览 1提问于2022-03-14得票数 -2
1回答
我们有一个要求，不发送一个特定的ajax请求到我们的服务器，如果页面是由facebook scraper请求的(我们在facebook墙上共享到我们的页面的链接)，我们试图检查基于的javascript5.0 (Windows NT10.0；Win64；x64) AppleWebKit/537.36 (KHTML，像Gecko) Chrome/71.0.3578.98Safari/537.36“)的请求
浏览 1提问于2019-01-23得票数 0
昨晚我在我的网站上收到了一个异常，是由一个代理的请求引起的:googlebot。
浏览 0提问于2010-10-02得票数 5
回答已采纳
我在我的网站的每个页面上都有一个表格，你需要从下拉列表中选择4个选项，然后才能提交(由jquery验证)。这是我得到的404类型的一个例子。网站上有javascript表单验证，它会阻止你实际提交表单，直到你选择了所有4个选项，也许googlebot会忽略js？
浏览 1提问于2013-05-09得票数 0
1回答
我正在使用Abot库来抓取网页。爬虫可以正确地请求页面，但问题是几乎所有内容都是通过knockout.js动态加载的。爬虫程序目前无法请求此内容，这导致只加载了页面的一小部分。我试着让程序等待，希望动态的请求无论如何都会被发送，但这似乎不起作用。如何才能使crawler请求所有数据？
谢谢!
浏览 12提问于2019-07-09得票数 0
我是这个框架的新手，在通过互动学习之后，我有一些关于Next.js如何处理SEO问题的问题。Next.js粗体功能是它在服务器端呈现React组件的能力，然而，据我所知，它只在服务器端呈现 first 请求，而其他请求将在客户端呈现，那么它如何在第一个假设为SEO friendly?Based、像google这样的爬虫器访问我们的站点、然后作为完整的HTML页面返回第一个响应，但是对于接收到的页面内的其他连续链接，它如何做得更好呢？它应该使用Javascript(这是SEO的主要致命弱点
浏览 3提问于2020-02-09得票数 3
回答已采纳
1回答
的主要目的：--我正在尝试使用Node.js从大约10,000个不同的页面中抓取数据。此代码复制了我的问题： });
浏览 0提问于2016-03-01得票数 0
1回答
root"></div>
<script type="text/javascript" src="/github-user-search/app.bundle.562f293b75a96de878ab.js
浏览 3提问于2019-07-07得票数 0
(每个页面加载会导致5-6个ajax调用)，因为我在这些视图中有很多视图和内部视图，
如果我运行Phantom.js，我能得到最终的html结果吗？
浏览 4提问于2013-02-07得票数 25
回答已采纳
1回答
谷歌搜索引擎
、、
很多搜索内容有用的页面都是用backbonejs显示的，所以所有的搜索信息都是用js添加的。据我所知，谷歌搜索只使用html响应来抓取内容，并且它不能在js页面下爬行。在这种情况下，谷歌搜索引擎是否可以接受和有效地创建html页面，与'js‘页面中的内容相同，并且只允许google bot请求。其他请求将重定向到适当的'js‘页面吗？
浏览 2提问于2012-07-17得票数 0
2回答
我已经使用puppeteer & node js (express)创建了scraper。这个想法是，当服务器收到http请求时，我的应用程序将开始抓取页面。问题是，如果我的应用程序一次收到多个http请求。抓取过程将一遍又一遍地开始，直到没有http请求命中。如何只启动一个http请求并将另一个请求排队，直到第一个抓取过程完成？port = process.env.PORT || 8080;
app.us
浏览 1提问于2019-03-16得票数 6
回答已采纳
2回答
我正在构建一个从页面获取主图像(基于Content-Length )的抓取器。它遍历所有<img>元素并发出HEAD请求。但某些页面，特别是移动，在页面加载后插入图像。我使用的是node.js。
浏览 0提问于2012-03-15得票数 0
回答已采纳
我想知道如何在循环中进行抓取(第1页，第2页等...)一个有无限循环(如imgur)的网页，例如...？<?
浏览 1提问于2013-01-20得票数 3
回答已采纳
当Twitter抓取URL以呈现Twitter卡(通过元标记配置)时，Twitter将首先执行您的JavaScript，还是要求直接从服务器发送这些标记？我问的原因是现在是2016年，所以我正在开发一个单一页面的应用程序。无论您请求什么URL，我都将返回/index.html，它获取我的JS，并在客户机上动态加载您请求的页面(包括元标记)。我知道Google会运行你的JS，但Twitter会吗？
浏览 2提问于2016-03-09得票数 6
回答已采纳
3回答
我正在尝试使用file_get_contents()获取url的内容，如下所示：这很好用，但我还必须获得如下所示的页面内容
浏览 2提问于2012-11-11得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
