使用cheerio和javascript抓取内容
使用cheerio和JavaScript抓取内容是一种常见的网络爬虫技术，可以用于从网页中提取所需的数据。下面是对这个问答内容的完善和全面的答案：
- Cheerio是什么？ Cheerio是一个基于jQuery核心思想的快速、灵活、简洁的服务器端HTML解析工具。它提供了类似于jQuery的语法和API，使得在服务器端使用类似于jQuery的方式来操作HTML文档变得更加简单和高效。
- JavaScript是什么？ JavaScript是一种广泛应用于Web开发的脚本语言，它可以在网页上实现动态交互效果，为用户提供更好的用户体验。JavaScript可以直接嵌入到HTML中，通过浏览器解释执行。
- 抓取内容有什么用途？ 抓取内容可以用于数据分析、信息收集、搜索引擎优化、自动化测试等多个领域。通过抓取网页内容，可以获取到所需的数据，进而进行进一步的处理和分析。
- 使用cheerio和JavaScript抓取内容的步骤：
a. 安装cheerio：可以通过npm安装cheerio模块，使用命令
npm install cheerio进行安装。 b. 引入cheerio模块：在JavaScript代码中，使用require('cheerio')语句引入cheerio模块。 c. 发起HTTP请求：使用Node.js的HTTP模块或第三方库（如axios、request等）发起HTTP请求，获取目标网页的HTML内容。 d. 加载HTML内容：使用cheerio的load()方法加载HTML内容，创建一个类似于jQuery的对象。 e. 使用选择器提取数据：使用类似于jQuery的选择器语法，通过cheerio对象提取所需的数据。 f. 处理和存储数据：对提取到的数据进行进一步的处理和存储，可以将数据保存到数据库、生成报告等。 - Cheerio的优势： a. 快速高效：Cheerio在解析HTML时非常快速，因为它使用了类似于jQuery的选择器引擎，能够快速定位和操作HTML元素。 b. 简洁易用：Cheerio提供了类似于jQuery的语法和API，对于熟悉jQuery的开发者来说，上手非常容易。 c. 轻量级：Cheerio是一个轻量级的库，没有依赖其他的库或框架，可以方便地集成到各种项目中。 d. 跨平台：Cheerio可以在服务器端（如Node.js）和浏览器端都可以使用，具有很好的跨平台性。
- 使用cheerio和JavaScript抓取内容的应用场景： a. 数据采集和分析：抓取网页内容可以用于数据采集和分析，例如抓取商品信息、新闻数据等。 b. 网络爬虫：通过抓取网页内容，可以构建网络爬虫，自动化地获取大量的数据。 c. SEO优化：抓取网页内容可以用于分析竞争对手的网站结构和关键词排名，从而优化自己的网站。 d. 自动化测试：抓取网页内容可以用于自动化测试，例如检查网页上的链接是否正常、页面元素是否正确等。
- 腾讯云相关产品和产品介绍链接地址：
腾讯云提供了多个与云计算相关的产品，包括云服务器、云数据库、云存储等。以下是一些相关产品的介绍链接地址：
- 腾讯云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云函数计算（SCF）：https://cloud.tencent.com/product/scf
请注意，以上答案仅供参考，具体的技术实现和产品选择应根据实际需求和情况进行评估和决策。
相关·内容
我正在创建一个用javascript编写的web抓取程序，使用request和cheerio。我试图提取的网页在html中包含javascript。这是我感兴趣的javascript，但是找不到访问它的方法。有没有办法使用cheerio来提取javascript？
非常感谢你的建议，我刚刚开始学习网络抓取。
我的代码是：
var request = require('request');
var cheerio = require('cheerio');
var credentials = {
username: 'username',
浏览 6提问于2015-02-26得票数 1
我需要从谷歌搜索结果中抓取一些内容，这些内容只在浏览器中显示(我怀疑这是当Javascript被启用时)- specifically，他们的知识图“人们也搜索”的内容。
我结合使用request和cheerio来抓取结果，并且已经设法从JavaScript域中强制加载结果，然而，知识库框没有显示在我的结果的body中，可能是因为它是javascript生成的内容。
有没有人知道有没有我可以添加的设置或者我可以使用的其他库？
下面是我的代码。谢谢!
var request = require('request');
var cheerio = require("cheer
浏览 2提问于2015-01-02得票数 0
1回答
所以我正在用Cheerio做一些简单的网络抓取。它工作得很好，输出出现在我的cmd行中。我可以从命令行获取数据并以某种方式将其放入某个JavaScript中吗？我基本上是想在另一个网页上重新创建这个被刮过的数据。
var request = require('request');
var cheerio = require('cheerio');
request('https://news.ycombinator.com', function (error, response, html) {
if (!error && r
浏览 2提问于2014-01-14得票数 1
回答已采纳
因此，这可能是一个令人费解的问题，但这里有：
我正在用node.js创建一个简单的，本地托管的网络抓取器。当我在源文件中手动定义要抓取的URL时，它工作得非常好，现在我正在尝试提示用户输入他们选择的URL。然后，我将他们输入的URL附加到一个空的div中，理想情况下，可以使用cheerio来获取该div的内容。
不幸的是，我不知道如何解析在运行脚本的页面上创建的数据。任何洞察力都会非常，非常感谢！
var cheerio = require("cheerio");
response.write('<div id="newsStory"&g
浏览 2提问于2013-09-25得票数 0
2回答
我使用和从中抓取数据。我只用了一个简单的代码来显示正文html，如下所示：
var fetch = require('node-fetch');
var cheerio = require('cheerio');
var url = 'http://readcomiconline.to';
function getComic() {
fetch(url)
.then(res => res.text())
.then(body => console.log(body));
}
getComi
浏览 1提问于2018-06-10得票数 0
1回答
我正在尝试使用Javascript和Cheerio创建一个网络爬行器，当我试图从抓取的页面中的url中抓取数据时，我遇到了一些困难。例如，我抓取第一个页面的一些细节(包括链接页面的URL )，然后当我尝试使用回调函数抓取链接页面时，我无法将返回值赋给对象。这两个抓取器单独工作，但是我在让它们异步运行时遇到了问题，并且变量detailsPage总是以未定义的形式返回。
任何帮助都将不胜感激！
const cheerio = require("cheerio");
const axios = require("axios");
const scrapeAllDat
浏览 0提问于2020-02-19得票数 0
我有一个用JavaScript创建的移动应用条形码扫描器，并想使用网络刮刀中的UPC码来获得产品的信息。
抓取器当前可以从UPC数据库中获取视频游戏的标题。
const rp = require('request-promise');
const cheerio = require('cheerio');
const options = {
uri: `https://barcodeindex.com/upc/722674120708/`,
应该在URL中输入UPC条形码，而不是只是测试码的长数字。
transform: function (
浏览 7提问于2018-02-14得票数 0
1回答
我正在尝试使用pupeteer和Cheerio抓取产品页面。(this page) 我正在使用一个数据id来抓取标题和图像。问题是标题永远不会被刮掉，而图像每次都会被刮掉。 我尝试过通过类名抓取标题，但也不起作用。这与我试图抓取的特定网站有关吗？谢谢。 我的代码： // Load cheerio
const $ = cheerio.load(data);
/* Scrape Product Page */
const product = [];
// Title
$('[data-testid="produc
浏览 47提问于2021-08-04得票数 1
回答已采纳
给定页面上的以下HTML内容： <div class="this-bold this-orange this-big">Latest Reading: 73° <span class="this-smaller this-itlaic">(updated: July 21, 2021)</span></div><br /> 我需要能够抓取并返回字符串，如下所示： 73度，更新时间:2021年7月21日 我如何使用axios和cheerio在javascript中实现这一点
浏览 12提问于2021-07-23得票数 0
3回答
我正在抓取一个网页，我需要访问的div有id="#abc"。我使用cheerio来抓取页面，所以我需要在JQuery中这样做，但它不起作用：
$('##abc') // undefined
但是它适用于纯javascript：
getElementById("#abc") // works well
浏览 0提问于2018-09-19得票数 1
回答已采纳
我正在使用Cheerio和请求网络抓取图像URL，当我想要获取URL时，我会一直获取URI。我能做些什么来修复这个问题？ const request = require('request-promise');
const cheerio = require ('cheerio');
(async () => {
const webUrl = 'https://www.redbubble.com/lists/9747201/favorites';
const response = await request(webUr
浏览 47提问于2020-04-04得票数 0
回答已采纳
4回答
Web抓取基础
、、、、
我给网页抓取一次尝试，因为我可以看到很多潜力做有趣的事情。我花了几个小时研究我需要什么，我决定使用node.js和'request‘和'cheerio’模块来执行刮擦。
因此，对于第一个项目，我想我应该尝试从这个随机语句生成器站点获得一个随机语句：
标记看起来相对简单，下面是我感兴趣的一点：
<div class="resultBox">
<table class="centeredResult">
<tbody><tr>
<td>
浏览 6提问于2014-08-11得票数 2
回答已采纳
因此，我有这个简单的代码来挖掘一些视频url，以便在之后应用另一个抓取功能。我的问题是我似乎无法返回充满url的数组。我知道这是一个范围问题，但我对Javascript不太熟悉，我的知识使我得到了尽可能多的帮助。
以下是代码：
var request = require('request');
var cheerio = require('cheerio');
var startUrl = 'http://www.somewebsite.com/mostviewed';
var getVideoIds = function(url) {
浏览 1提问于2014-04-30得票数 0
回答已采纳
我正在尝试使用Google Apps脚本从以下网页中提取数据: url = view-source:https://www.vitalcountry.cz/erythritol-mouckovy/ 我们已经对一些标签使用了Cheerio库。现在我正在尝试从JavaScript变量中抓取数据。我试了很多方法，但还是卡住了。我想从数据层获取ID。下面是数据层： ? 。 我正在尝试通过字符串匹配来获取它。因为它不适用于javaScript变量。(我想) 我的最后三个密码。 ? 。
浏览 37提问于2021-08-25得票数 0
回答已采纳
我正在写一个简单的脚本，从网站上抓取一个货币表。 到目前为止，这是我的脚本，我想要做的是从以下网站获取外汇汇率表：https://www.bangkokbank.com/en/Personal/Other-Services/View-Rates/Foreign-Exchange-Rates 到目前为止，这是我的代码。 const cheerio = require('cheerio');
const request = require('request');
request({
method: 'GET',
url: '
浏览 9提问于2020-12-18得票数 0
回答已采纳
1回答
首先，请理解使用翻译器可能不正确的语法。 我将在React环境中使用cheerio来做web抓取。 站点的一部分(例如)： <ul>
<li>
<div class="name">burger</div>
<div class="price">5,500</div>
</li>
<li>
<div class="name">sandwich</div>
<div class=&
浏览 30提问于2021-01-04得票数 0
我将从一个使用javascript加载动态内容的网站中抓取一些内容。以前，我使用过request和cheerio来刮刮，它们工作得很好。但我只是发现request和cheerio不能抓取动态内容。在做了一项研究之后，我发现了幻影，它可以在页面加载后获取所有内容。我现在有一个问题，我不能使用jQuery选择器，因为我以前在cheerio中使用。这是我的示例代码，但选择器不返回任何内容。
var page = require('webpage').create();
var url = 'http://angkorauto.com/vehicle';
page.op
浏览 3提问于2016-12-10得票数 0
回答已采纳
1回答
br编码中的Axios响应
、、、、
我正在尝试从中进行web抓取，我正在使用NodeJS库( cheerio )和axios进行抓取。
这是我的密码：
const cheerio = require("cheerio")
const axios = require("axios")
const dataScrapper = () =>{
const config = {
method:"get",
url:"https://coinmarketcap.com/",
}
axios(config)
浏览 19提问于2022-11-26得票数 1
回答已采纳
我正在使用cheerio.js进行网络抓取。它已经显示出与jquery有细微的区别，例如，:eq在选择器中不可用。我想从经验中询问，我是否可以信任cheerio按文档顺序返回项目。例如，如果我有一个<ul><li></li><li></li></ul>，并且运行了$('li').get(0)，它将给出第一个列表项。
浏览 1提问于2015-08-14得票数 1
回答已采纳
1回答
我正在使用Cheerio和request与Node.js一起进行一些基本的web抓取，但似乎不知道如何访问这些数据。页面通过请求加载，我可以使用Cheerio来console.log页面标题，但是当我看到脚本时，就会出现复杂的对象混乱。
在页面的正文部分，它看起来像..。
<body>
<script src="someUrl" script type="text/javascript" />
<script src="someUrl" script type="text/javascript&#
浏览 1提问于2018-05-02得票数 0
回答已采纳
2回答
我是JavaScript的新手，所以要有耐心。我一直在尝试抓取一个站点，并获取一个列表中的所有产品URL，稍后我将在其他函数中使用这些URL：
url='https://www.fromuthtennis.com/frm/c-10-mens-tops.aspx'
var http = require('http-get');
var request = require("request");
var cheerio = require("cheerio");
function getURLS(url) {
reque
浏览 0提问于2016-10-28得票数 0
1回答
我目前正在使用cheerio和nightmare进行一些抓取工作。我之所以同时使用这两个工具，而不仅仅是cheerio，是因为我必须操纵网站才能找到我想要抓取的部分，而且我发现噩梦非常擅长做这些脚本。
所以，现在我正在使用nightmare获取，直到我需要的信息显示出来。在那之后，在evaluate()上，我试图以某种方式返回当前的html，然后将其传递给cheerio进行抓取。问题是我不知道如何从document对象中检索html。document中是否有一个属性可以返回整个正文？
这是我想要做的：
var Nightmare = require('nightmare');
浏览 5提问于2016-09-26得票数 7
回答已采纳
2回答
我在William Hill网站上练习使用node和cheerio进行web抓取，但是当我在代码中达到某个点时，它几乎停止了，尽管div中充满了显示这一点的html和inspect元素，并且当调用.html()时，它只是返回，好像它是空的。此div中任何元素的目标都将返回null。 request('https://sports.williamhill.com/betting/en-gb/football/competitions/OB_TY295/English-Premier-League/matches/OB_MGMB/Match-Betting', (error, r
浏览 63提问于2020-12-08得票数 0
我正在学习一个使用Cheerio的网络抓取课程。我在不同的网站上练习，而不是他们在课程中使用的网站，现在我遇到了一个问题，我所有的抓取文本最终都会变成一个大对象。但是每个标题都应该在它自己的对象中结束。有人能看到我做错了什么吗？我已经在这个问题上绞尽脑汁两个小时了。 const request = require('request-promise');
const cheerio = require('cheerio');
const url = "https://huurgoed.nl/gehele-aanbod";
const scra
浏览 17提问于2019-04-14得票数 0
回答已采纳
1回答
我有一个节点脚本，它经常抓取网站列表中的信息。我想尝试提高脚本的效率；然而，nodejs a是单线程运行时。但在幕后，nodejs是多线程的，允许异步代码。有没有办法利用这一点来提高效率？如果不是，还有其他选择吗？ 现在，该脚本同步运行。我尝试过混合使用同步和异步代码，但我总是耗尽了堆栈。示例代码不包括用于抓取数据或检查数据的逻辑，因为它是不相关的。 const request = require('request-promise');
const cheerio = require('cheerio');
const siteList = require(
浏览 21提问于2019-05-31得票数 0
我正在尝试开发一个语言web应用程序。它将从不同的网站抓取数据，并向参与者提出许多问题等。我已经创建了抓取网页的文件，但我很难从node.js文件中获得抓取的变量。以下是节点js文件的一些摘录：
var pword = function() {
var request = require("request");
var cheerio = require("cheerio");
var aa = Math.floor(Math.random() * 588);
var words = ['abash', &#
浏览 1提问于2016-07-03得票数 0
1回答
如何检索文本区域的值
、、、、
我试图使用cheerio访问文本区域中的文本，但是它的文本没有显示在HTML Dom中。 这是文本区域的HTML： <textarea id="MainContentPlaceHolder_txtGtin-inputEl" name="MainContentPlaceHolder_txtGtin" rows="4" cols="20" readonly="readonly" class="x-form-field x-form-text x-form-textarea" autocomple
浏览 12提问于2020-01-14得票数 0
1回答
我正在尝试为nodeJS构建一个非常简单的抓取函数--一个可以传递URL的函数，它会以var data的形式返回抓取的数据。
我是一个全新的Node.js新手，我不明白为什么下面的代码不能正常工作：
var request = require('request');
var cheerio = require('cheerio');
function scrape(url) {
console.log("Scraping: " + url);
request(url, function(err, resp, body) {
浏览 0提问于2013-06-04得票数 0
回答已采纳
1回答
运行脚本时，结果总是“未定义”。
、、、、
我一直在尝试使用axios和cheerio迭代地从网页中抓取下一个页面链接。当我运行脚本时，结果总是得到undefined。在没有更多的链接之前，我如何获得下一页链接？
这是我目前的尝试：
const axios = require("axios");
const cheerio = require("cheerio");
const base = "https://stackoverflow.com";
const url = "https://stackoverflow.com/questions/tagged/web-scrapi
浏览 3提问于2021-09-26得票数 1
回答已采纳
我正试着为当前的火车时刻表刮一个网页。我使用'request‘来获取html。但是，我想要抓取的网页使用javascript来填充一个包含时间的表。这意味着，我想要得到的时间是在innerHTML中，据我所知(这不是那么远;P)，请求返回outerHTML。
因此，我的问题是如何使用请求获取innerHTML代码？如果请求不能满足要求，我应该使用什么？
代码：
const request = require('request');
const cheerio = require('cheerio');
request('<The Web
浏览 0提问于2019-08-27得票数 1
回答已采纳
我正在使用nodejs和cheerio从网站上抓取数据，然后它会从这些数据中创建一个对象。然后，它需要获取该对象并在函数中使用它。
问题是，我的对象正在创建中，但在cheerio可以正确解析数据并将其放入对象之前，下一个函数已经在运行。下面是我的代码：
function getInfo(obj, link){
request(link, function(err, resp, body) {
if (err) {
console.log("Uh-oh: " + err);
throw err;
浏览 0提问于2013-06-07得票数 0
回答已采纳
1回答
我正在使用cheerio来进行网络抓取。我可以在浏览器中使用下面的代码获取所需的值。我遇到的问题是将它转换为cheerio，因为我需要使用请求进行解析。我个人觉得cheerio文档有点让人困惑，而且我尝试过的东西都不起作用。如果有人能帮我把这个转换成cheerio，我将不胜感激。 let lol = JSON.parse(document.querySelector('#maincontent > script:nth-child(5)').innerHTML.split('{"variants":')[1].split(`};`)[0]
浏览 12提问于2021-02-01得票数 0
4回答
如何使用jQuery/Javascript来选择第一个<p>中两个<div class="description元素的HTML？雷吉斯也很好。这个jQuery选择实际上是在Node.js中对cheerio对象执行的。
使用
$( $('.description')[0] ).children().not('h2').html()
似乎只抓取了文本
Foo Bar
而不是
<p>Foo</p>
<p>Bar</p>
HTML:
<div class='description&
浏览 9提问于2015-12-12得票数 3
1回答
有没有人使用Node Cheerio来抓取整个网站，而不仅仅是抓取器所指向的首页/第一页？
目前，我正在执行以下操作，这些操作只抓取目标页面。
request('http://arandomsite.com/', function (error, response, html) {
if (!error && response.statusCode == 200){
var $ = cheerio.load(html);
...
...
...
};
浏览 1提问于2013-11-26得票数 0
我正在使用axios和cheerio，并且我想在视频标签中擦除src。
如果我只是像$('img')这样抓取img标记，它会显示有关这些标记的所有属性。
但是如果我像$('video')一样抓取视频标签，它只会显示{} (空对象..)
如何在视频标签中抓取src？
axios.get(url)
.then(res => {
const html = res.data.;
const $ = cheerio.load(html);
const text = $('#playerArea vid
浏览 0提问于2020-11-16得票数 1
1回答
我正在为Firefox创建一个javascript扩展，我想在其中使用一个刮板页面，找到一个子页面，并将该URL传递给扩展中的一个函数。刮板是使用Cheerio构建的，我已经在本地机器上使用Node.js创建并测试了刮板，但在扩展中实现它时遇到了问题。我知道最有可能的是，在浏览器中运行一个扩展，不会让你创建一个“请求”连接。
当我调用抓取函数时，它没有给出错误，相反，它根本没有返回(也没有控制台日志，所以它不会触发)。有人知道如何在任何机器上的扩展中调用这个函数吗？有没有办法在扩展或类似的东西中包含Node js？代码如下！
function scrape(item) {
reques
浏览 18提问于2017-12-29得票数 0
1回答
新手来了。我参加了网络抓取项目。我想要一些关于网页抓取分页技术的指导。我正在刮这个网站。正如您所看到的，我想检索不同的“总回报”百分比。现在我正在使用cheerio和axios。
const http = require("http");
const axios = require("axios");
const cheerio = require("cheerio");
http
.createServer(async function (_, res) {
try {
const respon
浏览 3提问于2021-09-24得票数 1
我试着从聊天中抓取数据，但我不知道如何使用NodeJs中的Cheerio
我需要获得消息列表中的所有昵称(msg-昵称)：
到目前为止，我已经：
server.js
var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app = express();
app.get('/scrape', f
浏览 0提问于2019-04-01得票数 1
回答已采纳
1回答
我正在尝试使用node和cheerio从this页面中抓取元素。我想要得到每一行中第一个"td“、背景颜色为#cbdced的所有内容。 因此，请求将是：“对于每个tr，如果第一个td的属性为bgcolor #cbdced，则抓取该行中所有td中的元素”。我怎么才能把它翻译成cheerio呢？
浏览 21提问于2019-10-18得票数 0
回答已采纳
1回答
我在抓取网站上的数据时遇到了麻烦。无法获取表格的标签<tbody>，也无法获取标签<tr>和<td>的内容文本。我使用cheerio来抓取数据。请帮帮我。代码如下： const cheerio= require('cheerio');
const request= require('request-promise');
request('https://liveboard.cafef.vn/',(error,response,html) => {
if(!error &
浏览 33提问于2021-09-07得票数 0
我在这里尝试遵循这个主题：
不幸的是，当我这样做的时候，我得到了以下错误：
Uncaught Error: Can't make a blocking HTTP call from the client; callback required.
以下是我的项目的javascript代码：
var cheerio;
if (Meteor.isClient) {
Template.entry.events = {
'click .btn_scrape' : function() {
$ = cheerio.load(Meteor.http.get(&
浏览 0提问于2013-03-06得票数 4
回答已采纳
我希望在整个脚本中找到一个JavaScript代码/关键字，比如zopim或v2.zopim.com，并在NodeJS上使用cheerio。我编写了一个脚本，可以从一个网站抓取所有链接，但是脚本需要打开所有这些抓取的链接，并在JavaScript代码中搜索"zopim“关键字。我看了一下啦啦队的，它是，但没有运气。我想知道有谁能帮我弄清楚这种情况吗？这是我的代码的一部分，在这里我打开链接并在源代码中搜索关键字。如果有必要的话，我可以把所有的东西都寄出去。
function () {
//console.log(totalUrls);
console.log("C
浏览 0提问于2018-11-20得票数 0
回答已采纳
3回答
没有从刮碎的罗顿托中返回数据
、、、、
我不知道如何从中抓取以下数据
Movie Title
Review Score
Release date
Link to movie details
Link to movie poster
我不会取回任何数据或进入我的每个循环。
我的代码：
var cheerio = require("cheerio");
var request = require("request");
// Make a request call to grab the HTML body from the site of your
choice
request("http
浏览 3提问于2018-05-05得票数 0
回答已采纳
1回答
我正在尝试网络抓取一个网站，这样我就可以为一个项目收集一些信息，这是我的代码，它在控制台403中返回。我正在使用request和cheerio来做这件事，为什么会这样呢？注意:我知道大多数状态码是什么意思。
const request = require('request');
const cheerio = require('cheerio');
request('http://www.realmeye.com/forum/', function(err, resp, html) {
if (!err) {
cons
浏览 7提问于2019-08-14得票数 1
回答已采纳
1回答
目前，我正在尝试编写一个刮刀器，它将使用node.js从facebook帖子中的div中获取所有'p‘标记。
页面上的每一篇文章都在div中，它们都有以下类：.text_exposed_root
有时在每个帖子中有多个'p‘标签，所以理想情况下，如果可能的话，我需要抓取div中所有的html文本。我正在使用cheerio和request模块，到目前为止，我的代码如下：
request(BTTS, function(error, response, body){
if (!error){
var $ = cheerio.load(body),
浏览 5提问于2015-11-09得票数 1
回答已采纳
我正在尝试从雅虎金融抓取股票信息使用cheerio和request in node。 我发现价格有一个属性data-reactid，并试图使用它来获取它，但当我运行它时，我得到了一个函数，而不是一个字符串。 const request = require("request");
const cheerio = require("cheerio");
request("https://finance.yahoo.com/quote/%5EIXIC?p=^IXIC",(err,res,html)=>
{
if(err){console.l
浏览 11提问于2019-05-05得票数 0
回答已采纳
1回答
我正在运行下面的代码来抓取数据。但是，代码只抓取了第一个元素。
const cheerio = require('cheerio')
const jsonframe = require('jsonframe-cheerio')
const got = require('got');
async function scrapeCoinmarketCap() {
const url = 'https://coinmarketcap.com/all/views/all/'
const html = await got(
浏览 0提问于2017-10-30得票数 0
我使用Puppeteer获取网站HTML，然后用Cheerio抓取数据。以下是我的代码的一部分。它几乎每次都工作得很好，但有时我在companyAddress和companyIntro中得不到定义。一开始，我认为这可能是由于不同页面的差异，但即使我在不同的时间抓取相同的页面也会发生这种情况(大多数时候我会获得数据，但有时它是未定义的)。页面渲染成功，通过devtool确认属性及其值存在。我想知道它背后的原因。会不会是抓取过程中Puppeteer的问题？Cheerio代码是同步的，所以我不认为Cheerio是问题所在。我从来没有得到过错误:无法获取未定义的attr('profile
浏览 42提问于2021-02-24得票数 3
我有一个要抓取的urls列表，查找带有以下两个类的'a‘标记，行业名称和行业链接。我想要抓取innerHtml和href。我在控制台中获取了它，但我在使用Cheeriojs时遇到了一些问题。
<a href="xxxxxxx" class="industry-name industry-link">Retail</a> // taken from target page
document.getElementsByClassName('industry-name industry-link')[0].innerHT
浏览 13提问于2021-06-12得票数 0
1回答
我使用node、express、cheerio和axios来创建一个简单的网络爬行器。在这个例子中，axios有数据，但是在使用cheerio加载数据后，我得到了这个错误：
(node:14056) UnhandledPromiseRejectionWarning: TypeError: content.forEach is not a function
抓取器代码：
app.get('/users', (req, res) => {
axios('https://fake.com/users')
.then(response => {
浏览 27提问于2021-02-16得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
