Cheerio web抓取错误

文章/答案/技术大牛

发布

0回答

node.js、express、cheerio

我正在努力为所有的教授抓取。我的代码似乎得到了以下错误： 7: 0x292aec062bf我不知道我做了什么导致这个错误我需要循环超过1000万页，但我不知道为什么它会给我这个错误，只有10个循环。tid=&quo

浏览 0提问于2017-11-25得票数 1

1回答

Chrome自动更改了DOM，或者与cheerio获得的DOM不同

node.js、google-chrome、web-scraping、cheerio

所以我使用cheerio.js编写了一个web抓取应用程序。事情一直很顺利，直到我注意到cheerio $('tbody tr')没有返回任何东西，而当我在chrome中打开同一个网站时，jquery $('tbody tr')返回了表体中的所有行。在cheerio的body中，没有tbody，它的结构类似于<table><theader></theader><tr></tr><t

浏览 0提问于2015-08-17得票数 0

1回答

从Twitch中抓取数据

javascript、html、r、phantomjs、twitch

我如何在Twitch上抓取给定游戏的追随者和观众数量？ (首选R中的解决方案，但不是强制性的)

浏览 90提问于2019-04-24得票数 0

2回答

用vue js进行Web抓取

javascript、vue.js、vuejs2

我期待着用Vue js制作一个网络抓取应用程序。对于上面提到的套餐

浏览 2提问于2020-07-06得票数 1

2回答

错误:找不到模块'entities/lib/decode_codepoint.js‘

javascript、jquery、node.js、angularjs、express

我正在使用cheerio模块进行web抓取。在安装htmlparser2之后，它需要htmlparser2模块。它给出以下错误- Error: Cannot find module 'entities/lib/decode_codepoint.js'

浏览 2提问于2014-08-11得票数 6

1回答

Web抓取Nodejs cheerio

node.js、web-scraping、cheerio

当我这样调用时，Cheerio没有得到<script>标签的内容：或什么方法可以做到这一点？

浏览 0提问于2018-05-20得票数 0

1回答

br编码中的Axios响应

javascript、node.js、web-scraping、axios、cheerio

我正在尝试从中进行web抓取，我正在使用NodeJS库( cheerio )和axios进行抓取。这是我的密码：const axios = require("axios") } axios(c

浏览 19提问于2022-11-26得票数 1

回答已采纳

1回答

对象#<Object>在使用Cheerio和NodeJS刮取时没有方法'attr‘

jquery、node.js、web-scraping、cheerio

在学习关于Node中的web抓取的教程时，我在终端中运行这个脚本时遇到了这个问题：下面是我正在使用的脚本： cheerio = require('cheerio'), request('http://www.reddit.comerr &am

浏览 1提问于2014-04-22得票数 1

回答已采纳

1回答

如何从html中提取javascript？

javascript、html、web-scraping

我正在创建一个用javascript编写的web抓取程序，使用request和cheerio。我试图提取的网页在html中包含javascript。有没有办法使用cheerio来提取javascript？var request = require('request'); var credentials =

浏览 6提问于2015-02-26得票数 1

3回答

Node Js & Puppeteer -如何选择Anchor标记内的文本

javascript、html、node.js、web-scraping、puppeteer

我现在正在做一个项目，遇到了一个错误，需要你的帮助！关于如何抓取这样的文本，我已经没有想法了。

浏览 24提问于2020-04-10得票数 3

回答已采纳

1回答

NodeJS模块“请求”返回一些符号，而不是html。

javascript、node.js、npm、cheerio、requestjs

我正在学习Nodejs，并尝试使用node.js进行web抓取。但是当我请求url时，它会返回一些符号，而不是html体。var request = require('request');request({ url:"http://mangafox.meshingeki_no_kyojin/v00&#x

浏览 2提问于2016-08-10得票数 0

回答已采纳

1回答

如何使用Cheerio获取已动态填充的LI tat之间的数值

node.js、cheerio

如何使用Cheerio获取由UL和class标记包装的li标记中的数字。>6</li> <li class="ball winNum4">14</li> </ul> let $ = cheerio.load

浏览 25提问于2019-06-25得票数 0

1回答

在Request + Cheerio中使用循环(NODEJS)

node.js、web-scraping

我正在尝试抓取一个网页，将所有的URLS放入一个数组中，然后抓取该数组中的下一个页面。但它只是循环第一个URL，而不是跟随数组中的下一个URL。我如何改变它，让它抓取每一页？var cheerio = require('cheerio');var= 200) return done(res.status

浏览 2提问于2017-06-22得票数 0

1回答

欢迎您不要在Axios get请求中加载HTML --所有这些都在一个aysnchronous意图处理程序中。

javascript、node.js、amazon-web-services、aws-lambda、alexa

我正在使用axios和cheerio进行web抓取，当我从命令行在本地机器上运行这些代码时，代码成功地检索了HTML，而cheerio能够获得我需要的数据。但是，当我在Lambda上运行代码时，每当我尝试用cheerio加载HTML时，它都会抛出一个错误。但是，如果我从axios检索到html，并尝试用cheerio加载它，它会抛出一个错误。'); const cheerio = require('chee

浏览 2提问于2019-04-26得票数 0

2回答

缩短axios text/html响应

javascript、node.js、web-scraping、axios、screen-scraping

我正在向一个网页发送一个Axios请求，要求从其中抓取一个小字符串，但返回的响应是一个很大的html，而我只需要它的一小部分，有没有办法缩短响应，这样我就可以保存数据并使请求更快？

浏览 20提问于2021-01-27得票数 0

回答已采纳

3回答

如何在加载javascript后从URL中获取HTML代码

javascript、java、android、html、url

我正在制作一个从网站获取数据的应用程序。这个网站不提供API，所以我试着自己做。//Get the html code from the URLString input;while ((input = in.readLine()) != null) { stringBuf

浏览 0提问于2018-11-30得票数 0

1回答

应用当前实现中从下一页抓取链接的逻辑存在问题

javascript、node.js、web-scraping、promise

我在节点中创建了一个脚本，用于从网页中抓取不同帖子的链接。剧本似乎用的是正确的方式。现在，我想从下一页捕捉不同帖子的链接。由于我刚开始在节点中编写代码，我只是不知道如何在当前实现中应用从下一个页面抓取链接的逻辑。const request = require('request'); const link = 'https://stackoverflow.com/quest

浏览 1提问于2021-09-04得票数 0

回答已采纳

1回答

刮取NodeJS时分页问题

javascript、arrays、node.js、cheerio

我正在编写一个小脚本，从公共目录中抓取一些信息。我已经将它保存到CSV，但是我在自动分页方面遇到了困难。require('request-promise');const otcsv = require('objects-to-csv');const baseURL =

浏览 0提问于2019-12-15得票数 1

回答已采纳

1回答

使用nodeJs进行XML抓取

node.js、xml、web-scraping、cheerio、tally

我有一个非常大的xml文件，它是我从tally导出所有数据后得到的，我试图使用网络抓取来从我的代码中提取元素，但我在格式或类似的东西上遇到了问题。而我的web抓取代码输出的是空文件： const cheerio = require('cheerio');

浏览 11提问于2020-06-30得票数 0

1回答

如何使用cheerio抓取动态网站？

javascript、reactjs、web-scraping、axios、cheerio

我将在React环境中使用cheerio来做web抓取。<div class="name">ramyeon</div> </li> </ul> 我的代码(仅供参考，此代码在抓取其他站点时运行良好)： const cheerio = require("cheerio<

浏览 30提问于2021-01-04得票数 0

点击加载更多