当我试图根据Apify网站上的示例获取起始URL的标签时，我得到了一个错误2019-12-26T15:35:17.723Z INFO: request.userData.label: undefinedCheerio scraper example code async function pageFunction(context) {
const { request, log, skipLinks
浏览 24提问于2019-12-27得票数 0
我正在为一个页面构建一个apify参与者，其中所有所需的urls都存储在不同的sitemap.xml文件中。文件名是静态的，但不知道如何向参与者添加多个sitemap.xml文件。不知怎么的，需要在多个url上做一个for -每个url，但是由于有大约600个url，最好是从csv中提取所有的站点地图，然后逐个抓取url，然后抓取每个url。const Apify = require('apify');
const chee
浏览 0提问于2019-08-27得票数 1
回答已采纳
2回答
我试图抓取网站上所有带有标签的元素，例如$('header')和它们的相关样式。本质上是遍历每个元素，获取与其相关的css，并将其全部转储到一个文件中。目前，我已经设置了以下内容：const puppeteer</
浏览 23提问于2019-11-11得票数 0
1回答
我正在使用cheerio.js和puppeteer.js跟随这个来尝试做一些基本的web抓取。当我试图在服务器端编写它时，我并没有完全遵循教程的做法，我的想法是让我的后端处理所有的抓取，然后在将来将数据传递到前端。node server.js Your app is listening on port 8080 [Function]const <
浏览 1提问于2019-03-30得票数 0
回答已采纳
1回答
如何检索文本区域的值
、、、、
我试图使用cheerio访问文本区域中的文本，但是它的文本没有显示在HTML Dom中。x-form-textarea" autocomplete="off" aria-invalid="false" data-errorqtip="" style="width: 100%;"></textarea> 这是浏览器中文本区域的图片我猜它是某种服务器生成的文本，没有显示在Dom中(是吗？)。
浏览 12提问于2020-01-14得票数 0
我使用Puppeteer获取网站HTML，然后用Cheerio抓取数据。以下是我的代码的一部分。它几乎每次都工作得很好，但有时我在companyAddress和companyIntro中得不到定义。会不会是抓取过程中Puppeteer的问题？Cheerio代码是同步的，所以我不认为Cheerio是问题所在。我从来没有得到过错误:无法获取未定义的attr('profile&
浏览 42提问于2021-02-24得票数 3
在新的代码世界中，我发现Apify是一个很好的解决方案，可以抓取URL并从网页中很容易地提取特定的元素。Apify提供的Web刮刀非常漂亮和强大。现在，我想更进一步，使用外部源获取网址(Google，Airtable.)并使刮伤部分自动化。我的问题很简单:如何从外部数据库自动检索URL并将其直接粘贴到Start URL字段中，如下所示：
非常感谢！
浏览 14提问于2022-10-06得票数 0
最后，我想到了如何使用Node.js。已安装所有库/扩展。所以puppeteer可以工作了，但是和之前的Xmlhttp一样...它只获取页面的模板/主体，而不获取所需的信息。在浏览器(Web app?)中打开页面几秒钟后，页面上的所有脚本都会启动。我需要在整个页面加载后获得某些标记内的信息。const puppeteer = require('puppeteer');
cons
浏览 0提问于2019-02-07得票数 13
1回答
我正在用Puppeteer和Cheerio实现web scraping Node服务器。因此，我正在进行UI输入，以便通过刮取器发送对SoundCloud搜索的请求，并从那里获取结果。因为我所关心的是URL和歌曲名称，这是从抓取<a>得到的
它在子跨度标记中保存名称(在他的"class“attr中)，URL作为href就足够了。
浏览 13提问于2019-11-07得票数 0
1回答
从Twitch中抓取数据
、、、、
我已经尝试使用phantomjs打开站点，但到目前为止我还不能想出如何让该部分渲染。(首选R中的解决方案，但不是强制性的)
浏览 90提问于2019-04-24得票数 0
2回答
我正在向一个网页发送一个Axios请求，要求从其中抓取一个小字符串，但返回的响应是一个很大的html，而我只需要它的一小部分，有没有办法缩短响应，这样我就可以保存数据并使请求更快？
浏览 20提问于2021-01-27得票数 0
回答已采纳
我有一个用JavaScript创建的移动应用条形码扫描器，并想使用网络刮刀中的UPC码来获得产品的信息。const cheerio = require('cheerio');
uri: `https://
浏览 7提问于2018-02-14得票数 0
1回答
目前，我正在尝试编写一个刮刀器，它将使用node.js从facebook帖子中的div中获取所有'p‘标记。页面上的每一篇文章都在div中，它们都有以下类：.text_exposed_rootrequest(BTTS, f
浏览 5提问于2015-11-09得票数 1
回答已采纳
1回答
我希望使用puppeteer和NodeJS从表中提取信息。但我需要帮助从一个表格单元中获取链接。该表没有类名或ID。'AFC', },const pupperteer = require("puppeteer
浏览 4提问于2022-11-17得票数 1
回答已采纳
1回答
有没有人可以给我指出正确的方向，告诉我如何为react native编写一段代码，从用户那里获取输入(用户名和密码)，然后用in登录到网站。还有任何人都可以推荐的react原生web抓取库(我正在考虑使用Cheerio) 提前感谢:)
浏览 13提问于2019-02-23得票数 0
1回答
我用node编写了一个脚本，从网页的登录页面抓取不同帖子标题的titles和urls，然后从其内部页面获取每个用户的profile name。我唯一不能解决的问题是在for loop中打印items和output这两个东西。var request = require('request')
浏览 32提问于2019-04-10得票数 2
1回答
我是一个网络抓取的新手，我正在尝试使用教程创建一个简单的网络抓取器。我这样做了，然而，我想尝试实现我自己的另一个功能。在链接()中，我试图从“指南”(页面右侧)中获取所有要点。现在，我可以从“指南”、“信息”和“relatedReddits”中获取所有信息。然而，我只是试图从“指南”中获得信息。谁知道如何修改我的代码，只访问div下的第一个ul标
浏览 3提问于2020-07-30得票数 0
1回答
如何对机器人进行调查？
、、、
我在市场研究公司工作，在我们的数据中，我们经常需要检查的一件事是完成调查的机器人的存在，而不是一个真正的人类。
我们在这方面使用了几个度量标准，而且我们相当肯定我们抓住了其中的大部分。所以，我想我可能会尝试利用我的职业中的一个问题，并使它得到一些好的利用。它所需要做的就是在页面上随机选择一个元素，然后点击next按钮(它有一个标准的div和javascript函数)。
浏览 2提问于2020-02-03得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
