1回答
我一直在做一个Python项目，在这个项目中，用户向程序提供一个很长的URL列表(比如说100个URL)，程序将产生100个进程来执行包含爬虫代码的JavaScript代码(使用Apify.launchPuppeteer此外，还根据Apify Puppeteer单页面模板创建和修改了JavaScript代码。 但是，同时调用100个进程的爬行代码会占用大量内存，这会导致延迟。由于Python代码等待从JavaScript代码写入的文件
浏览 60提问于2020-04-18得票数 0
回答已采纳
1回答
可以使用带有伪URL的Apify抓取多个页面吗？ 当人们问同样的问题时，答案大多指向伪URL，如果有可能或不可能这样做，并不会直接解决问题。如果我在运行爬虫的时候不知道伪URL，并且我从一个页面上抓取了10个链接-然后想要抓取这10个链接，那怎么做呢？https://kb.apify.com/tutorial-creating-your-first-crawler/crawling-multiple-pages
浏览 15提问于2019-03-19得票数 0
1回答
我正在部署一些使用Apify作为Google函数的代码。当触发时，云函数将无声地终止。我做错了什么？下面我用更简单的代码重现了这个问题。虽然本例并不严格要求Apify，但我希望能够使用
浏览 0提问于2019-07-10得票数 0
回答已采纳
1回答
我在一个Puppeteer脚本中有以下错误处理程序。在我的电脑上从node运行时，它运行得很好。但是，当从Apify Puppeteer Scraper运行时，它只有在我取消注释console.log(e)时才起作用。{ console.log('Foobar not found.');}
在其他语言中，我会怀疑糟糕的内存</
浏览 9提问于2019-07-29得票数 0
回答已采纳
1回答
找不到木偶剧相关模块和依赖项
、、、、
我使用npm安装了puppeteer，然后在尝试编译它时，出现了以下错误：* ./types/standard in ./node_modules/puppeteer/node_modules/mime/index.js
浏览 1提问于2019-04-04得票数 1
在args中配置puppeteer Crawler启动选项是否更好，就像在puppeter中那样： const pptr = require("puppeteer");
headless: false, '--lang=fr' })(); 在Apify中，据我所知将是这样的： const Apify
浏览 45提问于2020-09-25得票数 0
我试图通过使用Puppeteer和来解决登录页面上的Recaptcha问题。TypeError: page.solveRecaptchas is not
浏览 0提问于2021-10-17得票数 1
回答已采纳
我正在学习如何在Apify Web-Scraper中使用request，我不明白它是如何工作的。 我首先用Postman做了这件事，我确实得到了我想要的结果，现在我想在Apify上做同样的事情。const request = new context.Apify.Request({ method: 'POST',
浏览 20提问于2019-09-02得票数 0
回答已采纳
Apify documentation 解释说，默认数据集可以通过设置环境变量APIFY_DEFAULT_DATASET_ID来命名。如果我这样做，在创建puppeteer crawler之前使用代码示例1(见下文)，如果我爬行页面并使用代码示例2存储结果，我会得到一个。//代码示例1:设置默认数据集id
process.env.APIFY_DEFAULT_DATASET_ID = da
浏览 23提问于2019-10-20得票数 0
我用我想要抓取的URL设置了一个爬虫，演员正在工作，我用cookie/截图示例进行了测试。我只是在演员和爬虫之间传递cookie时遇到了问题： const Apify = require('apify');
const input= await Apify.getValue('INPUT');
const browser = await Apify</em
浏览 26提问于2019-05-10得票数 0
我正在尝试使用Puppeteer在其中使用iFrames来操纵站点的表单。我尝试了不同的方法来联系一个特定的iFrame，甚至在一个网站上计算iFrames，但都没有成功。为什么Puppeteer的对象不能识别我试图浏览的页面的iFrames /子帧？其他页面也是如此，比如https://www.veiculos.itau.com.br/simulacao const Apify</em
浏览 15提问于2020-12-02得票数 0
如果我“需要”Apify并使用Chrome调试器检查Apify.utils.puppeteer的方法，那么就会遗漏一些文档中记录的方法。
浏览 12提问于2019-10-08得票数 0
有了Apify/Puppeteer，除了包含某个单词的页面外，我还能爬行所有页面吗？在handlePageFunction内部，原始代码如下所示 requestQueue,如果我想避免包含"foo“的页面URL，那么我是否可以在pseudoUrls中调整一些内容来修复这个问题呢？
浏览 14提问于2022-07-08得票数 1
回答已采纳
好的，我试着序列化一个表单数据，但是我在下面的代码中没有定义： const frame = page.frames().find(frame => frame.url().includes('reservation
浏览 16提问于2019-09-23得票数 1
回答已采纳
我正在使用和Puppeteer。我们的目标是运行X个Chrome实例，其中p-queue限制了并发数量。当队列中的任务发生异常时，我希望重新排队。但是当我这样做的时候，队列就会停止。我有以下几点： const browser = await puppeteer.launch({headless: false});
浏览 0提问于2019-10-14得票数 0
3回答
我正在尝试使用apify sdk抓取页面内容。这也可以与以下代码很好地配合使用。但是我怎么才能像puppeteer.launch一样强制使用Apify SDK的无头模式({ headless : true})？供您参考的代码： async function scrape(number) { constURL = "https:&#x
浏览 49提问于2020-10-12得票数 1
我试图使用app在Play Store上抓取应用程序的页面，并检索一些信息来构建一个定制的RSS提要，类似于显示的。_evaluateInternal (/home/myuser/node_modules/puppeteer/lib/cjs/puppeteer/common/ExecutionContext.js:175-08-27T07:13:48.103Z at async wrap
浏览 8提问于2022-08-28得票数 0
2回答
我需要使用和来自动登录到一个受密码保护的网页，并点击一个按钮。我该怎么做？目标URL将不时更改。Zapier
据我所知，这不是一个刮擦的工作，因为我不希望从网页返回数据，所以我不应该使用或。
浏览 1提问于2019-10-03得票数 3
经过大量的Googling搜索，我不知道如何使用原始cookies (即name1=value1; name2=value2; ...)为傀儡Apify爬虫设置cookies。我看到有Page.SetCookie，但这需要一个Puppeteer.Cookie对象数组。每次都很难格式化。 我还看到Apify支持在Apify仪表板上设置cookie。但是如果我想在本地运行我的应用程序，这是没有帮助的(至少我不认为，也许我错了)。 如果有什么方法可以做到这一
浏览 16提问于2020-08-27得票数 0
1回答
应用码头如何运行
、、、
使用Node/Apify/Puppeteer，我如何将我的应用程序封装起来并在本地测试运行？这是我的装置。/Documents/personal/testapp/my-first-act/apify_storage" at Mod
浏览 1提问于2022-07-18得票数 1
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
