1回答
为什么Apify给我的数据集从来都不是URL requestList的顺序？{ url: 'https://www.ecstuning.com/Search/SiteSearch/63210301815 '},{ url: 'https:
浏览 12提问于2021-02-27得票数 0
我在用Apify刮网站。我想要刮不同类型的页面，然后将数据组合成一个数据集。现在，我有不同的数据集为每种类型的网页(用户，照片)。如何在pageFunction执行之间传输数据，例如。计算每个投篮作者的追随者数。('/shots/') > 0) {
const title = $('.sh
浏览 0提问于2019-07-30得票数 0
如何将此脚本的JSON输出保存到Apify中的key-store-value？当我运行脚本时，一切正常，数据集显示了每种类型的抓取数据，但是key-value-store/Keys仍然是空的。有什么简单的命令可以帮我做到这一点吗？下面是我的Actor代码： const Apify = require('apify');
Apify.
浏览 6提问于2020-09-11得票数 0
}...`); url: request.url, }, console.log('Done.');const requestQueue = await Apify.openRequestQu
浏览 0提问于2019-08-20得票数 3
回答已采纳
3回答
我有以下设想：
然后，我有一个包含30个urls的列表，这些urls可以异步地刮除，尽管我很关心。最后，当所有30个url都被刮掉时，我需要点击最后一个单独的URL，将30个URL抓取的结果放到一个消防站db中，并进行一些其他的突变(比如查找地址等)。目前，我有一个请求队列中的所有30个urls (通过Apify web-接口)，并且我试
浏览 2提问于2019-08-13得票数 2
回答已采纳
我正在尝试迁移一个现有的函数，以便在Apify参与者中使用它。const reqList = new apify.RequestList({
浏览 10提问于2022-04-18得票数 0
回答已采纳
1回答
我需要刮一个谷歌搜索获得的URL列表，使用Apify平台。但我似乎找不到与行为者链接相关的文档。我该怎么做？最新情况：
我找到了，在第二个参与者的运行任务API端点上设置一个ACTOR.
浏览 0提问于2019-07-25得票数 1
回答已采纳
我的问题是，爬虫统计+日志，似乎表明所有的urls都是爬行的。问题是他们不是。在日志中，我确实看到了一些超时(例如下面的例子)，但是这些urls只是被放回请求列表中。像"example.com“这样的url在日志中似乎很好，在查找时页面上有数据+ json，但是结果中没有输出它。
我不知道到底出了什么问题，但我有一种预感，那就是“如果”这句话是在做一些古怪的事情。统计示例 Crawler最终请求统计数据：{"avgDurationM
浏览 7提问于2019-12-06得票数 0
1回答
其思想是，使用修改后的launchPupperteer函数和不同的proxyUrl创建一个新的爬虫，并对失败的页面进行重新排队。请检查下面的示例代码。但不幸的是，它不起作用，尽管我使用drop和reopening重置请求队列。是否可以通过将PuppeteerCrawler与不同的proxyUrl一起使用来重新生成失败的页面？for(let failedUrl of failedUrls){
a
浏览 12提问于2019-11-27得票数 0
我正在尝试同步使用API run任务进行测试，并获得数据集项APIFY和接收到的json，如下所示： "2010HUNT1510": "A", "CCB30K1015"C", "#error": false,
浏览 4提问于2020-10-15得票数 0
回答已采纳
我已经创建了apify角色，它将输出保存在apify cloud中，但我希望将输出保存在我的s3帐户或google bucket中。感谢你在这方面的帮助
浏览 8提问于2020-03-27得票数 0
回答已采纳
我正在通过他们的apify/google-search-scraper调用学习使用API。文档被赋予。$.ajax({ method : "POST", success:f
浏览 2提问于2019-09-09得票数 0
回答已采纳
我正在训练一个具有时间序列和标签的LSTM深度学习模型。我生成一个tensorflow数据集"train_data“和"test_data”batch_size=batch_size,然后，我使用上述数据集来训练模型:
浏览 0提问于2021-03-23得票数 1
回答已采纳
我正在尝试从一个网站获取产品数据，该网站在用户向下滚动时加载产品列表。我使用Apify来做这件事。我的第一个想法是看看是否有人已经解决了这个问题，我找到了两个有用的链接：How to make the Apify Crawler to scroll full page when web page have但是，当我尝试应用他们提到的函数时，我的Apify爬虫无法加载内容。 我使用的是一个基于基本web-scraper
浏览 30提问于2021-08-08得票数 1
如何使用Apify的特性生成一个完整的URL列表，以便在用户滚动到底部时按顺序批量添加项的索引页面中的URL进行抓取？换句话说，它是动态加载/无限滚动，而不是按一下按钮操作。console // >> cf. http
浏览 0提问于2021-01-08得票数 1
回答已采纳
我使用typeahead在3个数据集上进行搜索。当我不包含minLength时，数据集将按照它们在代码中列出的顺序呈现；当我为某些数据集而不是所有数据集包含minLength时，顺序会发生变化(请参阅下面的代码)。我的问题是，我希望用户列表始终呈现在下拉列表中的第一个，主题列表始终出现在第二个，而第二个
浏览 0提问于2013-09-22得票数 0
2回答
我需要使用和来自动登录到一个受密码保护的网页，并点击一个按钮。我该怎么做？目标URL将不时更改。Zapier
“密码”(input加上id="password"和name="password&qu
浏览 1提问于2019-10-03得票数 3
我正在开发小型应用程序，在那里我使用redis来保存我的中间数据。插入数据后，我需要按照插入的顺序重新加载数据。
我使用keys方法获取所有键，但返回键的顺序与插入的顺序不一样。
浏览 4提问于2013-10-14得票数 1
回答已采纳
function marketview(ticker) { var data = UrlFetchApp.fetch(url);
Logger.log(jsondata.data[t
浏览 5提问于2021-11-28得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号