问镜像S3存储桶中的标记数据以进行可视化

EN

我希望将Marketo中的所有活动和Lead数据镜像到一个亚马逊网络服务的S3存储桶中，这样我就可以在Quicksight中构建仪表板，所以最好是将Marketo中的数据实时流式传输到S3中，然后使用胶水和雅典娜将数据连接到Quicksight。然而，从Marketo中获取大量数据的唯一方法似乎是他们的Bulk Extract tool (一个用于Leads，一个用于Activity数据)。

问题是，这些API接口使得任何接近实时流的尝试都非常笨拙。目前，我每小时都会触发Lambda函数，以提取最近一小时的销售线索/活动数据，并将其保存为S3中的gzipped CSV。但是Marketo的批量提取工具有一个请求队列，处理请求通常需要超过15分钟(15分钟是Lambda的最大超时长度)。所以每天至少有一次我的请求会被丢弃。

解决方案似乎是在一个可以处理多个请求的EC2实例上运行它，并耐心地等待Marketo的队列。但是，如果有一种更简单的方法来实现这一点，我宁愿不去讨论这种方法可能带来的所有异步和错误处理问题。

作为替代解决方案，Amazon Appflow与Marketo集成在一起。但据我所知，它只适用于销售线索数据，而不适用于活动数据。而且，您必须对销售线索数据应用的过滤器有一些限制，这使得它无论如何都很难处理。

在Google上，我找到了几家声称提供无缝、可靠的Marketo- to -S3ETL的公司，但我还没有研究过它们的价格和质量。

如果有人知道在短时间内在Marketo和S3之间建立可靠且经济高效的ETL的好方法，我将非常感激。