双十二云HDFS选购 - 腾讯云开发者社区

文章/答案/技术大牛

发布

3回答

如何在流查询中使用Google Cloud Storage进行检查点定位？

google-cloud-platform、google-cloud-storage、spark-structured-streaming、google-cloud-dataproc

我正在尝试运行Spark结构化流作业并将检查点保存到Google Storage，我有几个作业，一个没有聚合的完美工作，但第二个聚合抛出异常。我发现有人在S3上遇到了类似的检查点问题，因为S3不支持写后读语义，但GS支持，一切都应该很好，如果有人愿意分享他们使用检查点的经验，我会很高兴。 .format("kafka") .option("kafka.bootstrap.servers", "localho

浏览 9提问于2019-05-15得票数 6

9回答