1回答
我已经理解了我们应该如何使用Google DataFlow(基于Apache ) Python来测试管道。上面的链接仅适用于Java。我很困惑为什么Google会指向Java测试。我希望能够在两个p集合上查看CoGroupByKey连接的结果。我来自Python背景，我很少或根本没有使用Beam/Dataflow的经验。
可能真的需要任何帮助。我知
浏览 2提问于2017-11-21得票数 7
我正在尝试使用内部连接和两个来自谷歌Python的BigQuery (Python)表，用于特定的情况。然而，我还没有找到一种本地的方法来轻松地处理它。这个查询输出我将在谷歌BigQuery上填充第三个表，对于这种情况，我真的需要在谷歌数据流上查询它。第一个表(客户)键是"id“列，第二个表(购买)键是"client_id”列。1 | 1 | 15
浏览 20提问于2021-09-18得票数 0
回答已采纳
我正在使用apache_beam==2.24.0编写一个用python2.7编写的数据流管道。该管道的工作是使用beam的ReadFromPubSub批量使用订阅中的pubsub消息，对消息进行一些处理，然后将结果数据持久化到两个不同的bigquery表中。有很多我正在消费的数据。在运行管道之后，一切正常，但几个小时后，我开始得
浏览 1提问于2021-03-31得票数 0
我的项目运行的是Python2.7(是的，我知道...)Google Dataflow上的Apache Beam 2.19。我们连接到BigQuery的方式与Apache光束教程中指定的方式相同：
p | 'Get data from BigQuery' >> beam.io.Read(beam.
浏览 0提问于2020-03-19得票数 0
2回答
我用python (在GCP Dataflow上)做了一个简单的管道，用来读PubSub和写大查询，但不能处理管道上的异常来创建替代流。在一个简单的WriteToBigQuery示例中： output = json_output | 'Write to BigQuery' >> beam.io.WriteToBigQuery('some-project_flush_batch()
File "/usr&#
浏览 14提问于2019-01-30得票数 5
回答已采纳
1回答
我想从一个beam.io.Write(beam.io.BigQuerySink(..))函数中调用一个ParDo操作，为PCollection中的每个键生成一个单独的BigQuery表(我正在使用python下面是两个类似的线程，不幸的是它们没有帮助：2)
当我执行以下代码时，第一个键的行被插入到BigQuery中，然后管道失败，出现下面的错误。非常感谢你对我做错了什么
浏览 3提问于2016-09-24得票数 4
回答已采纳
我正在尝试使用Google Dataflow将数据从一个BigQuery表传输到另一个表： import apache_beam as beamfrom apache_beam.options.pipeline_options import PipelineOptions
import
浏览 25提问于2021-11-14得票数 1
回答已采纳
我在Google Dataflow中运行了一个Apache beam流水线。它从Kafka中读取数据并将其流式插入到Bigquery。$DoFnInvoker.invokeFinishBundle (Unknown Source)
at org.apache.beam.runners.dataflow.worker.repackaged.org.apache.beam.runners.core.SimpleDoFnRunner.fin
浏览 7提问于2021-06-01得票数 5
在浏览时，我看到了Dataflow SQL。它和beamSQL有什么不同吗？
浏览 12提问于2020-02-17得票数 1
回答已采纳
如何在从Big Query读取apache beam管道中将from类型转换为字符串？我正在编写一段代码，以便从GCP中的一个名为的列中读取BigQuery表，然后从BigQuery表中查找字符串中的正则表达式。然而，我似乎在我的管道中遇到了一个TypeERROR。/Frameworks/Python.framework/Versions/3.7/lib/<
浏览 0提问于2021-02-02得票数 1
我必须在python中编写一个Dataflow作业，它将从GCS读取两个不同的.csv文件，执行一个连接操作，对连接数据的结果执行转换，然后最后将其发送到BigQuery表？我对此非常陌生，我知道在经过大量的研发之后，我们可以从apache.beam完成所有的流水线操作，我终于找到了一个模板，但在给定的点上仍然有很多的混乱。import logging
impor
浏览 1提问于2020-06-21得票数 4
我想在多个键(连接条件)上使用Cloud Dataflow (Apache光束)连接这两个表，即ID和Name都是公共列。我如何做到这一点呢？我尝试使用一个键(一个公共列)连接它，但我不知道如何使用多个键 def add_key_details(self, row, key
浏览 0提问于2019-07-22得票数 0
我已经使用apache beam (Dataflow Runner)编写了mongodb到bigquery数据管道的python代码。Mongodb有两列(id和name)的类似mysql的简单表，没有复杂的structure.My代码，如下所示。#########################################
import apache_beam
浏览 11提问于2021-01-15得票数 1
回答已采纳
我试图使用DataFlowRunner执行以下操作：
我对Apache非常陌生，所以我不能百分之百地确定我想要做的事情是可能的。当我尝试连接两行时，我的<
浏览 0提问于2018-09-05得票数 3
我正在使用pubsub中的“”特性，通过数据流将一个常规的JSON传递给bigquery。
但是，它工作了一秒钟，这意味着一些条目可以正确地传递到bigquery。”、“原因”：“无效”}，“索引”：0}] org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.flushRows(StreamingWriteFn.javaorg.apache.beam.sdk.io
浏览 1提问于2018-03-27得票数 1
回答已采纳
我正在尝试设置一个数据流作业，用于将json文件转换为csv，并使用下面的python脚本将其写入桶中。(我在3.8.13中尝试了这一点)，因为我使用的是apache。我尝试过改变许多版本的python和google云存储。在不使用存储库的情况下，有什么替代方法吗？' >> beam.Create([None])
File "/home/myprject/
浏览 6提问于2022-07-06得票数 0
回答已采纳
1回答
触发云存储-数据流
、、、、
我现在开始工作，我需要一些帮助，我有一个自定义模型，我使用apache beam创建了一个管道，该管道从存储桶内的文件夹中获取来自csv文件的数据，然后将数据抛到bigquery表中，这个表已经按照我的要求工作模板数据流import os
from apache_beam.options.pipeline_options im
浏览 7提问于2022-04-28得票数 1
我们正在使用Dataflow Flex模板，并遵循本指南(https://cloud.google.com/dataflow/docs/guides/templates/using-flex-templates这在我们的环境中是有效的。但是，当我通过SSH连接到数据流VM并运行docker ps时，我发现它引用的docker镜像与我们在模板中指定的镜像(绿色下划线)不同</e
浏览 17提问于2020-07-22得票数 2
回答已采纳
1回答
我已经创建了一个自定义模板，它使用BigQuery I/O连接器从ReadFromBigQuery读取。我就是这样用的：from apache_beam.options.pipeline_options import PipelineOptions如果我只发布一条关于该主题的消息，管道就会完成，不会出现任何错误。但是，如果我从同一个云函数执行中启动多个
浏览 1提问于2021-08-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
