1回答
我正在尝试在Apache光束中实现一个CDC，部署在Google Cloud Dataflow中。 我已经卸载了主数据和新数据，这些数据预计每天都会出现。联接未按预期工作。少了点什么。master_data'], v['new_data']) 观察值(样本数据)： 来自主服务器的数据 1, 'A',3232
4,'D',45 主表中的
浏览 7提问于2019-12-20得票数 0
回答已采纳
我们有一个使用Apache光束的数据流构建，并部署在GCP数据流基础设施中。数据流实例第一次完全运行，并按预期创建分区表，但当它第二次运行时，它将清除数据集中的结果，而不是替换为特定分区中的新数据集。当使用本地设置中的Direct runner运行作业时，它工作得很好。代码示例： pipeline.apply(
"Read from BigQuery (table_name) Tabl
浏览 10提问于2021-01-28得票数 0
回答已采纳
我正在使用Google Data Flow来实现一个ETL数据仓库解决方案。而且看起来DataProc比DataFlow便宜一点。为什么谷歌同时提供这两种服务？
浏览 1提问于2017-09-27得票数 66
我在bigquery中有一个巨大的数据集，有5000万行和57列。我想做很多过滤/转换/清理，而不是使用sql。我尝试使用dask/panda/python将数据加载到本地mac的dask数据帧中，进行转换，然后将数据推送回bigquery，以便其他总线可以使用它。将数据推送回bigquery需要超过3个小时。有没有其他方式，或者谷歌云服务，我可以利用？
浏览 2提问于2019-03-30得票数 0
问题是:我创建了一个数据流作业，从gcp中的一个模板到把酒吧/潜艇中的数据摄取到BQ中。在作业执行之前，这一切都很好。这份工作被“卡住”了，没有写任何关于烧烤的东西。我不能做这么多，因为我不能在模板中选择光束版本。$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:803)
at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl(StreamingWr
浏览 0提问于2019-05-24得票数 0
回答已采纳
目前，我有两个阿帕奇光束数据流和PubSub之间。第一个数据流从源文件读取文件名，并将这些文件名推送到PubSub主题。另一个数据流读取并处理它们。但是，我的用例是在源代码中创建实际文件后至少1小时开始处理/读取这些文件。所以我有两个选择：2)延迟处理检索到的文件
就像上面提到的，我正在寻找最好的解决方案。我不确定是否应该在Apache光束中使用芭乐重试机制？还有其
浏览 0提问于2018-12-21得票数 0
我在使用从CircleCI启动的GCP Dataflow runner运行python Apache光束管道时遇到了严重的问题。基本上，我运行的是在数据流中运行并使用google-api-python-client-1.12.3的python Apache光束管道。如果我在我的机器(python3 main.py --runner dataflow --setup_file /path/to/my/file/setup.py)中运行该作业
浏览 10提问于2020-10-13得票数 2
回答已采纳
我有一个运行在Flink runner上的光束管道，如下所示： ? 光束中的整个管道都被捆绑到这个区块中。为什么Flink用这种方式来说明它？ ? 当然，管道步骤中的不同pardo应该由不同的块和工作者来表示(就像在Google的数据流中一样)。是否需要在Flink运行器中设置某些内容以显示更细粒度的任务，或者Flink UI是否仅为原生Flink代码构建，而这正是该UI处理Apache光束管道的方式？
浏览 24提问于2021-07-05得票数 1
我很难理解GCP、数据流/Apache和之间的区别。我想要做的是转向一种更适合于流数据处理的云本地解决方案，这样我们的开发人员就可以更多地关注核心逻辑的开发，而不是管理基础设施。我们有一个现有的流解决方案，它由spring云数据流‘模块’组成，我们可以独立地迭代和部署，就像微服务一样，它工作得很好，但是我们希望迁移到GCP中的一个现有平台，该平台由我们的业务提供，需要我们使用GCPPersist to DB) -> Module B3
浏览 2提问于2019-11-26得票数 1
回答已采纳
我试图写到GCS桶通过光束(和TF转换)。但我不断地发现以下错误：
subprocess.check_call('pip uninstall apache-beam'.split())
subprocess.check_call(
浏览 0提问于2019-08-31得票数 0
在数据流作业执行过程中，我们会遇到以下错误，并且GBQ步骤不返回任何数据。当我们手动执行相同的查询时，它将返回中的数据。我尝试了很少的博客，但没有找到任何解决方案。我用的是2.15光束版本。.setCoder(KvCoderApache在数据流日志Error中， 2020-07-30 (17:08:02)请求失败，代码409失败，执行0重试，代码</e
浏览 2提问于2020-07-31得票数 1
我有一个在GCP AI Platform Pipeline (托管Kubeflow)中运行的TFX Pipeline。它正常运行了一段时间，但在BigQuery ExampleGen步骤中突然停止正常工作。worker日志显示正在使用pip安装python依赖项。TFX版本: 0.26.3 (与0.26.4并列，结果相同) Apache</e
浏览 15提问于2021-05-19得票数 0
它与GCP数据流(Apache光束)相关。 我在项目B中创建了一个数据流模板，如果我使用一个人的电子邮件或服务帐户运行它，一切都会正常工作。我正在寻找一个解决方案，以便使用项目A (sa-A@PROJECT-A)中定义的服务帐户从其他项目A运行项目B的数据流模板。sa-A@PROJECT-A在项目B中已经拥有必要的权限。
浏览 17提问于2020-01-14得票数 1
回答已采纳
令人困惑的是，每个关于数据流的谷歌文档都说它现在是基于Apache光束的，并将我引导到光束网站。此外，如果我查找github项目，我会发现google dataflow项目是空的，并且所有的项目都转到apache see repo。假设我现在需要创建一个管道，根据我从Apache光束中读到的，我会这样做：from apache_beam.options.pipeline_options然而，如果我使用google-cloud-dataflow，我会得到
浏览 1提问于2017-06-16得票数 3
我正在使用一个自定义的worker_harness_container_image (和experiment=beam_fn_api)在数据流上尝试一个非常简单的管道： main.py importargparsefrom apache_beam.options.pipeline_options import PipelineOptions,worker_harness_container_image eu.gcr.io/project_id/image:lates
浏览 30提问于2020-01-21得票数 0
我正在创建一个Apache光束流处理管道，以便在GCP数据流中运行。我有许多扩展DoFn和CombineFn的转换。在DoFn中，使用数据流作业详细信息中的日志窗口可以很好地显示日志。下面是一些示例代码。为简洁起见，我将输入和输出更改为字符串，代码中有一些自定义类。import java.io.Serializable;import org.apache</em
浏览 15提问于2019-10-07得票数 0
我想在GCP中创建一个流式Apache光束管道，它从Google Pub/Sub读取数据并将其推送到GCS。我有一个可以从发布/订阅中读取数据的位。我的当前代码看起来就像这样(从GCP Apache beam模板中挑选出来的) pipeline.apply("Read PubSub Events",
PubsubIO.readMessagesWithAttributes在以下目录2020-04-28/01、2020-04-28
浏览 25提问于2020-04-28得票数 1
回答已采纳
当我从气流用户界面运行DAG时，我得到
RUN pip install apache-beamRUN pip install google-api-python-client/home/b
浏览 1提问于2019-09-06得票数 1
上下文：我们试图使用数据流(Apache )将一些CSV格式数据加载到GCP BigQuery中。作为其中的一部分，这是第一次(对于每个表)通过BigQueryIO API创建烧烤表。客户需求之一是GCP上的数据需要使用客户提供的/托管加密密钥进行加密。
问题陈述:在创建表时，无法通过API指定“自定义加密密钥”。GCP文档详细介绍了如何通过GCP烧烤控制台指定自定义加密密钥，但在DataFlow代码中找不到任何用于通过API指定该密钥的内容。代码</
浏览 0提问于2018-02-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
