我一直在使用Dataprep来构建一个数据流模板。BODY = {
"jobName": "{jobname}".format
浏览 40提问于2018-12-14得票数 0
1回答
但是，当尝试从导出的模板启动数据流作业时，我似乎无法获得正确的启动参数。错误消息不是很具体，但很明显，我没有得到正确的位置(输入和输出)。谷歌为这个用例提供的惟一模板(可在https://cloud.google.com/dataflow/docs/guides/templates/provided-templates#cloud-storage-text-to-b
浏览 12提问于2019-02-11得票数 0
我试图通过Google Cloud Scheduler执行一个自定义的数据流模板，但是当我执行作业时，我得到了一个UNAUTHENTICATED异常。如何授予Google Cloud Scheduler访问权限以使用Dataflow google API？下面是我使用的URL和POST正文： https://dataflow.googleapis.com/v1b3&#x
浏览 13提问于2019-03-15得票数 0
回答已采纳
我开始使用，尝试启动一个批处理数据处理管道来解析来自的数亿条记录，并将结果保存到BigQuery。看一下文档，这个用例有一个完美的数据流模板，。我使用Google (gs://dataflow-templates/latest/GCS_Text_to_BigQuery)提供的这个模板的最新编译启动了一个任务，性能相当好(使用N1标准16机器处理为了使用
浏览 5提问于2020-05-15得票数 0
回答已采纳
现在，我的数据在google (cloud和BigTable)中。我已经公开了REST以从这两个方面检索数据。现在，我想从这些API中检索数据，执行ETL并将数据加载到BigQuery中。我现在正在评估ETL的两个选项(小时数据的每日工作频率)：-
然后使用BigQuery批处理插入<em
浏览 2提问于2017-08-11得票数 1
回答已采纳
我在处理来自Datalab的数据流工作时遇到了一些麻烦。对于这种情况，我可以使用一个最小的Python代码示例，因为这似乎无法从Google平台或Apache文档中获得。如果能看到一些Python代码，我可以从执行以下操作的Datalab单元中运行这些代码，这将对我很有帮助。为了解决这个问题，我尝试使用Google和A
浏览 0提问于2019-01-11得票数 0
回答已采纳
1回答
在应用程序引擎数据流作业中使用Dataflow API启动时，我必须向模板传递参数。com.google.api.services.dataflow.Dataflow.Projects.Locations.Templates.Launch request1 =
dataflowService.projectsLaunchTemplateResponse response1 = request1.exec
浏览 8提问于2017-11-15得票数 0
因此，该数据具有REST，可用于使用数据。请建议是否可以使用Dataflow或GCP的任何其他服务来捕获这些数据，并将其放入大型查询或任何其他相关目标服务中。
浏览 2提问于2022-04-22得票数 1
/lib/python3.8/site-packages/airflow/providers/google/cloud/operators/dataflow.py", line 682, in executejob = self.hook.start_template_dataflow(
File "/opt/python3.8/lib/pyth
浏览 4提问于2021-12-07得票数 1
我们使用Dataflow Flex Templates (FROM gcr.io/dataflow-templates-base/python3-template-launcher-base:20210120_RC00)并将图像存储在我们自己的artifactory上，而不是google cloud Container Registry。在此之前，一切工作正常，但如果我运行dataflow flex模板，我会在创建启动器VM期间收到
浏览 15提问于2021-03-19得票数 0
2回答
无法创建模板
、、、、
我正在尝试使用下面的mvn命令创建数据流模板，并且在存储桶中有一个json配置文件，在该文件中，我需要为每次运行读取不同的配置文件(我不想硬编码值)，代码如下所示--tempLocation=gs://001test_data_flow/temp \
--templateLocation=gs://001test_data_flow/templates/dataflow.json
浏览 9提问于2022-05-11得票数 0
回答已采纳
1回答
我已经创建了一个自定义模板，它使用BigQuery I/O连接器从ReadFromBigQuery读取。调用，在云函数上启动模板，侦听Pub/Sub主题。正如我已经说过的，如果我只启动一个Dataflow作业，它就完成时没有任何错误，所以我有两个假设。- May the `options.view_as(SetupOptions).s
浏览 1提问于2021-08-13得票数 0
回答已采纳
4回答
我只需要每天运行数据流管道，但在我看来，像这样需要构建整个web应用程序的解决方案似乎有点过了。我正考虑在Compute引擎Linux中运行来自cron作业的管道，但这可能太简单了:)。这样做有什么问题，为什么没有人(我猜除了我)会建议这样做？
浏览 11提问于2017-05-06得票数 18
回答已采纳
1回答
我使用apache beam Python SDK创建了一个命令行程序来在Google Cloud上启动Dataflow作业。然后在使用它的时候，我弄乱了其中一个选项。当指定了一个无效的选项时，我希望程序会死掉，或者至少警告用户。相反，我的程序使用--option的默认设置启动了一个数据流作业，直到完成时我才注意到。我如何使用apache beam来验证我的命令行
浏览 0提问于2018-06-09得票数 0
2回答
我希望使用Python实现相同的函数触发数据流。of pubsub : {}'.format(message))gcloud beta functions deploy hello_pubsub --runtime python37
浏览 2提问于2019-10-28得票数 2
回答已采纳
2回答
我需要从Cloud函数触发Cloud管道。但是云函数必须用Java编写。所以云函数的触发器是的Function /Create事件，也就是说，当一个文件上传到GCS桶中时，云函数必须触发云数据流。当我创建数据流管道(批处理)并执行该管道时，它将创建一个dataflow管道模板并创建一个Dataflow作业。;
import com.google.api.services.dataflow.Dataf
浏览 14提问于2020-08-21得票数 9
回答已采纳
我使用Cloud Foundry服务器jar文件在Pivotal Cloud Foundry中运行Spring Cloud Dataflow。我有一个任务应用程序，它是一个Spring批处理作业，我正在使用@ConfigurationProperties来配置批处理作业的参数。第一次启动任务时，我会传入如下属性：
task launch --name job-truncate --propertie
浏览 6提问于2018-02-01得票数 1
回答已采纳
我需要使用softlayer rest API启动创建卷的计算实例，并需要使用globalIdentifier启动。https://api.softlayer.com/rest/v3/SoftLayer_Virtual_Guest.json Body：{“参数”：[{ "complexType"："SoftLayer_Virtual_Guest“数据中心”
浏览 18提问于2019-09-10得票数 0
回答已采纳
gcloud ai-platform predict支持使用--signature-name参数在SavedModel：https://cloud.google.com/sdk/gcloud/reference/ai-platform/predict中指定签名 用于在线预测的python SDK和REST API没有：https://cloud.google.com/ml
浏览 15提问于2019-08-28得票数 2
回答已采纳
我正在开发使用数据泄漏预防(GCP)的PII de身份识别应用程序。我正在使用de标识模板来执行去标识规则。{ "displayName":"Email and id masker",
"description":"D
浏览 14提问于2020-12-01得票数 2
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
