1回答
使用GCP提供的标准存储/文本文件到PubSub工作节点模板，但是尽管我设置了# DataFlow eq1，但对于下游组件，处理消息的吞吐量是“高”的。在发布/订阅中的消息事件上运行的CloudFunction命中GCP配额，而使用CloudRun时，我在一开始就得到了一堆500、429和503个错误(由于步长突发率)。有没有办法控制DataFlow的处理速度？需要更软/更慢的启动，以便下游组件有时间扩大规模。 有没有人？
浏览 11提问于2020-04-24得票数 0
基于该文档，https://cloud.google.com/dataflow/docs/resources/faq 但是，一旦您的作业完成或失败，云数据流服务将自动关闭并清理VM实例。
浏览 21提问于2019-04-24得票数 0
回答已采纳
(ReadOperation.java:201)gcp#3| org.apache.beam.runners.dataflow.worker.StreamingDataflowWorker.process(SimpleDoFnRunner.java:180)
gcp<
浏览 8提问于2019-10-31得票数 1
1回答
Dataflow/GCE服务帐户可以访问视图，但不能访问其基础数据集(这不应该是问题)。at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl.executeWithRetries(BigQueryServicesImpl.java) a
浏览 2提问于2020-08-12得票数 2
回答已采纳
1回答
{gcp_dataflow_hook.py:108} INFO - Start waiting for DataFlow process to complete.
[2017-09-12 16:59:38,225"/usr/lib/python2.7/site-packages/airflow/contrib/hooks/gcp_dataflow_hook.py", line 146, in start_j
浏览 2提问于2017-09-12得票数 2
和其他一些消息来源的答案表明，我需要pip install aache-beam[gcp]来获得与GCP工作的Apache的不同变体。因此，我尝试将培训包的setup.py更改为：
REQUIRED_PACKAGES = ['apache_beam[gcp]==2.14.0', 'tensorflow-ranking', 'tensorflow_transformsubprocess.check_call('pip uninstall apache-beam'.split
浏览 0提问于2019-08-31得票数 0
1回答
和{jobID}放在原来的位置)：
[2018-10-01 13:00:13,987] {logging_mixin.py:95} INFO - [2018-10-01 13:00:13,987] {gcp_dataflow_hook.py-10-01 13:00:13,988] {logging_mixin.py:95} INFO - [2018-10-01 13:00:13,988] {gcp_dataflow_hook.py:128-10-01 13:00:13,988] {logging_mixin.py:95}
浏览 1提问于2018-10-02得票数 3
回答已采纳
1回答
/jar", dataflow_default_options={Traceback (most recent call last):
File "/usr/local/bin/airflow", line
浏览 0提问于2018-03-07得票数 2
回答已采纳
1回答
我注意到在升级之后，数据流的GET API在URL中使用location而不是job id GET https://dataflow.googleapis.com/v1b3/projects/umg-dealt=json 理想情况下，URL应如下所示 GET https://dataflow.googleapis.com/v1b3/projects/umg-de/locations/us-central1
浏览 26提问于2020-04-29得票数 0
回答已采纳
2回答
堆栈驱动程序中dataflow_step日志的dataflow_step字段指向全局，尽管指定的区域端点是Europe 2。
知道它到底指向了什么吗？
浏览 3提问于2020-06-03得票数 0
我在google云平台(GCP)中运行我的Google数据流工作。当我在本地运行这个作业时，它运行得很好，但是在GCP上运行时，我得到了一个错误"java.lang.IllegalArgumentException:找不到方案gs的文件系统“。我在GCP的工作证明：2019-08-09_16_41_15-11728697820819900062(BigQueryHelpers.java:689)
at org.apa
浏览 1提问于2019-08-10得票数 5
回答已采纳
line 184, in execut File "/usr/local/lib/airflow/airflow/contrib/hooks/gcp_dataflow_hook.py/contrib/hooks/gcp_api_base_hook.py", line 286, in wrappe
return func(self, *args,
浏览 11提问于2020-05-21得票数 8
回答已采纳
是否有可能知道GCP上的DataFlow工作人员所使用的外部IP的范围？目标是在外部服务上设置某种IP过滤，以便只有运行在GCP上的DataFlow作业才能访问该服务。
浏览 3提问于2016-01-26得票数 6
回答已采纳
我是一个GCP新手，在尝试使用GCP 运行云数据流应用程序时会遇到一个错误。气流收集管道，但失败与以下的错误。gcp_dataflow_hook.py:115} INFO - Running command: java -cp /tmp/dataflow13ec2a50-BeamTutorial-0.0.1-SNAPSHOT.jar/ex2-spark/out
gcp_dataflow_hook.py:127} WARNING -
浏览 3提问于2018-10-18得票数 1
(MutationGroupEncoder.java:271) at org.apache.beam.sdk.io.gcp.spanner.MutationGroupEncoder.decodePrimitive(MutationGroupEncoder.java:326)
at org.apache.beam.sdk.io.
浏览 3提问于2018-07-26得票数 2
我找不出GCP Dataflow Python SDK中读写csv文件(或任何非txt文件)的精确函数。但是，我找不到任何GCP Dataflow Python SDK的示例，在这些示例中，数据被写入csv文件或从csv文件中读取数据。请您提供的GCP Dataflow Python SDK函数读取和写入csv文件，以相同的方式，我已经为上面的BigQuery相关的函数？
浏览 0提问于2017-07-26得票数 2
[2018-07-05 18:24:39,928] {gcp_dataflow_hook.py:108} INFO - Start waiting for DataFlow process to completebase_task_runner.py:95} INFO - Subtask: File "/usr/local/lib/python2.7/dist-packages/airflow/contrib/hooks/gcp</e
浏览 0提问于2018-07-06得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
