使用python flex模板的数据流-启动器超时

文章/答案/技术大牛

发布

2回答

google-cloud-platform、google-cloud-dataflow、apache-beam、data-pipeline

我正在尝试使用flex模板运行我的python数据流作业。当我使用direct runner运行(没有flex模板)时，作业在本地运行得很好，但是当我尝试使用flex模板运行它时，作业停留在“排队”状态一段时间，然后由于超时而失败。这是我的Docker文件： FROM gcr.io/dataflow-templates-base

浏览 15提问于2020-11-13得票数 4

回答已采纳

1回答

数据流flex模板作业尝试使用相同的job_name启动第二个作业(用于管道)

google-cloud-dataflow

我正在尝试启动一个Dataflow flex模板。作为构建和部署过程的一部分，我正在预构建一个自定义SDK容器映像，以减少工人启动时间。当给定一个数据流时(预先安装了依赖项)，数据流作业就会启动，但是它不会在同一个作业上运行管道，而是尝试使用相同的名称为管道启动一个数据流作业，这会导致error.Errors：重复的数据流作业名DataflowJobAlreadyExistsError如果我试图为管道传递第二个job

浏览 15提问于2022-10-18得票数 1

1回答

Composer/Airflow在可抢占的虚拟机上运行数据流作业时遇到困难

google-cloud-dataflow、airflow-scheduler、google-cloud-composer、airflow

DAG中有18个其他较短的任务)。数据流作业从数据流模板(普通模板，而不是flex模板)运行，通常需要大约20分钟才能完成，部分是并行完成的。我从一个python 开始如果我使用数据流选项，实例就会阻塞。在CPU使用率较高的情况下，它最多只能在前20分钟内每分钟安排一个数据流作业。这会导致任务累积，甚至会进一步减慢它，直到它几乎停止调度。fle

浏览 0提问于2020-11-25得票数 0

1回答

修改用于Dataflow flex模板的启动器VM

python、google-cloud-platform、google-cloud-dataflow、apache-beam

我们使用Dataflow Flex Templates (FROM gcr.io/dataflow-templates-base/python3-template-launcher-base:20210120在此之前，一切工作正常，但如果我运行dataflow flex模板，我会在创建启动器VM期间收到以下错误消息： "/usr/bin/docker: Error response from daemon:该错误是由于使

浏览 15提问于2021-03-19得票数 0

4回答

在Dataflow Python* flex模板中包含另一个文件ImportError*

python、google-cloud-platform、google-cloud-dataflow、apache-beam

有没有一个包含多个文件的Python Dataflow Flex模板的示例，其中脚本正在导入同一文件夹中包含的其他文件？我的项目结构是这样的：│ ├── __init__.py│ ├── setup.py我正在尝试为数据流flex模板在main.py中导入custom.py。="${

浏览 0提问于2020-11-18得票数 6

1回答

当使用灵活模板时，可以使用多命令CLI来运行作业吗？

python、google-cloud-platform、cloud、google-cloud-dataflow、apache-beam

我阅读了(pythonSDKv2.40)关于为单个作业创建Flex模板的文档。我找到的所有示例和文档都将单个python文件映射到一个管道。但是，我想包含一个python文件，我可以使用该文件封装多个管道，以允许一组更加模块化和文档化的管道。我希望将我创建的运行多条管道的单独图像的数量降到最低。我通常使用的一种方法是具有一个多命令命令行接口，如： pipeline

浏览 15提问于2022-08-16得票数 0

回答已采纳

1回答

试图通过地形进行数据流工作，但得到了错误

google-cloud-platform、terraform、terraform-provider-gcp

(d958f8ba4ff671db)：无法打开模板文件:gs://│_terraform/│_file.在资源“google_dataflow_flex_template_job.big_data_job，”“big_data_job”中的资源"google_dataflow_flex_template_job“中的main.tf第13行中的││：

浏览 18提问于2022-11-23得票数 -1

1回答

spring云启动服务器(数据流服务器启动服务器)和spring云启动服务器-数据流服务器本地(本地数据流Se )之间的差异

spring-cloud-dataflow、spring-cloud-dataflow-ui

我最近开始了解Spring数据流，也称为SCDF。我刚刚开始研究，这似乎是一个很好的例子，也需要更多的示例才能真正理解Spring数据流在Spring中的使用，因为我对Spring有很好的经验。spring-cloud-starter-dataflow-server (数据流服务器启动器)和spring-cloud-starter-dataflow-server-local (本地数据流服务器启动器

浏览 2提问于2020-05-01得票数 0

回答已采纳

1回答

完成后将数据流作业状态发布到Google Pub/Sub

google-cloud-dataflow、apache-beam

目前，我正在使用Flex模板从微服务启动作业。我正在尝试找到一种更好的方法(而不是使用作业轮询方法)来获取数据流作业状态。基本上是尝试在数据流作业完成后将数据流作业状态发布到pubsub上。

浏览 19提问于2021-01-08得票数 0

1回答

GCP Flex模板错误:在envsetup中未设置py选项.等待容器错误:意外EOF

python、google-cloud-platform、dataflow

Attempint使用具有自定义python容器映像的dataflow flex模板运行程序。ENV FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE="${WORKDIR}/requirements.txt" ENV FLEX_TEMPLATE_PYTHON_PY_FILEgcloud dataflow flex-template build $TEMPLA

浏览 4提问于2021-10-04得票数 1

1回答

启动Dataflow Flex模板时镜像引用不正确

google-cloud-platform、google-cloud-dataflow

我们正在使用Dataflow Flex模板，并遵循本指南(https://cloud.google.com/dataflow/docs/guides/templates/using-flex-templates这在我们的环境中是有效的。但是，当我通过SSH连接到数据流VM并运行docker ps时，我发现它引用的docker镜像与我们在模板中指定的

浏览 17提问于2020-07-22得票数 2

回答已采纳

1回答

从GCS导入csv文件，并使用Dataflow进行转换，然后使用气流传感器将csv文件导入BigQuery。

google-bigquery、google-cloud-storage、airflow、google-cloud-dataflow、google-cloud-composer

我是云作曲家的新手。我的用例是: GCS中有几个文件类型，如json、csv、txt、..但是我只想选择csv文件，使用Python中的Dataflow来转换它们(例如重命名字段，.)当一个新的csv文件导入到GCS时，主要的要求是使用气流传感器来触发它们。有没有人知道如何使用 Composer气流传感器(这里没有云功能)编写它: GCS (只有csv文件)- Dataflow - BigQuery。请给我举一个详细的</e

浏览 6提问于2022-09-23得票数 0

1回答

云数据流:如何在PubSub to BigQuery中使用谷歌提供的模板

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我正在使用PubSub来捕获实时数据。然后使用GCP数据流将数据流式传输到BigQuery中。我正在使用Java进行数据流。目前，我正在将字符串格式的消息发送到PubSub (这里使用Python )。但是数据流中的模板</e

浏览 18提问于2018-02-21得票数 0

2回答

如何在python代码中向数据流传递--autoscaling_algorithm=NONE标志？

python、google-cloud-platform、google-cloud-dataflow、apache-beam、dataflow

我正在使用python dataflow.projects().templates().launch()函数启动数据流模板，以启动从jdbc到bigquery模板的数据流作业。如何在这个python函数中传递"--autoscaling_algorithm=NONE“标志？

浏览 1提问于2020-11-19得票数 0

1回答

用于构建和运行Dataflow Flex模板的Terraform脚本

google-cloud-platform、terraform、google-cloud-dataflow、terraform-provider-gcp

需要将这2个gcloud命令转换为使用Terraform构建和运行数据流作业。="com.in.g.gr.dataflow.PubSubLiteToGCS" --subnetwork=$SUBNETWORK \我已经尝试使用</e

浏览 39提问于2021-09-27得票数 0

2回答

是否可以在GCP中使用云运行来调用数据流？

google-cloud-dataflow、google-cloud-run

是否可以使用GCP中的云运行或每30分钟运行一次数据流的任何其他方式调用数据流。如果有人分享执行程序的参考材料，我将不胜感激。

浏览 11提问于2022-11-05得票数 0

1回答

在flex模板中设置sdk_container_image

google-cloud-dataflow

为了提供封闭的构建和运行时，我们目前构建自定义的flex模板和工作者映像。作为部署的一部分，我们构建了flex模板，我们可以指定定制的flex模板映像，但不能指定定制的工作者映像--在调用flex模板时，我们必须将它分别传递给数据流。这就产生了隐藏的依赖关系，我们需要在其他地方的发布过程中跟踪这些依赖项(并且似

浏览 12提问于2022-06-09得票数 1

2回答

使用Python生成数据流模板

google-cloud-dataflow

我有python脚本，它在指定的GCS路径中创建数据流模板。我已经测试了脚本使用我的GCP免费试用，它的工作完美。我的问题是在生产环境中使用相同的代码，我想生成一个模板，但我不能使用Cloud，因为有限制，也不能直接运行Python脚本，即使用SA键。另外，我不能创建VM并使用它在GCS中生成一个模板。考虑到上

浏览 14提问于2022-02-20得票数 0

回答已采纳

1回答

以编程方式编辑Dataprep配方

google-cloud-platform、google-cloud-dataflow、google-cloud-dataprep

我们有一个dataprep作业来处理输入文件并产生一个干净的文件。可以从Python代码(远程)编辑dataprep作业的配方吗？如果是，是否可以从Python代码触发dataprep作业？

浏览 1提问于2018-06-15得票数 1

1回答

数据流作业访问外部URL的问题

google-cloud-platform、google-cloud-dataflow、dataflow

我有一个数据流作业，它执行以下代码>>> headers={'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64Master Index of EDGAR Dissemination Feed\n', b'Last Data Received: March 31, 2019\n'] 现在，完全相同的代码嵌入到数据流作业中作业正在使用

浏览 3提问于2021-07-02得票数 0

点击加载更多