这条管道应该将最终的PCollection写入谷歌BigQuery，但我找不到一种方法来安装正确的apache_beam.io依赖项。 write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND当我在本地运行这段代码时，beam.io.W
浏览 6提问于2018-02-09得票数 3
我用Apache制作了一条管道，它成功地与DataFlow运行器一起运行。我正在尝试创建一个模板，但是当使用RuntimeValueProvider作为apache_beam.io.gcp.bigquery.WriteToBigQuery转换器时，会引发以下错误：
AttributeError：'RuntimeValueProvider‘对象没有属性'tableId'。results&#
浏览 0提问于2019-12-04得票数 0
回答已采纳
当尝试在apache的google数据流中初始化python BigQuery Client()时，它给出了一个类型错误：我在apache数据流中使用Python3.7，我必须初始化客户机并手动写入BigQuery，而不是使用ptransform，因为我想使用通过运行时参数传递的动态表名此外，如果我使用g
浏览 1提问于2019-06-04得票数 1
回答已采纳
我使用的是apache upload for python(python version2.7)，当我灵活地将我的代码上传到Google App Engine时，我总是得到一个错误：ImportError: No module named main。当我调用端点/server时，我可以在我的数据流控制台中看到这个错误。当我在本地执行我的代码时，它在我的gcloud数据流中工作得很好，但是当我在</e
浏览 5提问于2018-08-18得票数 0
我有一个光束管道在用数据流流道运行。它接受XML并输出JSON，然后将其存储在Bigquery表中。作业成功运行，数据导入到BQ中，没有任何问题。from apache_beam
浏览 6提问于2019-11-13得票数 3
回答已采纳
1回答
我遇到了一个问题，当我试图运行一个简单的BigQuery ETL管道与一个烧瓶应用在Google上的flex环境。当我在本地运行它时，它可以工作，我首先用flask run或gunicorn -b :$PORT main:app启动它，然后在浏览器中找到端点，在页面上做一些事情，然后提交一个表单。", line 9, in <module> import ap
浏览 2提问于2018-10-05得票数 1
回答已采纳
在其中一个转换中，我想从元数据中获取时间戳，并将其作为键值对添加到数据部分中，我从数据流中得到了错误消息，即'unicode对象没有属性'items‘。as beam WorkerOptions
from apache
浏览 0提问于2018-11-25得票数 2
当尝试执行由气流组织的DataFlow作业时，我遇到了一些问题。触发DAG后，我收到以下错误：[2021-05-05 19:35:31,279] {base_task_runner.py>\n run()\n File "/tmp/dataflow50825def-pipeline.py", line 83, in run\n
浏览 4提问于2021-05-05得票数 0
回答已采纳
我在google colab上运行apache-beamgcp时遇到了问题。 如果我运行以下单元 !pip install -q apache-beam[gcp]
p | beam.Create/lib/pyth
浏览 22提问于2020-06-23得票数 0
因此，我需要以这样一种方式编写它，以便可以使用运行时值提供程序来传递BigQuery数据集/表。 在我的帖子的底部是我目前的代码，省略了一些与问题无关的东西。特别要注意BQ_flexible_writer(beam.DoFn) -这就是我试图“定制”beam.io.WriteToBigQuery以便它接受运行时值提供程序的地方。我的模板生成得很好，当我在没有提供运行时变量(依赖于缺省值)的情况下测试运行管道
浏览 16提问于2019-12-07得票数 3
回答已采纳
1回答
as beamfrom apache_beam.options.pipeline_options顺便说一句，我只有在将它部署到google的数据流作业时才会得到这个错误，它在本地运行良好。client.query("""
QUERY""" % (sel
浏览 0提问于2018-09-26得票数 3
回答已采纳
我的Mac中安装了python、venv、apache beam和gcloud。我还登录了gcloud傀儡。执行代码，转到gcloud poubsub主题并发布一个简单的消息代码读取消息并创建一个输出文件代码：
def run(argv=None):
浏览 5提问于2021-02-08得票数 2
import apache_beam as beamfrom apache_beam.options.value_provider)
浏览 27提问于2020-09-22得票数 2
回答已采纳
我有Gradle Apache java项目，它从pubsub读取事件并写入。我可以使用DirectRunner运行这个流作业。在DataflowRunner上执行时，工作人员启动日志显示以下错误行：这里是我的build.gradle文件依赖部分。: 'org.<em
浏览 0提问于2020-06-01得票数 1
回答已采纳
我已经尝试了几天了，但我不知道如何在Google Eclipse插件中使用它。我找到了此网页，但我的项目文件夹中没有build.xml文件。我尝试创建一个单独的项目并转移所有代码，但新项目没有JDO3.0，也没有build.xml文件。
任何帮助都将不胜感激。
浏览 0提问于2012-04-08得票数 8
1回答
我有一个运行时间超过10分钟的进程(Python)。最初考虑在Google cloud App Engine中运行，因为它有60秒的超时窗口计划在google计算引擎中运行。但我知道计算引擎也有10分钟的超时窗口，但我在互联网上找不到这些信息。谢谢,
浏览 17提问于2017-06-27得票数 0
回答已采纳
我目前正在尝试生成Google自定义模板，该模板将在运行时调用API，并将结果写入BigQuery表。from apache_beam.io.gcp.interna
浏览 1提问于2020-08-25得票数 1
回答已采纳
我试图在数据流中创建我的第一条管道，当我使用交互式光束流道执行时，我有相同的代码运行，但在数据流上我得到了所有类型的错误，这对我来说没有太大意义。#import apache_beam.runners.interactive.interactive_beam as ib
import google.auth#super(WriteToBigQuery, self).__i
浏览 20提问于2020-05-21得票数 0
回答已采纳
我是个新手，我们有一个spring-boot应用程序在GKE上运行，通过Kafka接收并通过Pub/Sub发布事件。由于应用程序在发布之前将事件存储在GCS中，因此我们认为使用DataFlow运行的Apache光束管道应该可以做到这一点。我相当确信定义和提交管道的逻辑是正确的，因为应用程序能够使用DirectRunner在本地Kubernetes集群上执行此操作。
在DataFlow上，我
浏览 6提问于2021-02-19得票数 0
在运行wordcount示例管道时，我一直在跟踪并得到一个错误：
..。文件"apache_beam/io/fileio.py"，第281行，在glob返回gcsio.GcsIO().glob(路径，限制) AttributeError：'NoneType‘对象没有属性'GcsIO/2.7/lib/python2.7/runpy.py"，行7
浏览 6提问于2017-02-26得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号