我实际上使用了它，但我的问题是我试图从str()中包装的两个变量(数据集+表)“构建”完整的表引用。这是将整个值提供程序参数数据作为字符串，而不是调用get()方法来仅获取值。因此，我需要以这样一种方式编写它，以便可以使用运行时值提供程序来传递BigQuery数据集/表。 在我的帖子的底部是我目前的代码，省略了一些与问
浏览 16提问于2019-12-07得票数 3
回答已采纳
我在Apache上工作非常新，在这里我尝试编写一个管道，从Google BigQuery中提取数据，并使用Python格式将数据写入GCS。使用beam.io.read(beam.io.BigQuerySource())，我可以从BigQuery读取数据，但不确定如何以CSV格式将其写入GCS。是否有一个定制功能来实现同样的功能，你能帮我吗？import logging
import apache_beam
浏览 1提问于2018-10-22得票数 6
回答已采纳
我想编写一个管道来从数据存储中迁移一些数据并将其导出到一个csv中。出于这个原因，我正在考虑做：
from google.cloud.datastore import query as datastore_query
from
浏览 14提问于2022-11-03得票数 0
我试图在Apache中使用带有BigtableIO的运行时参数来写入BigTable。
我已经创建了一个从BigQuery读取并写入Bigtable的管道。当我提供静态参数(使用ConfigBigtableIO和ConfigBigtableConfiguration，引用这里的示例- )时，管道工作得很好，但是在尝试使用运行时参数设置管道时，我得到了一个编译错误设置这些选项时，所有
浏览 0提问于2018-04-22得票数 1
我有一个流 apache管道，它对数据进行操作并写入大查询，该数据的表名和模式在数据本身之内，因此我使用侧输入来提供表名和使用side_inputs的模式。所以我的管道代码看起来是这样的- schema=lambd
浏览 17提问于2022-11-27得票数 2
我已经编写了一个Python数据流作业，用于从csv文件读取数据并使用该数据填充BigQuery表。但是，每当我运行此作业时，都会弹出一个错误。如果我删除write to Big Query部分，改为写入文件，则代码执行正常，并且表以dict格式写入输出文件。代码如下：import loggingimport apache_beam as beam
from apache
浏览 0提问于2017-08-30得票数 0
有没有人可以分享一下用python为GCP数据流编写的管道中读/写bigquery表的语法
浏览 2提问于2018-01-23得票数 6
当尝试在apache的google数据流中初始化python BigQuery Client()时，它给出了一个类型错误：我在apache数据流中使用Python3.7，我必须初始化客户机并手动写入BigQuery，而不是使用ptransform，因为我想使用通过运行时参数传递
浏览 1提问于2019-06-04得票数 1
回答已采纳
我有一个问题，我正在使用python创建数据流模板，该模板在启动新的数据流作业时需要接受3个用户定义的参数。问题出现在beam.io.gcp.pubsub.WriteToPubSub()中，我试图从ValueProvider提供主题名称，根据谷歌文档，在创建模板时需要使用该名称： https://cloud.google.com/dataflow/docs/guides/templates/creat
浏览 20提问于2020-05-02得票数 1
我有一个Google作业，它使用库版本1.9.1作业，任务是使用运行时参数。我们使用了TextIO.read().from().withoutValidation()。由于我们迁移到google 2.0.0，withoutValidation在2.0.0中被删除。发布说明页面没有提到这个。但在管道施工过程中，会出现以下误差。如果将其作为ValueProvider传递，则管道创建将尝试验证值提供程序。如何在google数据流2.0.0<
浏览 0提问于2017-10-02得票数 0
回答已采纳
我将apache-beam SDK从2.5.0更改为2.12.0，并在使用python从beam中的Big Query中读取表时出现了Avro模式错误。 BQ表有一个时间戳字段，其他字段是字符串。data = pipe \ beam.io.BigQuerySo
浏览 15提问于2019-07-01得票数 3
回答已采纳
我有一个谷歌应用程序引擎触发云DataFlow管道。这条管道应该将最终的PCollection写入谷歌BigQuery，但我找不到一种方法来安装正确的apache_beam.io依赖项。我在本地运行Apache Beam2.2.0版。
项目结构遵循中的代码。它是从我的虚拟环境中从apache_beam/io/
浏览 6提问于2018-02-09得票数 3
我刚开始讲数据流/阿帕奇梁我用Python编写了Dataflow管道，将大量产品目录(存储在JSON文件中的> 50K产品)导入到Datastore中。管道在我的本地机器(DirectRunner)上运行良好，但在DataflowRunner上失败，错误消息如下：
RPCError: datastore call commit [while runningMessage: datastore transaction or write too big.我的
浏览 0提问于2017-11-15得票数 1
(p | "doing stuff" >> beam.Map(do_some_stuff)我希望使用数据流模板
浏览 16提问于2019-10-22得票数 2
回答已采纳
2回答
我有这个管道，它得到一组URL的基础上的作业的动态输入。我的问题是访问source的动态值，source.get()不返回任何东西，只返回默认值，通常我希望在fetch_urls后面返回一些PCollection函数。查看Python transform catalog overview，我找不到任何东西来响应我的请求。 如何根据获取一些值的动态值来设置PCollection。p: urls = fetch_urls(
浏览 8提问于2021-10-26得票数 0
回答已采纳
我们有一个数据流管道，首先从BigQuery中提取数据，然后使用apache_beam.io的WriteToText函数将数据写到Google中的CSV。由于文件被分割，我们需要运行一段代码来使用storage_client.compose()将文件合并在一起。代码以灵活的图像运行。在中运行时(即。如果我们不能使用wait_until_finished()，那么我
浏览 11提问于2022-06-09得票数 0
回答已采纳
我想生成一个无界的行集合，并使用Apache Beam Calcite SQL方言和Apache Flink运行器对其运行一个SQL查询。基于Apache Beam的源代码和文档，您可以使用表提供程序：GenerateSequenceTableProvider来做类似的事情。但是我不知道如何在Beam SQL CLI之外
浏览 46提问于2020-12-06得票数 0
回答已采纳
我在apache_beam上执行了一个DataFlow模板。我需要将要写入的文件的名称作为模板参数传递。apache_beam.io.WriteToText，如下所示 my_options=optlist.view_as(MyOptions) (p
| '
浏览 2提问于2020-12-25得票数 0
1回答
数据流批处理作业未伸缩
、、、、
该作业被配置为查询Google Patents BigQuery数据集，使用ParDo自定义函数和transformers (huggingface)库对文本进行标记化，序列化结果，并将所有内容写入一个巨大的拼图文件我假设(在昨天运行作业之后，它映射了一个函数，而不是使用beam.DoFn类)，问题是某个非并行化对象消除了缩放；因此，将标记化过程重构为一个类。下面是这个脚本，它是通过以下命令从命令行运行的：
python bq_to_parquet_p
浏览 1提问于2020-08-18得票数 3
我们运行了一个Google批处理作业，它将数据记录写入一个pubsub管道，并有一个单独的流作业，它使用“pubsub to elasticsearch”流模板从PubSub管道中提取数据，并将更新写入我们的但是，我们不得不终止写入Elastic的流作业，因为在1次尝试之后，我们遇到了多个“向ES写入错误”。再也不允许“错误”了。从PubSub读取并写入Elasticsearch的任务是写入
浏览 16提问于2022-09-15得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号