当我尝试运行这个管道时，我得到了这个异常：table_spec='ExporterPlayGround.TEST_STREAM'
with beam.Pip
浏览 14提问于2020-07-30得票数 1
我可以使用Direct Runner在本地运行我的流水线而没有问题，但是当我部署到Dataflow时，我得到了以下错误： "Error message from worker: generic::unknown: 'my-project-id'
tableId: 'my-table'>' of type '<class 'apache_beam.io.gcp.internal.clients.bigquery.<
浏览 38提问于2021-09-13得票数 0
回答已采纳
在GCS中，我有一个源CSV文件(没有头)以及头配置CSV文件(只包含列名)。我在Bigquery中还有静态表。我希望通过使用列头映射(config文件)将源文件加载到静态表中。之前我尝试了不同的方法(我是维护源文件，其中包含头和数据在同一个文件中，然后尝试从源文件中分割头，然后使用头列映射将这些数据插入Bigquery。.*;
import org.apache.beam.sdk.Pipelin
浏览 0提问于2018-06-22得票数 1
因此，我在Python中有一个非常基本的管道，使用apache和google从云存储中获取数据，删除一些列，并将其移动到BigQuery中，直到最后一位。当使用WriteToBigQuery(table = ...)时，我得到以下错误：这是我提供表引用的方式的问题吗?还是有其他方法来做到这一点并避免此错误
浏览 23提问于2022-05-31得票数 0
回答已采纳
我正在尝试将JSON事件数据从加载到BigQuery，并且希望以字符串的形式加载所有数据，然后再进行转换，因为对于某些消息，它们看起来如下所示：{"id":234} --schema=$SCHEMA \ $INPUT故障详细信息：
在读取数据时出错行: 2；错误: 1；最大错误: 0；错误百分比
浏览 2提问于2020-11-24得票数 3
我试图从bigquery中的表中获取所有数据，但在运行代码时遇到错误。 我已经尝试了apache beam中的示例代码来读取bigquery中的代码，也尝试了从medium帖子中读取代码。波束：https://beam.apache.org/documentation/io/built-in&#x
浏览 15提问于2019-09-26得票数 1
1回答
尝试用Apache (Python)编写管道，从GCP存储桶中读取输入文件，应用转换，然后将其写入BigQuery。以下是Apache Beam管道的摘录：import apache_beam as beamimport csv
import jsonfrom apache_beam.io.gcp.internal.
浏览 3提问于2020-12-14得票数 1
我试图传递一个BigQuery表名作为apache管道模板的值提供程序。根据和这个，可以将值提供程序传递给apache_beam.io.gcp.bigquery.ReadFromBigQuery。pipeline_options)
(p | 'Read from BQ Table' >> beam.io.gcp.bigquery.R
浏览 3提问于2021-07-14得票数 1
我试图使用DynamicDestinations写入BigQuery中的分区表，其中分区名为mytable$yyyyMMdd。<init>(ParDo.java:591)at org.apache.beam.sdk.io.gcp.bigquery.PrepareWrite.expand(PrepareWrite.java:
浏览 8提问于2017-09-11得票数 1
1回答
我想用Python和Dataflow在BigQuery中读一个表。我事先不知道这张桌子的名字。我使用模板传递表名，如下所示： ..
table_spec = bigquery.TableReference(
浏览 17提问于2019-12-31得票数 0
但是，当我试图比较不同项目中的两个数据集时，我得到了一个错误： "message": "java.lang.RuntimeException: Unable to confirm BigQuery\n\tat org.apache.beam.sdk.io.gcp.bigquery.BigQueryIO$TypedRead.validate(BigQueryIO.java:1018)\n\tat(Pipeline.java:469)\n\tat org.apac
浏览 6提问于2022-07-20得票数 0
我正在尝试使用DataFlow将ISO-8859-1文件加载到BigQuery中。我已经用Apache Beam Java构建了一个模板。一切运行正常，但当我检查Bigquery表的内容时，我发现一些字符，如'ñ‘或重音'á'，'é’等没有正确存储，它们被存储为�。
在写入BigQuery之前，我已经尝试了几次字符集更改。有没有人知道是否有可
浏览 15提问于2019-07-23得票数 0
我正在尝试建立一个Apache Beam管道，它从Kafka读取数据，并使用Apache Beam向BigQuery写入数据。我在这里使用逻辑来过滤掉一些坐标：https://www.talend.com/blog/2018/08/07/developing-data-processing-job-using-apache-beam-streaming-pipeli
浏览 32提问于2020-06-23得票数 0
它在一个小的子集上工作得很好，但是当我在完整的数据集中运行它时，它似乎是在"Read Metadata" >> ReadFromTextWithFilename(f'gs://{BUCKET}/{DATA_FOLDER它甚至没有出现在Dataflow职务列表中。(ExtractMetaData()) table_spec = bigquery.TableReference(
datasetId=&q
浏览 3提问于2021-01-22得票数 0
回答已采纳
我在Google Dataflow中运行了一个Apache beam流水线。它从Kafka中读取数据并将其流式插入到Bigquery。但在bigquery流插入步骤中，它抛出了大量警告-at io.grpc.internal.ManagedChannelOrphanWrapper(BigQueryServicesImpl.java:1255)
浏览 7提问于2021-06-01得票数 5
我正在尝试使用Google Dataflow将数据从一个BigQuery表传输到另一个表： import apache_beam as beamfrom apache_beam.options.pipeline_options import PipelineOptions
import argparse
浏览 25提问于2021-11-14得票数 1
回答已采纳
at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJob.runJob ( org/apache.beam.sdk.io.gcp.bigquery( org/apache.beam.sdk.io.gcp.bigquery/BigQueryHelpers.java:153 )
at org.apache.be
浏览 11提问于2022-11-19得票数 2
回答已采纳
在我的观察中，它绝对不是在我的GCS临时位置生成的临时文件，对我来说是可见的。但是我想知道我应该在这里选择几个数字？根据我引用的源代码，默认值应该是1000，但实际上是0，所以当我没有显式地设置它时，我得到了一个异常，当我将它设置为1时，异常消失了，但是我还是不知道它是什么，我正在设置什么，lol。/**Control使用BigQuery加载作业时编写了多少个文件碎片。只适用于同时设置{@link/#link TriggeringFrequency}时</em
浏览 1提问于2018-09-10得票数 2
回答已采纳
我正在尝试将bigquery写到不同的表目的地，如果这些表还不存在，我想动态地创建它们。bigquery_rows | "Writing to Bigquery" >> WriteToBigQuery(lambda e: compute_table_name(e),问题是，我得到的表ID大致如下：projectId: 'project_id'
tableId: 'beam_bq_j
浏览 7提问于2021-12-10得票数 0
回答已采纳
在这个中，Apache建议在写入BigQuery时使用死信模式。此模式允许您用'FailedRows'标记从转换输出中获取未能写入的行。然而，当我尝试使用它时： table=self.bigquery_table_name,
schema={"fields": self.bigquery_table_schema_OutputP
浏览 34提问于2022-09-03得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号