我正在通过Airflow并行编排多个数据流作业。流水线执行中的任务之一是推送唯一的xcom键来存储每个流水线的临时值，该临时值用于向Bigquery表中插入一个值。数据加载完成后，我需要清除特定的xcom密钥。我不想删除仍在并行运行的其他数据流作业可能生成的其他xcom键。它们是清除特定xcom密钥的<
浏览 3提问于2021-09-05得票数 0
也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。我知道写GCS似乎不是原子的，在作业运行的过程中会产
浏览 6提问于2016-08-05得票数 1
回答已采纳
我有一个apache管道，它接收一些信息，将其格式化为TableRows，然后写入BigQuery。直到数据流作业完成后，才会将行写入BigQuery。如果我有一个需要很长时间的数据流作业，我希望能够看到插入到BigQuery中的行，谁能给我指明正确的方向？
提前感谢
浏览 0提问于2018-06-08得票数 1
2回答
实际上，对我的数据执行以下步骤：我知道Google函数的BigQueryα触发器，但我
不知道是不是一个好主意，从我看到<
浏览 0提问于2019-11-21得票数 2
回答已采纳
需要存储在某个地方(bigquery?)在那里我可以请求并发送给用户。用户应该只能得到一个唯一的代码，这是事先没有使用的。提前感谢
浏览 4提问于2021-04-13得票数 0
回答已采纳
关于大查询中的WRITE_TRUNCATE行为，我有一个问题。
我有一个大的查询表(T1)，我会定期添加日志数据(每一行日志行)。我希望有一个数据流作业(D1)，它从这个表中读取、删除任何重复的行并执行其他数据清理操作，然后将其输出到另一个大型查询表(T2)，替换该表中可能已经存在的任何数据。我相信我可以通过在数据流作业
浏览 0提问于2017-09-13得票数 5
回答已采纳
在我的DAG中，我有两个任务：
1)使用DataflowPythonOperator运行数据流作业，该作业读取GCS中的文本中的数据，并将其转换为BQ，2)根据作业失败或成功与否将文件移动到失败/成功桶每个文件都有一个文件ID，它是bigquery表中的一个列。有时，一个文件会被编辑一两次(它不是一个经常被编辑
浏览 0提问于2019-01-09得票数 3
回答已采纳
1回答
出于测试目的，我能够从BigQuery表中获取数据，以检查我的BigQuery服务和Windows之间的通信。但是这个服务基本上是从MSSQL server中获取记录，然后一个接一个地向BigQuery中的目标表插入或追加一条记录。我不想使用CSV或JSON文件作为数据源。有没有办法做到这一点？
浏览 0提问于2012-10-30得票数 0
回答已采纳
我们的数据流作业之一将其输出写入BigQuery。我对如何在底层实现这一点的理解是，Dataflow实际上以JSON格式将结果(切分)写入GCS，然后启动一个BigQuery加载作业来导入该数据。但是，我们已经注意到，一些JSON文件在作业之后不会被删除，不管它是成功还是失败。错误消息中没有警告或建议不会删除文件。当我们注意到这一点时，我们看了一看我们的桶，它有数
浏览 5提问于2015-05-12得票数 6
回答已采纳
我希望使用数据流将数据加载到使用的BigQuery表中，而不是流式处理(对于我们的用例，流式处理的成本太高)。我看到Dataflow SDK内置了对通过BQ流插入数据的支持，但我在Dataflow SDK中找不到任何开箱即用的支持加载作业的功能。以下是一些问题：
1) Dataflow SDK是否支持BigQuery load作业</em
浏览 0提问于2015-06-17得票数 3
我已经设置了一个GCloud数据流管道，它使用来自Pub/Sub订阅的消息，将它们转换为表行，并将这些行写入相应的BigQuery表。表目的地是根据Pub/Sub消息的内容确定的，偶尔会导致表还不存在，必须先创建表的情况。为此，我使用create CREATE_IF_NEEDED，它工作得很好。但是，我注意到，如果在数据流作业
浏览 1提问于2020-03-21得票数 0
回答已采纳
在执行数据流作业时，我得到了一个持续的错误：
BigQuery导入作业"dataflow_job_838656419“失败。，：BigQuery为"TestProject”项目中的数据集"TestDataSet“中的表"TestTable”创建导入作业。，：BigQuery执行失败。：HTTP传输错误:消息:无效值:字符串
浏览 4提问于2016-08-29得票数 1
回答已采纳
1回答
设计
、
我们需要您对以下场景的数据流设计提供指导。
需求:我们需要构建一个数据流作业来读取数据流MS数据库并写入Bigquery。我们需要数据流作业作为输入“表名列表”(源表和目标表名称)来读取和写入数据。问题:在每天的日程安排中，数据流是否可以将表列表(即50个表名)作为输入，并将数据从源复制到目标，还是将其设计为5
浏览 4提问于2021-12-13得票数 -1
我有一个BigQuery表作为接收器的管道。在将数据写入BigQuery之后，我需要执行一些步骤。这些步骤包括对该表执行查询，从该表中读取数据并将其写入到另一个表中。如果上述操作都不起作用，是否可以从正在运行的管道中
浏览 2提问于2017-10-03得票数 2
我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。
任何关于如何提高阅读性能<em
浏览 10提问于2022-12-02得票数 1
我正在实现一个ETL作业，它将非分区的BigQuery表迁移到分区的表。为此，我使用了来自BigQuery的Storage。这将创建许多要从其中提取数据的会话。为了将BigQuery写入路由到正确的分区，我使用了File方法。由于30天的限制，流插入是不可行的。存储写API似乎是有限的，识别分区。
通过驻留到File方法，数据将被写入GCS。<e
浏览 4提问于2022-09-12得票数 1
1回答
数据流进程挂起
、、
我正在数据流上运行批处理作业，从BigQuery进行查询。当我使用DirectRunner时，一切正常，结果被写到一个新的BigQuery表中。web UI中的图表显示作业已开始。前3步显示"Running"，其余3步显示"not started“。所有步骤都没有显示任何转换的记录(即，输出集合都显示'-')。日志
浏览 13提问于2018-02-07得票数 1
回答已采纳
我遇到了一个问题，有多个任务的SubDagOperator在死锁问题上失败了。
问题语句：我们有一个任务要删除Bigquery中的>1000个表。为此，我们使用的是BigQueryTableDeleteOperator，因为我们有>1000个表，我们已经将代码包装在subdagOperator下，以获得更干净的UI。，就像和中给出的那样，但是在这种情况下，子all操作符
浏览 10提问于2021-12-07得票数 0
我从BigQuery查询数据的数据流作业失败，出现错误：
Query exceeded resource limits for tier 1. Tier 3 or higher required.同样的Dataflow作业与我的另一个项目一起工作，我无法确定如何在Dataflow API中设置层。
浏览 0提问于2017-03-25得票数 0
云服务器
ICP备案
即时通信 IM
云直播
对象存储
腾讯云开发者
