我使用谷歌模板为同一个创建了一个PubsubToBigQuery数据流，用于存储我的事件日志。如何实现这一目标？
浏览 0提问于2019-06-12得票数 0
我想写谷歌数据流管道结果到多个汇。
例如，我希望使用TextIO将结果写入，并将结果作为一个表写入BigQuery中。我怎么能这么做？
浏览 0提问于2015-05-24得票数 4
回答已采纳
我正在使用Google Dataflow1.9将数据保存到BigQuery表中。我正在寻找一种方法来控制(PCollection)元素写入的表名，基于该元素中的一些值。在我们的例子中，元素包含一个user-id，我们希望将每个元素动态地写入到它自己的用户表中。
浏览 9提问于2017-07-10得票数 0
我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。当我尝试将联邦BigQuery表作为Dataflow管道的源读取时，它会引发以下错误：
1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator- Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYG
浏览 5提问于2016-03-23得票数 4
回答已采纳
BigQuery可以作为联邦源从Google读取。见。我希望能够将BigQuery中的表读入指向驱动文档的数据流管道。将BigQuery连接到驱动器中的文件非常好：但是，当我尝试将该表读入数据流管道时，我(可以理解)得到以下错误：
没有合适的凭证找到进入谷歌驱动器。请与表所有者联系以获得帮助。如何允许Dataflow能够从BigQuery</
浏览 0提问于2016-06-15得票数 8
回答已采纳
1回答
假设我有多个作业在更新/加载同一个表。根据信号量的概念，如果任何1进程正在将数据加载到表中，其他进程将等待，直到该表的资源空闲。我想知道有没有使用数据流将数据加载到BigQuery表中的信号量概念？如果是，那么如何处理使用数据流加载BigQuery表的这种情况？
浏览 4提问于2017-08-11得票数 2
2回答
我想知道如何将大型查询(具有多个连接和联合)的结果保存到目标(日分区)表中。目前在GC上，我执行这些查询，将结果保存在本地临时CSV中，并将这些CSV上传到各自的表中。如果我将查询结果保存到目标表中(附加到已经包含100M+行的旧数据)，是否会产生插入流成本？这是我想要避免的，因为0.02美元/MB可能会增加相当多的数据</em
浏览 0提问于2018-09-18得票数 0
我想将带有多个字符分隔符的数据加载到BigQuery。BQ load命令当前不支持多个字符分隔符。它只支持单个字符分隔符，如'|‘、'$’、'~‘等
我知道有一种数据流方法，它将从这些文件中读取数据并写入BigQuery。但是我有大量的小文件(每个文件400MB)，它们必须写入一个单独的表分区(分区编号在700左右)。这种方法在处理数据流时速度很慢，因为我当前必须启动一个不同的数
浏览 22提问于2016-08-11得票数 3
回答已采纳
出于报告的目的，我正在考虑将我们的购物数据移动到BigQuery。我通过shopify API对customers端点进行分页，并获得所有客户级数据。然后我将其导出为csv，然后将其存储在google云存储上，然后导入到BigQuery。我的问题是，考虑到当前customer datamart上的一些条目(例如，总订单数)可能已经更改，并且自上次表更新以来可能已经创建了一些新客户，那么处理增量数据加载的最佳方法是什么。
浏览 0提问于2021-03-05得票数 1
2回答
将数据从BigQuery导出到谷歌存储的最佳方式是什么？注意，我需要对Bigquery运行查询，而不是导出所有数据。本质上，我需要对BigQuery (如select * from mytable where code=foo )运行自定义查询，查询结果需要写入存储在Google Cloud上的csv中。
浏览 0提问于2017-01-05得票数 2
7回答
我希望将数据从BigQuery中的表传输到Redshift中的另一个表中。我计划的数据流如下：我知道谷歌云存储传输服务，但我不确定它是否能帮助我。来自Google文档：
此页面描述云存储传输服务，您可以使用该服务快速将联机数据导入。
我知道这个服务可以用来
浏览 13提问于2016-09-05得票数 41
回答已采纳
2回答
我希望从每小时到达的BigQuery中检索数据，并在新的BigQuery表中进行一些处理并提取新的计算变量。事情是，我从来没有与gcp工作过，现在我必须为我的工作。我已经在python中使用我的代码来处理数据，但是它只适用于“静态”数据集
浏览 0提问于2020-06-29得票数 0
回答已采纳
1回答
我有一个要求，我需要创建一个数据流作业，该作业将通过过滤将作为json数据一部分的属性的消息，将数据从Google PubSub主题传输到BigQuery表。使用谷歌提供的模板，我可以使用谷歌提供的"PubSub to BigQuery“模板，但这不允许对数据进行过滤。
有办法定制模板"PubSub到Bigquery“吗？
浏览 0提问于2018-11-26得票数 2
由于加载时间和查询成本，我需要将bigquery表导出到桶中的多个Google存储文件夹。这张桌子很大，不适合(可能但不是这样)的公羊，它是1+ Tb。我不能用python来模拟循环。是错过了什么，还是没有谷歌解决方案？
我的B计划是
浏览 9提问于2022-05-23得票数 0
回答已采纳
我使用Airflow DataflowTemplateOperator()将数据从Mssql迁移到Bigquery，使用JDBC to Bigquery数据流模板。默认情况下，它会将数据追加到目标Bigquery表中。是否有默认参数可将数据流/ DataflowTemplateOperator设置从追加更改为覆盖？
浏览 2提问于2020-12-02得票数 0
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行，以从源读取所有流并推入Bigquery表。数据流作业不会被新的订阅表或BQ表覆盖。
目标:我的目标
浏览 0提问于2019-07-16得票数 0
1回答
我想写一个python连接器，将移动新添加的CSV在谷歌驱动器(共享驱动器)到BigQuery。我认识Loading data into BigQuery from Drive is not currently supported, but you can query data in Drive例如，从GC存储中，很容易实现自动数据流，但不确定如何连接到Google Drive API (共享驱动器)，搜索新添加的CSV(在许多目录中)，并将它们作为表
浏览 11提问于2021-03-29得票数 1
我知道数据流可以使用BigQuery表(或BigQuery表的SQL式查询)进行输入，但是是否可以将保存的视图作为数据流的输入？
浏览 10提问于2017-07-11得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
