1回答
我将CSV文件添加到GCS存储桶中，每天或每周，每个文件名都包含(日期+特定参数)我们尝试了云函数(我们可以从文件
浏览 0提问于2020-12-15得票数 0
在airflow中，我想将文件从GCS加载到现有的BigQuery表中。有一个操作符执行该GoogleCloudStorageToBigQueryOperator，它似乎每次都会创建一个新表。如果我指定了一个现有的表，它会抛出一个错误。如何配置它才能加载到现有的表中？
浏览 21提问于2020-04-27得票数 0
回答已采纳
我使用bigquery客户端对象将一些CSV文件(位于云存储中)上载到bigquery表中。
我成功地将数据上载到bigquery表中，但我希望将目标表更改为已分区表。分区将是文件名中的日期。文件名是CSV文件中<
浏览 7提问于2022-11-21得票数 0
当我手动使用BigQuery控制台时，我可以看到在将表导出到GCS时有3个选项：CSV、JSON (Newline delimited)和Avro。对于Airflow，当使用BigQueryToCloudStorageOperator运算符时，传递给export_format的正确值是什么，以便将数据作为JSON (Newline delimited)传输到GCS？我在网上看到的用于BigQueryToCloudStorag
浏览 39提问于2020-11-13得票数 0
回答已采纳
如何在流模式下将数据从AWS加载到Google BigQuery？描述:我有RDS ( Server)中的数据，并希望将这些数据实时加载到Google BigQuery中。
浏览 9提问于2020-02-18得票数 1
回答已采纳
当使用"bq Load“命令将ORC文件加载到现有的BQ表时，我观察到一旦加载了数据，表模式(表的列名)也会发生变化。bq load
浏览 1提问于2019-06-25得票数 0
我真的很喜欢BigQuery的数据传输服务。我有平面文件，在确切的模式，坐着要加载到烧烤。这将是很棒的只是设置DTS的时间表，收集GCS文件匹配的模式，并加载到烧烤。我喜欢内置的选项，删除源文件后，复制和电子邮件，以防止麻烦。但最大的问题是，最小间隔时间是60分钟。太疯狂了。我可能会活得晚10分钟。
因此，如果我将DTS设置为随需应变，我如何从API调用它？此外，我将</e
浏览 15提问于2020-01-18得票数 4
回答已采纳
我正在使用java，试图将avro文件中的数据加载到BigQuery中。创建外部表时，BigQuery会自动从.avro文件中检测架构。在为要加载的数据创建常规BigQuery表时，是否有一种方法在GCS中指定模式/数据文件？
先谢谢你
浏览 1提问于2018-08-23得票数 0
回答已采纳
我正在尝试将Redshift迁移到BigQuery。表的大小是2TB+，我正在使用bigquery红移数据传输服务。但是迁移已经运行了5个多小时。还可以看到在Redshift端执行的查询将数据卸载到50MB的区块中。由于无法在红移传输作业中配置块大小参数。将2TB的数据从redshfit传输到BigQuery需要这么多时间，或者
浏览 39提问于2019-07-22得票数 0
4回答
我是GCP的新手，我可以从我的VM中获得一个文件到GCS，然后将它传输到bigquery。如何将多个文件从GCS传输到Bigquery。我知道通配符URi是它的解决方案，但是在下面的代码中还需要进行哪些其他更改？def hello_gcs(event, context):
from google.cloud import
浏览 4提问于2021-05-07得票数 0
回答已采纳
我目前正在尝试运行2个作业和一个查询通过一个脚本使用谷歌BigQuery应用程序接口。这两项工作涉及从Google Cloud Storage将两个CSV(压缩为BigQuery )加载到GZIP，并创建两个表。然后，我们运行查询以使用另外两个表创建第三个表。不幸的是，即使状态被标记为完成，作业仍然在运行，表还没有创建，看起来所做的只是从GCS加
浏览 0提问于2014-08-20得票数 1
我们正在用BigQuery制作一个POC，我现在研究的是如何将这些基础复制到BigQuery (现有的寄存器和将来的新寄存器)。我的怀疑是：
如何复制未来的注册？是否可以在MySQL中创建一个作业，在预定义的数字之后发送新的寄存器？例如，在插入了1,000个新行(或传递了
浏览 2提问于2016-02-15得票数 6
我正在尝试将一个文件从GCS加载到BigQuery，它的模式是从GCS中的文件自动生成的。我使用Apache气流来做同样的事情，我遇到的问题是当我使用自动从文件中检测模式时，BigQuery根据大约100个初始值创建模式。因此，我可以做的是手动创建一个新的表，通过自己生成模式。或者我可以<em
浏览 2提问于2019-12-27得票数 0
1回答
我在GCS中使用python大熊猫来编写一个DataFrame到parquet，然后使用将GCS文件传输到Bigquery表中。有时，当DataFrame很小时，整个列可能具有空值。当发生这种情况时，Bigquery将空值列视为INTEGER类型，而不是parquet声明的类型。当试图将其附加到期望该列为NULLABLE STRING的现有表时，大查询传输
浏览 25提问于2022-08-18得票数 0
将一个新的CSV文件上传到GCS桶中，然后将数据插入到BigQuery表中，数据在BigQuery中后应在insert事件中触发后处理查询。为了实现第一步，我在Python中创建了一个云函数，它将数据从GCS桶加载到BigQuery表。
我正在为第二步而奋斗，因为BigQuery</e
浏览 1提问于2021-02-16得票数 0
回答已采纳
我需要编写dag，这样它就可以将csv文件的内容加载到Bigquery表中，但是如果表中已经存在该内容，它就会丢弃该文件。我知道我们可以在正常的编程中计算文件的哈希，但不知道如何处理Airflow和Bigquery。有人知道怎么做吗？
浏览 0提问于2021-09-13得票数 0
我正在使用位于400M+存储桶中的大型CSV ( GCS )。我需要获取此csv的随机样本，并将其导出到BigQuery进行初步探索。我在网上找遍了，似乎找不到任何能解决这个问题的东西。我该如何去做呢？
浏览 3提问于2021-06-07得票数 1
我正在尝试使用bigquery从google云存储中查询数据。这些是我在firebase中实时数据库的数据。它由json文件组成。如何查询和查看每个文件中的数据？我其实是在读这篇文章，但我不知道如何连接。
如果我指向特定的文件(如firebase.json)，就可以了。但我需要更新我的数据。
浏览 1提问于2018-10-29得票数 0
2回答
我希望使用GCP中的云函数将GCS中的>=4 GB数据传输到BigQuery。有可能这样做吗？我尝试使用mkfile命令创建一个临时的5 gb数据文件，并尝试上传到GCS。这是否意味着GCS不能处理超过特定文件大小的文件。
在我所引用的文档：中，我了解到GCS处理多达5 TiB的数据。那么为什么上传5GB的数据需要很长时间
浏览 3提问于2021-08-12得票数 0
回答已采纳
我每天都需要加载到BigQuery的分区表中，在s3中创建了(2 TB)大小为20k的文件。文件每5分钟滚动一次。
将数据传输到BigQuery的最经济高效的方法是什么？
浏览 1提问于2019-12-19得票数 0
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号