从BigQuery读取数据并将其写入云存储上的avro文件格式

文章/答案/技术大牛

发布

1回答

java、google-bigquery、google-cloud-storage、google-cloud-dataflow、avro

我的目标是从BigQuery表中读取数据，并使用Java将其写入云存储上的Avro文件。如果有人提供代码片段/想法来编写BigQuery表数据，并使用Cloud Dataflow将其写入avro格式的数据，那将是

浏览 16提问于2019-09-11得票数 0

2回答

读取Avro文件并将其写入BigQuery表

google-bigquery、google-cloud-storage、google-cloud-dataflow、apache-beam

我的目标是从云存储中读取avro文件数据，并使用Java将其写入BigQuery表。如果有人提供代码片段/想法来读取avro格式的数据并使用将其写入BigQuery表，那就太好了。

浏览 1提问于2019-02-05得票数 5

回答已采纳

2回答

BigQuery -从驱动器创建表格时，谷歌工作表文件格式不再可用

google-bigquery、google-drive-api

自9月15日以来，当从驱动器创建数据库表时，BigQuery不再建议使用GOOGLE_SHEET文件格式。取而代之的是新的格式类型: Avro、JSONL、CSV、Parquet、ORC和云数据存储备份。通过粘贴CSV或Avro格式的电子表格的URL来创建表时，BigQuery会发送错误消息：Failed to create table: Und

浏览 40提问于2021-09-16得票数 0

3回答

如何从云数据存储迁移到云Spanner？

google-cloud-platform、google-cloud-datastore、database-migration、google-cloud-spanner

我正在查看数据流，以尝试将数据从Datastore导出到Spanner。扳手似乎只接受通过数据流连接器的avro文件。我能找到的唯一数据流模板是从数据存储到文本文件。并且数据存储区导出服务仅导出为levelDB格式。任何线索都会很有帮助，谢谢！

浏览 59提问于2019-05-03得票数 0

回答已采纳

1回答

BigQuery中浮动数据类型中的值问题，同时将AVRO和parquet中的数据加载到Bigquery表中

apache-spark、google-cloud-platform、google-bigquery、avro、parquet

我在BigQuery中使用bq加载作业或从AVRO/Parquet文件中加载数据时，遇到了一个奇怪的问题。源文件具有值22.54的浮点数据类型，但在将其加载到BigQuery之后，它将自动更改为22.540000915527344。我尝试使用其他文件格式，并使用直接bq加载作业和使用火花数据格式，但问题仍然存在。加载后，我将添加AVRO文件数据<

浏览 3提问于2021-12-17得票数 -1

2回答

我们目前通过csv或直接通过流式API将大部分数据加载到BigQuery中。然而，我想知道是否有可用的基准(或者Google工程师可以在答案中告诉我)加载不同格式的效率如何比较。例如，如果我们有相同的100行数据，BigQuery是否显示与加载它有任何性能差异：我相信其中一个答案将是“为什么你不测试它”，但我们希望，在架构转换器或重写我们的应用程序之前，工程师可以与我们分享(如果有的话)上

浏览 1提问于2018-03-14得票数 1

回答已采纳

1回答

BigQuery数据仓库设计？

google-bigquery、google-cloud-dataflow、dataflow、bigtable

HDFS:：着陆区->级1区->级2区我在Google

浏览 0提问于2018-08-14得票数 0

回答已采纳

1回答

直接创建Avro文件到

python、google-cloud-storage、avro

我想跳过在本地创建avro文件并将其直接上传到的步骤。import csvimport jsonimport avro.schema import avro<

浏览 1提问于2019-12-02得票数 2

1回答

从BigQuery导出的Firebase事件

firebase、google-cloud-platform、analytics、data-export

是否有一种将火基事件导出到(例如Parquet格式)的推荐方法？如果我将数据导出到BigQuery，那么将数据一致推送到的最佳方法是什么？原因是我有处理云存储中的拼花文件的daraproc作业，我希望我的防火墙数据能够以同样的方式访问。

浏览 2提问于2020-05-13得票数 1

回答已采纳

3回答

如何在BigQuery中备份数据集？

google-bigquery、backup

我们希望创建BigQuery数据集的备份副本，以防表被意外删除，因为它只是可恢复的。是否有办法延长恢复期的持续时间？如果没有，我们如何在BigQuery中创建保留期为30天的数据集的备份？

浏览 5提问于2018-11-21得票数 2

1回答

云存储中的数据格式，同时使用数据流从PubSub流式传输PubSubmessage(json字符串)？

google-cloud-platform、google-cloud-dataflow、apache-beam、dataflow

我们希望使用数据流从Pub-Sub流式传输PubSubmessage(json字符串)，然后写入云存储。我想知道在将数据写入云存储时，什么是最好的数据格式？我进一步的用例可能还涉及使用Dataflow再次从云存储读取数据，以便根据需要继续操作到数据湖。我在想的</em

浏览 3提问于2018-08-02得票数 0

1回答

在Firebase JS中记录用户操作

firebase、firebase-realtime-database

我想在我的Firebase应用程序上记录以下用户操作：时间(毫秒)：动作但是，我不会访问存储在用户日志位置的数据，所以我相信这不会降低数据</e

浏览 0提问于2018-04-15得票数 1

1回答

将蜂巢表迁移到Google BigQuery

hadoop、hive、google-bigquery、google-cloud-platform

我正在设计一种数据管道，以便将我的Hive表迁移到BigQuery中。Hive运行在前提集群上的Hadoop上。这是我目前的设计，其实很简单，只是一个shell脚本：使用distcp将生成的avro文件移动到google云</em

浏览 6提问于2017-10-26得票数 4

1回答

将数据上载到BigQuery的Google函数的服务帐户角色

google-cloud-platform、google-bigquery、google-cloud-functions、google-cloud-storage、google-cloud-iam

我有一个云函数，它从云存储中读取文件并将数据上传到BigQuery。我想为这个函数创建一个要运行的服务帐户。对于完成这些操作的功能，应该向服务帐户赋予哪些特定和适当的角色？

浏览 8提问于2022-10-10得票数 0

回答已采纳

3回答

与BigQuery兼容的Spark AVRO

apache-spark、hive、google-bigquery、avro

我正在尝试在Hive中创建一个外部表，并在BigQuery中创建另一个表，使用与Spark编写的Avro格式存储在Google Storage中的相同数据。我使用的是带有Spark 2.2.0、Spark-avro 4.0.0和Hive 2.1.1的Dataproc集群 Avro版本/包之间有相同的差异，但如果我使用Hive创建表，然后使用Spark编写文件但对于BigQuery<

浏览 30提问于2017-12-18得票数 1

2回答

如何使用java数据流导出csv文件到一个大的查询表？

export-to-csv、google-cloud-dataflow

我想从云存储桶中读取一个csv文件，并使用java中的dataflow将其写到一个包含列的bigquery表中。如何在写入bigquery时设置csv文件的标头？

浏览 0提问于2019-06-12得票数 0

1回答

是否有一种快速将数据从BigQuery加载到Clickhouse的好方法？

google-bigquery、clickhouse

我正在开发一个工具，它将把BigQuery查询的结果加载到Clickhouse中，以便进行进一步的分析。是否有一种快速将BigQuery表中的数据导入Clickhouse的通用模式？到目前为止，我的最佳选择似乎是编写一个自定义工具，使用google存储api从查询结果表中读取数据，将其作为AVRO写入磁盘，然后加载到clickh

浏览 4提问于2022-08-02得票数 0

2回答

Google数据融合无法访问来自另一个项目的数据，即使授予了访问权限

google-cloud-platform、google-bigquery、access-control、google-cloud-data-fusion

我已经启用了云数据融合API，并在BigQuery中的项目A中创建了一个实例。项目A将包含我们的数据仓库，并从BigQuery上的其他项目中加载和转换数据。当我试图从表B.X上的项目B创建一个具有源BigQuery的管道时，我会得到关于BigQuery表的详细信息:访问被拒绝:表B.X。在表B

浏览 5提问于2021-10-06得票数 0

回答已采纳

2回答

如何计算将数据从蔚蓝数据转移到google BigQuery时的成本

azure、google-cloud-platform、google-bigquery

我们在Azure中有一个数据存储管道，可以将一个前提下的SQL表移动到Azure blob存储的Gen2中。我认为大部分费用都来自Azure仓库，对吧？现在，我们希望将这些数据移动到BigQuery。由于我们的安全策略，我们仍然需要数据表管道从SQL表中读取。因此，我们创建了一个数据库笔记本，以读取拼花文件，并移动到BigQuery</e

浏览 5提问于2021-01-21得票数 0

回答已采纳

2回答

bigquery存储API:可以直接将AVRO文件流/保存到吗？

python、google-cloud-platform、google-bigquery、google-cloud-storage、avro

我想导出一个90 TB的BigQuery表到。根据的说法，BigQuery存储API (beta)应该是因为与其他方法相关联的导出规模配额(例如ExtractBytesPerDay)。该表是按日期划分的，每个分区占300 GB.我有一个运行在GCP上的Python笔记本，它通过这个从改编的脚本运行分区(并行)。= bigquery_storage_v1.enums.DataForm

浏览 4提问于2020-05-20得票数 1

点击加载更多