加载作业后，何时准备好在谷歌BigQuery中查询数据？

文章/答案/技术大牛

发布

1回答

google-bigquery

假设我有一个非常大的CSV文件，正在加载到一个bigquery表中。此数据是否仅在整个文件已上载且作业已完成后才可用于查询，还是可在上载文件时进行查询？

浏览 9提问于2020-06-30得票数 0

回答已采纳

1回答

Bigquery - BigQuery加载作业后数据可用性延迟

google-bigquery

我们看到10-15秒的延迟，在BigQuery加载任务完成后立即查询时，数据不会立即反映在Bigquery中。它应该有10-15秒的延迟，还是应该在Bigquery加载作业在表中完成后立即查询数据？

浏览 5提问于2020-11-25得票数 0

1回答

创建作业并在Bigquery上安排它们

google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-functions

我是bigquery新手，需要对其进行一些测试。纵观bigquery文档，我找不到任何关于创建和调度工作的方法。我在互联网上的其他页面上发现，唯一可用的方法是在google云存储中创建一个桶，并使用javascript在云函数中创建一个函数，并在它的体内写下sql查询。有人能帮我吗？是真的吗？

浏览 1提问于2019-02-16得票数 0

回答已采纳

5回答

使用BigQuery进行实时分析

google-bigquery

有没有办法用BigQuery运行实时分析？我使用了CSV upload选项，该选项启动一个作业并以脱机模式加载数据，加载完成后可以对其进行分析。但在关于BigQuery的公告中，提到了使用BigQuery进行实时分析。如何才能做到这一点？我们可以将数据从Google Cloud数据库追加(无更新)到BigQuery中，以进行实时分析吗？顺便提一下，我注意到

浏览 0提问于2012-05-02得票数 3

回答已采纳

2回答

选择大数据仓库

google-bigquery、amazon-redshift、cloudera、cassandra-2.0、bigdata

现在，我面临的挑战是创建数据仓库来存储和处理大量的数据。估计每天发生的事件超过70亿次。数据应保存7天。平均事件大小为0.5~1KB.我们需要处理这些数据，以便：

浏览 2提问于2016-05-24得票数 5

1回答

当数据从谷歌数据存储流向BigQuery时，多次更新一行

python、google-app-engine、google-cloud-platform、google-bigquery

我们正在尝试将数据存储实体更新作为流输入推送到BigQuery，以提供实时数据分析。数据存储中的每个实体将在一天内多次更新。当我们推送实体时，我需要确保bigquery记录中只有最新的数据。

浏览 3提问于2018-07-23得票数 2

1回答

我目前正在尝试运行2个作业和一个查询通过一个脚本使用谷歌BigQuery应用程序接口。这两项工作涉及从Google Cloud Storage将两个CSV(压缩为BigQuery )加载到GZIP，并创建两个表。然后，我们运行查询以使用另外两个表创建第三个表。为了同步执行此操作，我检查作业响应的状态字段，当状态为完成时，我进行查询。不幸的是，即使状态被标记为完成，作业仍然在运行，表还没有创建，看起来所做的只是从GC

浏览 0提问于2014-08-20得票数 1

2回答

可以在亚马逊网络服务S3上的拼图文件上编写/运行BigQuery吗？

google-bigquery

我们想要检查外部商店拼图文件的BigQuery性能。这些拼图文件存储在亚马逊网络服务的S3上。在不传输文件到GCP的情况下，可以编写可以在亚马逊网络服务S3存储的拼花面板文件数据集上运行的BigQuery。

浏览 0提问于2020-03-03得票数 0

3回答

从gsheet向bigquery插入数据

javascript、google-sheets、google-bigquery

我想从gsheet上传数据到bigquery中的一个表，我的意思是我想用代码上传数据，而不是用add on，因为它将被安排在以后。有没有什么代码示例可以用于这两种方式(追加和截断)？我有一个2列的数据，我想要加载。这些列包括：josh big可能是使用以下函数的一些代码 BigQuery.Jobs.insert(resource,

浏览 1提问于2015-12-22得票数 2

1回答

一种数据流作业中BigQuery的读写

python、google-bigquery、google-cloud-dataflow

我有多个管道，可以从外部源获取数据，转换数据并将其写入多个BigQuery表。当这个过程完成后，我想运行一个查询来查询刚刚生成的表。理想情况下，我希望这种情况发生在同一份工作中。还是应该将对BigQuery的加载和表的查询划分为两个作业？如果在同一项工作中这是可能的，那么如何解决这个问题，因为BigQuerySink不生成PCollection？如果在同一作业<

浏览 2提问于2017-05-11得票数 1

回答已采纳

1回答

BigQuery数据仓库设计？

google-bigquery、google-cloud-dataflow、dataflow、bigtable

在Datawarehouse的一个典型的HDFS环境中，我看到了一些不同的阶段，在这些阶段中，数据被分阶段处理和转换，如下所示。如果它只是一个时间段数据，那么仍然是基于HDFS的HIVE表，那么，报告会发生在第2阶段(如果转换之间也可能有多个区域)登陆(谷歌云存储) ->第1阶段(BigQuery-托管所有基于时间的数据) ->阶段2(基于时间的数据的BigQuery

浏览 0提问于2018-08-14得票数 0

回答已采纳

1回答

具有二进制数据的PubSub主题到BigQuery

google-bigquery、google-cloud-pubsub、google-cloud-run

我希望有数以千计的传感器以10 via的速度发送遥测数据，每帧大约有1KB的二进制数据，使用IOT，这意味着我将通过PubSub获得数据。我想将这些数据发送到BigQuery，并且不需要进行处理。由于Dataflow没有能够处理二进制数据的模板，使用它似乎有点麻烦，所以我想尽量避免它，使它变得完全没有服务器。问题是，我最好的选择是什么？我考虑过云运行服务，运行一个快速应用程序来接受来自PubSub的数据，并使用全局变量在ram中累积大约500行，然后

浏览 7提问于2021-10-22得票数 1

回答已采纳

1回答

多区域Cloud联邦BigQuery查询不工作

google-cloud-platform、google-bigquery

根据Cloud联邦查询文档，可以运行多区域BigQuery作业，在指定的多个区域所包含的区域中查询Cloud实例：但是，当

浏览 11提问于2020-02-05得票数 2

回答已采纳

1回答

尽管更新了模式，但BigQuery架构错误

google-bigquery

我试图运行多个同时作业，以便将大约700 K的记录加载到单个BigQuery表中。我的代码(Java)根据is作业的记录创建模式，并在需要时更新BigQuery模式。工作流程如下：我希望避免使用此工作流遇到

浏览 2提问于2013-12-16得票数 0

回答已采纳

1回答

BigQuery:作业资源为200 OK，"outputRows"：584，但数据不在BigQuery表中

python、google-bigquery、google-cloud-platform

我有一个从大量资源下载文件的Python脚本，然后这些文件被上传到谷歌云存储桶经过一些处理，从那里这些文件被加载到BigQuery表中。我有一个cronjob每15分钟运行一次这个脚本，运行得很完美，但有时，比如一周一次，我会遇到16个文件中只有一个的问题。问题是，从脚本的日志中看起来一切都很完美。将文件下载、处理、上传到加载到Bigquery的存储桶中。当我从谷歌rest v2作业获取()状态为200OK和&qu

浏览 4提问于2017-11-20得票数 3

2回答

BigQuery群集表:如何创建多个集群

google-bigquery

我的BigQuery表通常使用"where“条件的不同组合在一个或更多个常见列之间进行查询，例如跨列A、B、C (不按顺序排列)。因此，我想分别为A、B和C列添加单独的集群。如何为BigQuery表创建多个集群？(类似于如何在传统的rdbms表上创建多个索引)

浏览 5提问于2020-05-26得票数 3

回答已采纳

0回答

将Azure SQL Server数据导入BigQuery

sql-server、google-bigquery、azure-sql-database、ip-address、google-compute-engine

我的数据存储在Azure SQL Server中(不是我的选择)，我想使用谷歌BigQuery中的数据。我发现了许多从SQL Server中提取数据的方法，以及将数据加载到BigQuery中的方法。到目前为止，我找到的最简单的解决方案是在BigQuery中创建一个使用SQL Server URI的加载作业。SQL Server<

浏览 5提问于2016-07-20得票数 1

1回答

如何使用时间分区表与模板表和超过4000限制的BigQuery？

google-bigquery

这样，我就可以使我的表比仅仅使用分区表更小，从而使我的查询更具成本效益。而且，无论我的系统中有多少用户，我的每个用户的查询成本都保持不变。根据的文档若要按日期创建较小的数据集，请使用时间分区表.若要创建不基于日期的较小表，请使用模板表，BigQuery将为您创建这些表。在这种情况下，我是否必须删除旧分区，还是最后一个分区将继续存储任何后续的流数据？

浏览 0提问于2018-07-24得票数 3

回答已采纳

2回答

谷歌BigQuery:停止运行查询

google-bigquery

几个小时前，我在谷歌BigQuery上运行了一个查询，该查询仍在运行。我点击了“放弃”，但似乎没有办法停止查询。我能做什么?我可以以某种方式联系Google，让他们停止查询吗？我一直在为一家使用BigQuery分析谷歌分析数据的公司做一个项目，所以我不想给他们开一大笔账单。(也许StackOverflow不是问这个问题的合适地方，但我试着找了另一个地方，但是我找不到。在点击“放弃”查询后，我得到了同

浏览 1提问于2015-02-04得票数 1

1回答

使用大查询或大表查询聚合值的用例？

google-bigquery、bigtable、google-cloud-bigtable

我用它来设计30 TB文本文件的存储，作为在Google云上部署数据管道的一部分。我的输入数据是CSV格式，我希望尽量减少为多个用户查询聚合值的成本，这些用户将使用多个引擎在云存储中查询数据。使用云存储进行存储，并链接大查询中的永久表以进行查询，或使用Cloud表进行存储，并在计算引擎上安装HBaseShell来查询大表数据。基于下面对这个特定用途的分析，我发现下面的云存储可以通过BigQu

浏览 0提问于2019-01-24得票数 0

回答已采纳

点击加载更多