为什么我们需要在bigquery中构造一个数据集引用？

文章/答案/技术大牛

发布

1回答

python、google-bigquery

我正在学习使用python notebook的bigquery，并且我发现了如下的第一行代码： from google.cloud import bigqueryhn_dataset_ref = client.dataset('hacker_news', project='bigquery-public-data') hn_dset = client.get_dataset(hn_dataset_ref) 我的问题是，为

浏览 16提问于2020-07-15得票数 2

1回答

谷歌BigQuery火花连接器:如何在追加时忽略未知值

scala、google-bigquery、google-hadoop

我们使用将存储在BigQuery文件中的数据导入到BigQuery中。使用自定义工具，我们生成了BigQuery所需的模式文件，并在我们的导入代码(Scala)中引用该文件。但是，我们的数据并不真正遵循固定的和定义良好的模式，在某些情况下，可能会向单个数据集添加额外的列。这就是为什么在使用命令行工具bq试验<e

浏览 25提问于2017-03-15得票数 0

回答已采纳

2回答

从Google BigQuery中提取数据的刷新需要花费很长时间。

google-bigquery、tableau-api

我们对BigQuery <-> Tableau服务器与live 的结合感到非常满意。但是，我们现在希望在Tableau上使用数据提取程序(500 to )(因为这个数据源不太大，而且使用非常频繁)。这类似于将BigQuery表缓慢导出到单个文件，这可以通过使用“雏菊链”选项()来解决。不幸的是，我们不能使用类似的逻辑与Google BigQuery数据提取刷新在Tableau.我们已经确定了一些办法，但对

浏览 5提问于2016-01-04得票数 4

11回答

用于中型数据的替代BigQuery

mysql、sql、google-bigquery、amazon-redshift

让我们假设我有一个数据集，大约是100万行。在我们使用的当前数据库(mysql)中，聚合查询运行得非常慢，可能需要10s左右的复杂聚合。在BigQuery上，如果我们需要在1s或以下返回查询，所需的初始化时间可能会使这个查询花费3秒左右，比mysql要好，但是如果我们需要在1s或以下返回查询，则是错误的作业工具。那么，我的问题是，在中等大小的数据集</em

浏览 10提问于2017-03-10得票数 24

回答已采纳

1回答

消防基地分析出口缺失期及其他问题

firebase、google-cloud-platform、google-bigquery、firebase-analytics

如果您能帮助我处理Firebase导出到BigQuery的以下问题，我将对此表示感谢。数据导出在2019年12月29日之前一直运行正常，之后由于存储限制而停止，不幸的是，技术团队没有采取行动。最近，我们升级到了2020年7月5日的Blaze计划，数据输出也恢复了，但bigquery数据集从2019年12月29日到2020年7月4日还存在差距，如果数据还在Firebase，那么为什么不转移到bigquery<em

浏览 4提问于2020-07-15得票数 0

3回答

如何在特定的BigQuery数据集中设置运行查询和创建表的权限？

google-bigquery

我试图限制用户在BigQuery中只能看到特定的数据集。我希望用户只能运行查询和创建表。因此，我共享了dataset权限，并为他们提供了角色BigQuery Data Viewer (查看数据)和BigQuery User (运行查询和创建表)。但每当我运行查询时，我都会得到以下错误：访问被拒绝:项目xxx:用户在项目xxx中没有bigquery.jobs.create权限。我检查了和BigQuery用户角色是否应

浏览 2提问于2020-03-02得票数 0

2回答

气流:如何在数据中选择bigquery表数据

python、pandas、airflow

我创建了下面的第一个守护程序，从google大查询表中选择数据&将其保存到pd数据中。需要以下建议 import pandas as pd from airflow.contrib.operators import bigquery_operatorfrom #this will

浏览 4提问于2021-03-02得票数 0

1回答

一个项目中允许的数据集的最大数量

sql、google-bigquery

在一个BigQuery项目中，我可以创建的数据集的数量有限制吗？我在文档中的任何地方都没有找到这个限制。dataset_20121102 - table2dataset_201XXXXX - table2 另外

浏览 1提问于2012-11-03得票数 3

回答已采纳

1回答

为什么我在运行第二段代码时出错？

sql、google-bigquery、bigquery-public-datasets

我正在使用Google查询来自公共数据集new_york_citibike的数据。我想让num_bikes和自行车的平均数量在一个station_id可用。)第二个查询是：FROM bigq

浏览 1提问于2021-12-03得票数 0

1回答

BigQuery视图可以引用来自不同数据集/项目的其他表和视图吗？

google-bigquery

根据：“而且，视图只能引用具有相同数据集位置的其他表和视图。但实际上，我可以创建这样的视图(例如，查询)：FROM [fh-bigquery:reddit_comments.2008] as aas b ON a.author=b.tracks.data.artist.name 然后像普通表一样在查询中引用

浏览 1提问于2016-03-07得票数 4

回答已采纳

1回答

使用BIgQuery作为网站思想的数据库后端

sql、database-design、google-bigquery

各位议员， <

浏览 5提问于2022-01-22得票数 -2

回答已采纳

1回答

Bigquery -创建计划查询时出错:当目标数据集位于JURISDICTION_EU中时，无法在JURISDICTION_EU中创建传输

google-bigquery

BigQuery已开始抛出此错误有没有人有类似的问题，并能够解决它？

浏览 6提问于2020-11-30得票数 5

2回答

引用特定的表

sql、google-bigquery

我目前正在学习bigquery，在对他们的一些公共数据集进行培训时遇到了一个问题。SELECT * FROM [bigquery-public-data:github_repos.languages] CROSS JOIN UNNEST(language) 无法解析表名“语言”：缺少数据集名称。如何准确地引用BigQuery中的特定表？

浏览 2提问于2018-07-08得票数 0

回答已采纳

2回答

在bigquery中设置search_path的等价语句是什么？

google-bigquery

在Redshift中，我们使用将search_path设置为schema_name；在SQL Server中，我们使用语句use Schema_name；有没有人可以告诉我如何在bigquery中做同样的事情我在文档中找不到太多东西。

浏览 0提问于2019-06-19得票数 1

2回答

BigQuery授予对特定数据集的访问

google-cloud-platform、google-bigquery、google-iam、google-cloud-iam

我有一个用户，该用户目前不是我的GCP项目的成员，我是该项目的所有者。我想授予他们对特定数据集的读、写和删除权限。我知道我可以通过"BigQuery用户“角色将它们添加到项目中，但这给了它们对所有数据集的权限。如何将它们添加到项目中，但只授予它们对特定数据集的权限？

浏览 10提问于2020-05-19得票数 3

1回答

BigQuery中是否有一种方法可以保存区域中多个区域的查询？

google-bigquery

我们有一个位于多区域"EU“的BigQuery表和另一个位于”欧洲-西部3“区域的表。我们的目标是将欧盟表中的常规查询结果(每小时一次)附加到欧洲-西部3表。在UI中的初始测试失败了"Dataset :<target_dataset>在EU位置中找不到“--我们非常感谢您的帮助！

浏览 0提问于2020-07-29得票数 0

回答已采纳

1回答

从java更新bigquery数据集访问

google-bigquery

我们有一个需求，需要在bigquery数据集中提供对特定用户组的访问，该数据集包含由java代码创建的视图。我发现datasets.patch方法可以帮助我做到这一点，但无法找到在http请求中需要传递哪些内容的文档。

浏览 0提问于2018-06-12得票数 0

回答已采纳

2回答

查询bigquery项目中的所有数据集和表？

firebase、google-bigquery、firebase-analytics

我目前正在尝试用我从BigQuery获得的数据创建我自己的分析面板。我可以正确地输入所有数据，并且能够单独查询每个表，或者查询特定数据集中的每个表，但不能查询项目中的每个数据集。简单地说，我想一次查询BigQuery中的每个表。BigQuery中的表是由填充的，并且可能在不通知、添加或删除一个表的情况下进行更改。我知道在查询中JOIN每个表的方法，但是这些值是硬编码的。

浏览 6提问于2017-01-09得票数 2

回答已采纳

1回答

什么是BigQuery中的并发查询？

google-cloud-platform、google-bigquery、google-data-studio

对于Bigquery中小于1Gb的小数据集，我们正面临配额限制。Google云没有给我们提供在后端运行哪些查询的指示，这不允许我们对设置进行优化。我们有一个Bigquery数据集和一个内置在dataset中的仪表板，它正在查询数据集。我以前使用过像Oracle这样的关系数据库，它们有很好的工具来诊断问题。但是

浏览 1提问于2018-05-31得票数 0

2回答

BigQuery的集合数据定位

firebase、google-bigquery、firebase-analytics

我们有一个Firebase设置，配置了Analytics并导出到BigQuery。我们的Firebase项目将默认的GCP资源位置设置为eur3 (欧洲-西部)。在设置Firebase和BigQuery之间的集成过程中，我们

浏览 0提问于2020-08-24得票数 6

回答已采纳

点击加载更多