无法将数据加载到BigQuery US数据集中，但可以加载到东亚数据集中

文章/答案/技术大牛

发布

1回答

google-cloud-platform、google-bigquery、dataset

所以问题是，我无法将数据加载到位于美国位置的数据集'dw‘中的GCP BigQuery。然而，我能够加载东亚位置的数据。我正在尝试使用NiFi摄取工具将数据加载到数据集'dw‘(美国位置)中的分区表中，但没有出现错误，也没有加载任何数据。我甚至尝试过从BigQuery编辑器手动插入，不幸的是没有错误，也没有数据</em

浏览 5提问于2021-02-05得票数 0

2回答

谷歌BigQuery，无法将数据加载到共享数据集中

google-bigquery

我在Google BigQuery上创建了一个项目，并启用了计费。但是，我的队友无法将数据加载到与他们共享的各个数据集中。我可以将数据加载到数据集中，但不能加载到我的团队。提前感谢

浏览 1提问于2014-01-09得票数 2

2回答

数据处理- BigQuery对数据Proc+BigQuery

google-bigquery

我们在BigQuery表中有大量的原始数据(100亿到4000亿)。我们需要处理这些数据，以转换和创建星型模式表的形式(bigquery中可能是不同的数据集)，然后可以通过atscale访问这些数据。需要以下两种选择之间的利弊： 1.在BigQuery中写入复杂的SQL，读取数据源数据集，然后加载到目标数据集(由Atscale使用)。2.将PySpark或MapReduce与来自D

浏览 10提问于2020-01-14得票数 0

2回答

BigQuery无法从DataPrep导入数据

google-bigquery、google-cloud-dataprep

我在BigQuery中创建了一个表，它的类型为date，分区方式为Date。DataPrep也具有相同数据类型的相同列。当我试图将数据从dataprep加载到bigquery表时，我得到了类似于“数据集中的列数据类型必须与目标列数据类型匹配”的错误。截图也附在附件中，请仔细查看并给我一个解决方案。

浏览 2提问于2018-09-17得票数 1

1回答

使用gcloud时的BigQuery定价

google-bigquery、gcloud

我使用bq load...将一个.json文件插入到我的BigQuery数据集中。将数据加载到BigQuery是免费的，但流数据的小额收费除外。通过使用CLI，我不确定数据是如何插入到表中的，但我可以想象它是批量添加的，而不是一次一个。有没有人确切地知道通过GC CLI插入的数据文件是否会被视为流？

浏览 0提问于2019-05-29得票数 0

回答已采纳

1回答

使用excel公式从每个分页符中删除页眉

excel、excel-formula、vba

我正在将一个文本文件加载到Excel 2016。下面是供您参考的示例 =IFERROR(查找(“-” ZSD4R708 PR2 (028)--TE220664 -21.11.2017(18:50:45) 我怎样才能摆脱这10行在整个数据集中</

浏览 0提问于2017-12-05得票数 0

回答已采纳

1回答

使用Python客户端在BigQuery中上载UDF

google-bigquery、user-defined-functions、google-api-python-client

我想在BigQuery中的特定数据集中创建一个UDF。我尝试过使用create_table和来自Python 的其他API方法，但似乎没有一种方法有效。是否有任何方法或方法将UDF (存储在文件中并以字符串形式读取)上载到BigQuery中？

浏览 2提问于2020-10-01得票数 0

回答已采纳

1回答

BigQuery:从GCS加载数据到欧盟数据集

google-bigquery、google-cloud-platform

在过去，我成功地将数据从美国托管的GCS存储桶中的CSV数据加载到美国托管的BigQuery数据集中。此后，我们决定将BigQuery数据移到欧盟，我创建了一个新的数据集，其中选定了该区域。是否将数据从GCS加载到欧盟托管的BigQuery数据集中？jobReference": { "

浏览 5提问于2015-10-21得票数 1

回答已采纳

2回答

缺少的airline_ontime_data和weather_geo (应该在样本下面)在BigQuery中的哪里？

google-bigquery

我刚刚开始学习GCP，可以告诉我如何将特定的公共数据集加载到bigquery中，例如airline_ontime_data、weather_geo等吗？如下所示：更新但是，在我5分钟后回来后，一些数据集出现在bi

浏览 1提问于2020-01-12得票数 1

回答已采纳

1回答

日内表到日表的Bigquery数据传输时长

google-bigquery

我正在使用平均每天50~60 GB数据的firebase分析和bigguery。这个日期间隔是否意味着单个日表至少需要2天才能从intraday表完全加载？提前谢谢。

浏览 0提问于2019-12-30得票数 0

2回答

如何在创建表之前检查我的表是否存在bigquery？

python、google-bigquery

我想做的事情如下： client = bigquery.Client()table_ref = client.table(TABLE)( bigquery.SchemaField(name="log_i

浏览 5提问于2020-09-14得票数 0

4回答

是否可以查询存储的云存储日志数据而不使用BigQuery对其进行清理？

google-cloud-platform、google-bigquery、stackdriver

我有大量日志数据从StackDriver导出到。我正在尝试使用BigQuery运行查询。但是，在BigQuery Dataset中创建表时，我将得到大量日志数据是从包含大量唯一列名的StackDriver接收器中导出的。其中一些名称不符合BigQuery表的要求。注意:

浏览 0提问于2019-09-04得票数 0

回答已采纳

2回答

BigQuery - Firebase Analytics vs Firebase Crashlytics

firebase、google-bigquery、crashlytics、firebase-analytics

如何将火基碰撞事件与火源分析事件与BigQuery联系起来？

浏览 0提问于2019-03-01得票数 3

回答已采纳

1回答

BigQuery US多区域可以查询Cloud central1 1、us-east4 4、us-west2 2等等。BigQuery EU多区域查询Cloud North-1，EuropeanWest2，等等。但是，当我试图在US 4中的Cloud实例上运行一个查询时，它会抛出一个神秘的错误。: projects/project/locations/us-east4/connections/external_conn

浏览 11提问于2020-02-05得票数 2

回答已采纳

1回答

DataFlow工作者BigQuery权限错误

google-cloud-platform、google-cloud-dataflow

从BigQuery (数据流管道运行的同一项目)读取数据。 BigQuery执行失败。，错误:消息:访问被拒绝:项目:用户在项目中没有bigquery.jobs.create权限。HTTP代码: 403尽管如此，-compute@developer.gs

浏览 1提问于2021-08-20得票数 0

1回答

从一个项目中的谷歌云存储备份加载到另一个项目中的BigQuery

google-bigquery

我在Google Cloud中有两个项目，我想使用备份将这两个项目中的实体加载到一个BigQuery数据集中。BigQuery从同一项目中的备份加载，我的问题是我也需要从位于另一个项目中的备份加载。示例显示有作业引用项目(存储中包含备份的项目)和configuration.load.destinationTable.projectId ( BigQuery项目)。它运行了，但看起来没有效果。

浏览 1提问于2016-03-31得票数 1

1回答

保持事件汇总计数的最佳方法Google BigQuery

google-bigquery、time-series、pageviews

我将当前存储在Google Firestore中的页面视图事件数据自动加载到BigQuery数据集中。我使用这些数据来显示总页数和“趋势”页数(过去48小时内的总浏览量)。我需要将总页数和趋势页数(按页面分组)馈送到一个数据库中使用在前端网站。我已经编写了BigQuery SQL来查询总计数，但我担心随着时间的推移，这些查询会变得效率低下。像这样聚合时间序列数据的最有效方法是什么？

浏览 16提问于2020-12-22得票数 0

回答已采纳

2回答

如何使用存储在BigQuery云存储中的模式文件在API作业上设置模式？

google-cloud-platform、google-bigquery、google-cloud-storage

我已经创建了一个python脚本，用于从Google Cloud Storage存储桶中获取JSON文件，并将其加载到数据集中。我在尝试指定与文本文件位于同一存储桶中的模式时遇到问题这就是我的东西schema = schema_uri job_config.schema =

浏览 0提问于2018-07-20得票数 2

3回答

云数据集中的数据转换

google-cloud-data-fusion、cdap

如何在云数据集中转换字符串到日期？我尝试将其作为时间戳保存在

浏览 6提问于2019-12-07得票数 2

回答已采纳

1回答

面向最终用户的BigQuery报告

google-app-engine、google-bigquery

向最终用户提供Bigquery访问的推荐方法是什么？我们希望让我们的用户能够在他们各自的BigQuery项目中运行查询。实现这一目标的最佳途径是什么？可能的备选方案：用户直

浏览 2提问于2013-12-06得票数 2

点击加载更多