如何修复导致BigQuery数据加载配额超出错误数据集或表

文章/答案/技术大牛

发布

1回答

google-bigquery、quota

从2021年3月1日开始，当我将数据加载到Google BigQuery时，我总是会遇到如下错误： "reason": "quotaExceeded", information, see https://cloud.google.com/bigquery/troubleshooting-errors",

浏览 117提问于2021-03-22得票数 0

回答已采纳

3回答

Cloudflare提供的Google Cloud Function中出现配额超出错误

google-bigquery

我们使用Cloudflare提供的Google Cloud函数将数据从Google Cloud Storage导入到Google BigQuery (请参阅：https://developers.cloudflare.com云函数遇到一个错误：“超出配额:您的表超出了每个表的导入或查询追加的配额” 我查询了INFORMATION_SCHEMA.JOBS_BY_PROJECT表，发

浏览 55提问于2021-03-18得票数 1

1回答

BigQuery -最大数据集大小

google-bigquery

BigQuery的数据集有最大大小(GB的插入数据)吗？我需要知道我可以上传多少数据到一个用于学术研究的数据集。谢谢

浏览 0提问于2013-06-11得票数 2

回答已采纳

1回答

谷歌BigQuery ExtractBytesPerDay的使用配额超过了- ExtractBytesPerDay是什么？

google-cloud-platform、google-bigquery、quota

我正在BigQuery中运行一系列查询，这些查询从表中获取数据，丰富/转换数据，并加载到同一个项目中的其他表中。as (from A)我通过Python调用此查询，并在查询作业配置中指定目标表。上面提到的Table_A有大约2TB的数据一天，而我正在循环这个操作10天。在仅处理了1天的数据后，Big

浏览 2提问于2020-02-28得票数 1

2回答

可以在bigquery表上创建的最大分区数

google-bigquery

当数据从未分区的表移动到分区表时，Im会出现以下错误。查询执行过程中超出的资源:作业完成时，表mydataset.mytable$20101213将有2501个分区，超过2500个.}]此外，在他们的BigQuery“配额和限制”页面中没有提到这个限制。

浏览 4提问于2017-12-15得票数 1

回答已采纳

1回答

将CSV上传到桶中时丢失数据

function、csv、google-cloud-platform、bucket

把它放在上下文中，我有一个存储CSV文件的桶，还有一个函数，当您将新的CSV加载到存储桶中时，它可以将数据放入数据库。我试图同时上传100个CSV，总共有581.100条记录(70 MB)，所有这些文件都出现在我的桶中，并创建了一个新表。但是，当我做一个“选择计数”时，我只找到了267306条记录(占总数的46%)--我试图再做一次，不同的桶、函数和表，我尝试上传另外100个文件，这一次是4.779.100条记录(312 MB) --当我在大查询中检查表时所以我的问题是，有什么方法可以在不丢失数据

浏览 9提问于2022-09-08得票数 2

1回答

查询表附加的BigQuery配额限制是否适用？

c#、google-bigquery

在我的C#应用程序中，我使用定期添加到分区表table1。目前，这种情况每天只发生在50-100人之间。说，“每个表每天更新1,000个”，但是文档也明确列出了哪些操作受到配额的影响。假设有一个明确的列表，也必须有一个“其他一切”的清单，其中不适用配额。例如，“经典UI”在配额之下，这意味着“新UI”不是。类似地，该页面声明 API受配额的影响，但是由于我使用的是官方的C#驱动程序，所以我不知道这是否适用于我的场景。显然，我可以写一个脚本，试着在24小时内完成附加操作1001次，看看我是

浏览 4提问于2019-10-02得票数 2

回答已采纳

1回答

BigQuery外部数据源查询配额

google-bigquery、google-cloud-bigtable

我使用云BigQuery外部数据源设置了一个BigTable表。这很好，并且我能够运行将我的BigTable数据加入到其他一些BigQuery数据的查询。但是，当我对这个表同时运行太多查询时，我会得到以下错误：我无法在链接页面或BigQuery<em

浏览 0提问于2018-03-14得票数 0

回答已采纳

2回答

如何解决BigQuery存储API429配额错误

google-cloud-platform、google-bigquery

正在从BigQuery存储应用编程接口下载数据，并定期收到超过配额的429个错误(错误如下) File "/usr/local/lib/python3.8/site-packages/google/api_coreexceptions.from_grpc_error(exc)，exc中) File ""，第3行，在raise_from google.api_core.exceptions.ResourceE

浏览 19提问于2020-07-17得票数 1

2回答

大数据集下数据流BigQuery插入作业立即失败

python、google-bigquery、google-cloud-dataflow、apache-beam

这条管道大致做了以下工作：一般来说，代码执行它应该做的事情。但是，当从API收集大型数据集(大约500.000 JSON文件)时，bigquery作业在启动后(=1秒内)停止，但在使用DataflowRunner时没有特定的错误消息(它正在使用在我的计算机上执行的如果您正在为Python使

浏览 0提问于2019-04-22得票数 1

1回答

BigQuery最大分区在2000年超过2500个分区

google-bigquery

根据，分区表可以有2500个分区： $ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioneduse_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips\`" 查询字符串中的错误:错误处理作业&

浏览 0提问于2018-03-28得票数 3

回答已采纳

1回答

大型查询表中实体的加载顺序

google-bigquery、jobs

我有一些样本数据，我已经加载到谷歌BigQueries。我一直在以ndjson格式导入数据。如果我将数据全部加载在一个文件中，则会在表的预览选项卡中看到它们以不同的顺序显示，而不是每次按顺序导入ndjson行。但是，当将它们全部加载到一个文件中时，它们以不同于在我的数据文件中存在的顺序出现。那么，为什么数据条目在批量加载时以不同的顺序显示呢？如何将数据条目排队等待加载</

浏览 0提问于2018-04-17得票数 1

回答已采纳

1回答

具有二进制数据的PubSub主题到BigQuery

google-bigquery、google-cloud-pubsub、google-cloud-run

我希望有数以千计的传感器以10 via的速度发送遥测数据，每帧大约有1KB的二进制数据，使用IOT，这意味着我将通过PubSub获得数据。我想将这些数据发送到BigQuery，并且不需要进行处理。由于Dataflow没有能够处理二进制数据的模板，使用它似乎有点麻烦，所以我想尽量避免它，使它变得完全没有服务器。问题是，我最好的选择是什么？我考虑过云运行服务，运行一个快速应用程序来接受来自PubSub的数据，并使用全局变量在ram中累积大约500行，然后使用Big

浏览 7提问于2021-10-22得票数 1

回答已采纳

1回答

超过每秒tabledata.list字节的配额

google-cloud-platform、google-bigquery

我正在对BigQuery数据集中的表触发一组查询。/0.3M records and 15 GB data我们正在使用火花连接器查询上述表。无论我们间歇性地看到一个错误： “域”："usageLimits“ 消息：“消息”：“超出速率限制:您的项目:超过每个项目每秒tabledata.list字节的<

浏览 0提问于2019-04-04得票数 2

2回答

BQ:如何检查每次查询成本

google-bigquery

是否可以在BQ GUI中每次运行查询时都显示提示或消息弹出窗口?我担心花费查询成本太高。我希望BQMate有这个功能。

浏览 2提问于2018-07-31得票数 0

1回答

通过windows服务在BigQuery表中插入记录

.net、sql-server、c#-4.0、windows-services、google-bigquery

出于测试目的，我能够从BigQuery表中获取数据，以检查我的BigQuery服务和Windows之间的通信。但是这个服务基本上是从MSSQL server中获取记录，然后一个接一个地向BigQuery中的目标表插入或追加一条记录。我不想使用CSV或JSON文件作为数据源。有没有办法做到这一点？

浏览 0提问于2012-10-30得票数 0

回答已采纳

1回答

如何处理大查询错误403:配额超过？

google-bigquery、mqtt、monitoring、iot、sensors

我们有一个python脚本，它订阅通过MQTT由IoT设备发布的数据，并每分钟将这些数据附加到一个大型查询表中。因此，我们每天都会将1440个作业附加到GCP设置的略低于1500日限制的大型查询表中。有没有人有实时监控传感器和在云中存储数据的经验？你用的是什么工具？谢谢

浏览 2提问于2021-12-21得票数 0

回答已采纳

1回答

将BQ数据加载到power BI

google-bigquery、powerbi

将BQ数据推送到power BI时抛出错误 Processing error: ODBC: ERROR [HY000] [Microsoft][BigQuery] (100) Error interactingFor more information, see https://cloud.google.com/bigquery/troubleshooting-errorsRequest ID:

浏览 16提问于2021-08-10得票数 0

1回答

连接Tranco Google BigQuery和元数据库

google-bigquery、metabase

我试图连接第三方排名管理系统()与元数据库。Tranco给了我们一个在Google BigQuery上查看记录的选项，但是当我试图将Tranco和Metabase连接起来时，它是在请求我的Google云控制台项目中的数据集。因为Tranco是一个外部数据库源，因此我无法从这里访问dataset Id。如果您想在Google BigQuery中获得tranco的结果，那么运行下面的查询。是否有人知道，如何将第三方数据集添加到我们的Go

浏览 14提问于2022-05-02得票数 1

1回答

将多个BigQuery表导出到一个

python、google-bigquery

我们正在启动bigquery查询，这些查询从许多表中提取数据并写入单个表。不幸的是，我们周期性地遇到错误：如果是这样的话，我们很难判断有多少作业可以并行执行，因为每个select查询

浏览 2提问于2017-07-25得票数 1

点击加载更多