使用用户定义的函数在BigQuery数据集中插入海量数据时，如何优化性能

文章/答案/技术大牛

发布

1回答

arrays、for-loop、google-bigquery

我只是在寻找一种方法来添加大量的数据到BigQuery表最近使用自定义函数。上运行这个查询时，它运行了5分钟，然后遇到一个只有50个值的UDF超时。当我将循环放在tester.js中时，同样的错误也发生了。看起来这个循环在BigQuery上运行得不好或者不快。当运行用户定义的函数向其

浏览 24提问于2019-04-09得票数 0

回答已采纳

1回答

谷歌大数据CloudSQL或BigQuery每秒钟积极更新一次

google-bigquery、google-cloud-sql、bigdata

因此，现在我正在使用谷歌CloudSQL满足我的需要。因为我的表每天都变大，所以很难管理表

浏览 0提问于2016-10-27得票数 2

回答已采纳

1回答

BigQuery，连接来自不同数据集的表

google-bigquery

我们希望将数据与处理前后的表中的数据分开。考虑:脚本将在其查询中连接两个数据集中</em

浏览 3提问于2021-03-26得票数 1

回答已采纳

7回答

谷歌BigQuery删除行？

google-bigquery、sql-delete、delete-row

有没有人知道有计划在Google Bigquery中添加对从表中删除部分数据的支持？我们现在的问题是，我们正在使用它来分析我们随着时间的推移收集的数据点。我们希望对过去X天的数据运行查询，但是在过去X天的数据之后，我们不再需要将数据存储在BigQuery中。目前我们能想到的删除数据的

浏览 8提问于2012-05-15得票数 29

回答已采纳

2回答

每个用户或实例的Google聚合计费

google-cloud-platform、google-compute-engine

我有许多用户和实例运行在google云上，我想知道是否有任何视图可以让我查看与每个实例或用户相关的每月账单？

浏览 0提问于2018-08-03得票数 2

1回答

İ是否可以使用Google数据融合创建数据管道，使用多个数据库表更新或更新？

cloud、etl、google-cloud-data-fusion、data-pipeline

在使用多个数据库表、插件并将数据加载到bigquery之后，我希望对一个数据管道中的每个表进行增量加载。我想知道是否可以在多个数据库表插件上使用UPSERT。我怎样才能克服任何建议？

浏览 4提问于2022-06-20得票数 0

回答已采纳

1回答

使用Java和BigQuery的全局搜索功能

java、angular、google-bigquery、spring-cloud-gcp-bigquery

我的应用程序有一个搜索文本框，用户输入应该提供建议(预测搜索)，当用户选择其中一个建议时，我必须从BigQuery中的多个表中提取数据。很少有关于实施这一点的问题。没有预装建议的方法，我必须根据每次击键启动API调用，就像Google一样，这会影响性能，但是我必须在后端添加一些技术，比如搜索索引。现在，我正在使用通配符搜索所有表拉，但不太确定当数据大小比现在大10倍时</

浏览 17提问于2022-12-03得票数 0

回答已采纳

1回答

如何优化Bigquery导出数据流插入中的查询分析和存储成本，这些数据流插入在一天中以不同的间隔发生？

database、google-cloud-platform、google-bigquery

我正在探索优化查询分析和在BigQuery表中存储数据的成本的选项。如果我们能够重用对较大数据进行的查询，与从上一次查询结果中重用/提取数据相比，只会节省再次运行整个查询的成本。局限性即使存在可构建的编程解决方案，也要尝试验证数

浏览 7提问于2020-02-03得票数 0

2回答

BigQuery函数在情况优化中的应用

sql、google-bigquery

一个关于BigQuery引擎和案例优化的问题。= 'MIKE' THEN 2 ELSE 4 END AS score table 是否使用函数上的每一个什么时候将花费计算能力的每个或者BigQuery引擎知道如何优化它？

浏览 3提问于2022-07-04得票数 0

回答已采纳

1回答

插入特定BigQuery数据集的IAM自定义角色

google-cloud-platform、google-bigquery、google-cloud-iam

我有几个客户项目，它们将分析事件写入BigQuery数据集。该设置的组织方式如下：bigquery.datasets.getbigqu

浏览 1提问于2019-01-02得票数 3

回答已采纳

1回答

在大查询驱动的Google连接的工作表列之间插入手动列的可能性

sql、google-bigquery

我试图通过连接的工作表在大查询生成的提取列之间插入一个手动列。基本上，我已经有一个Google连接表，它通过SQL从大型查询中提取出来。但是，每当我试图在查询生成的列之间插入手动列时，它就会自动将手动列移到右侧的末尾或左侧的末尾。我不想要这个。我希望能够在Google表中生成的大型查询列之间插入一个手动列。难道不可能这样做吗？或者还有其他的方法

浏览 6提问于2022-08-26得票数 1

2回答

在mysql中存储按行排序的数据？

mysql、sql

我能让mysql以一种数据库保持预定义顺序的方式插入数据吗？假设我列了一张高分名单。在选择内容时，我总是可以使用ORDER，但是当用户浏览高分列表时，1,000,000+数据集中的所有排序都需要很高的性能。我现在的想法是，我想以一种方式插入数据，表格总是按分数顺序排列，所以

浏览 4提问于2013-07-30得票数 0

回答已采纳

3回答

Neo4J性能基准

neo4j、kundera

我已经创建了一个基于Neo4J的高级客户端()的基本实现，并希望将其性能与原生neo4j驱动程序(可能也包括SpringData )进行比较。这样，我就能够确定我的库在本机驱动程序上的开销。我计划为Neo4J创建一个YCSB的扩展。我的问题是:应该将什么作为写入neo4j的对象的基本单元(应该是由边连接的单个节点还是几个节点)。Neo4J世界目前的实践是什么？人们是如何<

浏览 1提问于2013-03-01得票数 5

2回答

BigQuery是否适合频繁更新部分数据？

postgresql、google-bigquery、google-cloud-sql

(PostgreSQL)来存储我的大部分关系数据。我想知道我是否应该在这个用例中使用BigQuery，因为我预计会有大量的这类事件，而且我可能会有对这些数据进行分析的未来计划。我也想知道如何对这些事件进行建模。我可以创建一个反规范化的表，在发生事件时只进行部分更新(就更新性能而言，BigQuery做得如何？)，然后在完成<em

浏览 0提问于2020-07-09得票数 0

3回答

使用DLP从BigQuery中取消识别的数据

google-bigquery、google-cloud-dlp

我想去识别我的个人数据，已经在BiqQuery与谷歌DLP，并将结果存储在另一个表中的BigQuery。这有可能吗？那该怎么做呢？

浏览 4提问于2020-08-13得票数 1

1回答

当在摄入时进行分区时，延迟查询Bigquery中的数据的原因是什么？

google-bigquery

我使用bigquery对来自insert应用程序的insert数据进行批处理。各表在摄食时间为partitioned。我看到的不同之处是，我插入的数据在摄入后1.5小时后会出现在query中。这一次，我可以在摄入后立即query数据。为什么_PARTITIONTIME伪列与表schema中的timestamp列在行为上存在差异？用于摄入

浏览 1提问于2020-03-29得票数 2

回答已采纳

1回答

具有二进制数据的PubSub主题到BigQuery

google-bigquery、google-cloud-pubsub、google-cloud-run

我希望有数以千计的传感器以10 via的速度发送遥测数据，每帧大约有1KB的二进制数据，使用IOT，这意味着我将通过PubSub获得数据。我想将这些数据发送到BigQuery，并且不需要进行处理。由于Dataflow没有能够处理二进制数据的模板，使用它似乎有点麻烦，所以我想尽量避免它，使它变得完全没有服务器。问题是，我最好的选择是什么？我考虑过云运行服务，运行一

浏览 7提问于2021-10-22得票数 1

回答已采纳

1回答

您如何应对Bigquery，特别是当您来自传统的RDMS背景，如Oracle/Mysql？

google-cloud-platform、google-bigquery

我有一个大约200列的表，当我想得到这个表的DDL时，没有现成的选项可用。猫并不总是令人向往的。有些时候，我们没有要用猫创建的引用表，有些时候，我们只是想要一个简单的DDL语句来重新创建一个表。我想编辑bigquery模式的模式。以前的模式现在是可空的，现在它需要..(到目前为止，已加载列使用非空值加载该列) 看看所有这些场景和Google文档提供的冗长解决方案，

浏览 3提问于2020-05-18得票数 0

回答已采纳

1回答

优化将数据从BigQuery传输到MongoDB的气流任务

python、pandas、mongodb、airflow

我需要改进气流任务的性能，该任务将数据从BigQuery传输到MongoDB。我的DAG中的相关任务使用PythonOperator，只需调用以下python函数来传输单个表/集合： start_time我试图在一个大小为60 to的表上使用这个函数，下面是任务的各个部分<

浏览 2提问于2020-05-29得票数 0

6回答

varchar是否会因为数据碎片而影响性能？

sql、database-design、database

数据库引擎如何在内部处理varchar列？对于定义为char(100)的列，DBMS在磁盘上分配100个连续字节。那么，当用户将包含空varchar(100)列的数据库行更新为由80个字符组成的值时，这80个字符的空间从哪里分配？似乎varchar列必须导致实际数据库行的大量碎片，至少在列值最初插入为空或NULL，然后用实际值

浏览 0提问于2009-10-27得票数 10

回答已采纳

点击加载更多