谷歌BigQuery:在G存储中改变文件夹结构后，为什么创建GBQ表的速度变慢了？

文章/答案/技术大牛

发布

1回答

python、google-bigquery、google-cloud-storage

在Google Storage中，我有一个类似如下的文件夹结构： | +--file此文件夹结构包含50,000个文件。使用my_bucket在谷歌BigQuery中创建一个新表需要几分钟时间。然后，我想我应该将文件夹结

浏览 10提问于2017-07-21得票数 1

回答已采纳

2回答

为什么我的谷歌应用程序脚本会随着时间的推移而减慢？

javascript、performance、google-apps-script、google-sheets

我构建了一个脚本，详细介绍谷歌页面，并将它们解压缩到一个驱动器文件夹中。为了创建它的脚本，我遵循了。我注意到的是，随着时间的推移，执行速度减慢了，我不明白为什么有时比其他人更快。我尝试使用更小的脚本-->仅1 getValues()，详细说明数组的数组，并且只在代码中进行，最后用1 setValues()将数据绘制成工作表->并且这些

浏览 7提问于2022-11-04得票数 0

1回答

与PostgreSQL相比，配置单元索引重建速度太慢

hadoop、hive

我正在尝试比较我的PostgreSQL数据仓库和新创建的Hive数据仓库上的相同功能，它们位于具有相同数据和相同表结构的相同盒子上。我在试着理解蜂巢福利，但是...尽管数据加载到PostgreSQL的速度慢了3倍- PostgreSQL上的索引创建/重建速度快了20倍，但不需要像在Hive中那样每次都重建索引。我<em

浏览 1提问于2013-03-21得票数 0

1回答

您如何应对Bigquery，特别是当您来自传统的RDMS背景，如Oracle/Mysql？

google-cloud-platform、google-bigquery

我有一个大约200列的表，当我想得到这个表的DDL时，没有现成的选项可用。猫并不总是令人向往的。有些时候，我们没有要用猫创建的引用表，有些时候，我们只是想要一个简单的DDL语句来重新创建一个表。我想编辑bigquery模式的模式。以前的模式现在是可空的，现在它需要..(到目前为止，已加载列使用非空值加载该列)

浏览 3提问于2020-05-18得票数 0

回答已采纳

3回答

在云存储中将查询结果保存在BigQuery表中

google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-vertex-ai、google-cloud-api-gateway

我想知道将谷歌BigQuery表查询的结果存储到Google存储的最佳方法是什么。我的代码目前正在一些木星笔记本中运行(在顶点AI工作台中，与BigQuery数据源以及云存储目的地相同的项目)如下： from google.cloud import bigquery对于代码的第一部分，我已经放弃了，

浏览 19提问于2022-05-03得票数 0

回答已采纳

1回答

从REST读取的Apache束管道在本地运行，但不在数据流上运行。

python、google-cloud-dataflow、apache-beam

我一直试图让我的管道运行一个典型的模板在Dataflow。管道应该读取运行时参数from_date和to_date，并将它们传递给REST。然后，从API返回的答案应该写入bigquery表中。它在Dataflow上运行时没有任何错误，但是我的数据没有出现在gbq表中，gbq表是数据接收器。当我在本地执行它时，它就像一个魅力:没有错误，我可以使

浏览 0提问于2021-01-05得票数 1

回答已采纳

2回答

使用数据流处理来自BigQuery的数据

google-cloud-platform、google-bigquery、cloud、dataflow

我希望从每小时到达的BigQuery中检索数据，并在新的BigQuery表中进行一些处理并提取新的计算变量。事情是，我从来没有与gcp工作过，现在我必须为我的工作。我已经在python中使用我的代码来处理数据，但是它只适用于“静态”数据集

浏览 0提问于2020-06-29得票数 0

回答已采纳

1回答

索引varchars而不重复数据

mysql、database

MYSQL表中，但问题是关键数据( 12G表大小中的10G)存储了两次--一次在表中，一次作为索引。(数据是附加的，只有在表上永远不会有更新查询) 有办法只存储一次密钥数据吗？我

浏览 0提问于2012-09-09得票数 0

回答已采纳

2回答

像LookandChart.io这样的针对SQL的BI解决方案是否使用OLAP？

sql、business-intelligence、olap、looker

据我所知，OLAP在Power中被用来加速与数据的交互。但是我知道像Google BigQuery和RedShift这样的大数据数据库在过去的几年里已经出现了。是以SQL为目标的BI解决方案(如LookandChart.io)使用OLAP还是依赖于数据库的速度？

浏览 7提问于2016-05-02得票数 0

回答已采纳

1回答

MySQL 5.6:我正在尝试以不同的方式将数据从一个表复制到另一个表。源表位于远程服务器上，大约有50万行--我使用联邦引擎进行连接。TIMESTAMP value in column 'created_timestamp' at row 265976 |64 rows in set (0.00 sec) 相反，我尝试使用存储过程、打开游标、获取行并插入它们，但这需要花费很长时间；10分钟后我就取消了。那么，是否有一种方法来定位导致问题的

浏览 0提问于2020-06-22得票数 1

回答已采纳

2回答

AWS雅典娜的分区数据在S3中产生了许多小文件

database、amazon-s3、filesystems、partition、amazon-athena

我有一个大型数据集(>40G)，我想将其存储在S3中，然后使用雅典娜进行查询。按照的建议，我可以将数据存储在以下层次目录结构中，以便使用MSCK REPAIR自动添加分区，同时从dataset创建表。yourBucket/pathToTable/<PARTITION_COLUMN_NAME>=<VALUE>/<PARTITION_CO

浏览 1提问于2018-02-09得票数 7

回答已采纳

8回答

BigQuery -将查询结果导出到本地文件/Google存储

google-bigquery、google-cloud-storage

我想将查询结果从BigQuery导出到本地文件/Google存储。我不想提取整个表，因为表中包含许多不需要的列，我需要聚合数据。到目前为止，我能找到的唯一解决办法是使用'bq query‘命令创建一个表，然后使用'bq

浏览 3提问于2018-05-24得票数 15

2回答

如何在尖叫中扩展蠕变类

javascript、screeps

我很难想出如何扩展蠕变类，以便在新的javascript mmo游戏Screeps -> www.screeps.com中添加我自己的函数。谢谢

浏览 0提问于2014-11-22得票数 5

回答已采纳

1回答

如何提高从另一个表中按日期时间字段排序的速度？

sql、sql-server、tsql、sql-server-2012、sql-server-2016

表的基本结构如下：101 | 5005| Toothbrush | 1.505005

浏览 2提问于2017-11-16得票数 1

2回答

如何在新窗体上显示与对象关联的对象的输入？

ruby-on-rails、ruby-on-rails-3

中的列：我现在想做的是创建一个普通考试，当然可以针对每个主题指定一些问题例如，我有一门名为“数据库”()的课程，有三个主题: A、B、C。现在我想为“数据库”课程创建通用考试。我想在创建普通考试时具体说明： 7议题C的问题

浏览 3提问于2012-11-18得票数 0

回答已采纳

6回答

如何从我的Google开发人员控制台识别Google Cloud Storage URI？

google-cloud-platform、google-bigquery、google-cloud-storage

当我尝试从Google Cloud Storage将数据加载到BigQuery中时，它要求提供Google Cloud Storage URI (gs://)。我已经审查了您所有的在线支持以及stackoverflow，但无法找到通过基于浏览器的Google开发人员控制台识别我上传的数据的URL的方法。我看到的找到URL的唯一方法是通过gsutil，但我无法让gsutil在我的机器上工作。有没有

浏览 0提问于2014-08-19得票数 59

3回答

戴尔:没有Windows分区，40 GB还是80 GB？

windows、dell

是否有理由在一个新的戴尔服务器上创建一个Windows分区(它在配置器中--无、40或80 GB)，如果是的话，我应该选择什么大小？我会让Windows 2008 R2标准.不多了。

浏览 0提问于2010-12-09得票数 1

回答已采纳

1回答

我如何使用熊猫/dask规范12k csv文件(50 in )中的列，以便于内存的方式在google桶中使用？

python、python-3.x、pandas、dataframe、dask

我有大约12,000个csv文件(50 in )存储在一个几乎类似的列结构的谷歌桶中。然而，也有一些不同之处。值得注意的是：file 从所有文件中收集大量的列标题列表()，使用该广泛的列标题列表来规范所有文件，因此它们有匹配的模式，删除标题行之前的任何行，将任何缺失的列添加到每

浏览 5提问于2021-05-15得票数 1

2回答

如何使用Mediawiki设置Git？

mysql、git、mediawiki

我最近制作了我自己的个人MediaWiki，我希望它可以在不同的计算机上使用。我用XAMPP设置了它，所以目前我所做的是创建两个存储库：然后，我将这些存储库克隆到另一台计算机上的相同文件夹中但是，当我访问该计算机上的localhost

浏览 10提问于2017-01-05得票数 1

回答已采纳

2回答

使用标量UDF、SQL、sybase iq的性能问题

sql、insert、sybase、udf、sap-iq

在查询中使用Scalar用户定义函数(UDF)存在性能问题。SELECT *,fn_get(i) FROM #temp1;SELECT *,fn_get(i) INTO #temp2 FROM #temp1; 是将相同的10,000个结果插入表#tem2中，所用时间为>4分钟

浏览 4提问于2015-12-31得票数 1

回答已采纳

点击加载更多