无法从Google Big Query中提取单个.csv文件中的数据(尽管数据小于1 1GB)

文章/答案/技术大牛

发布

2回答

google-bigquery、export-to-csv

我可以将数据导出为4个不同的文件，每个文件大小约为90MB。(这没有任何意义) 我读过Google Big Query的限制，它说大小超过1 GB的数据不能在单个CSV文件中下载。我的数据大小大约是250 -300MB。这是我从GBQ中导出数据的通常做法：

浏览 102提问于2019-02-23得票数 0

回答已采纳

1回答

将数据从BigQuery导出到GCS -拆分文件大小控制

google-bigquery、google-cloud-storage

我目前正在将数据从Bigquery导出到GCS存储桶。#, 'destinationUris': [DESTINATION_PATH + my-files +'-*.gz'], 'destinationFormat': 'CSV由于有一个限制，即每个文件只能导出1 1GB到GCS，所以我使用了单个通配符URI ()。这会将文件拆分为多个较小的<

浏览 3提问于2015-02-05得票数 3

1回答

如何处理Google云存储中的应用程序/八位字节文件？

google-bigquery、google-cloud-storage

我已经提取了大量的Google Big Query数据到Google Cloud存储中。这些文件被传输到文件格式application/octet中。我不知道如何处理此文件类型。如何将其转换为更熟悉的内容，最好是csv？

浏览 0提问于2017-10-02得票数 3

2回答

通过SQL将BigQuery导出到CSV文件

google-cloud-platform、google-bigquery、google-cloud-storage

我想创建一个CSV文件，其中包含查询的结果。此CSV文件将位于中。(这个查询大约是15 it )，我需要它是一个文件。有可能吗?如果有，怎么做？pickup_latitude, dropoff_latitude, 1,

浏览 0提问于2019-05-15得票数 1

回答已采纳

1回答

Bigquery导出文件大小为8GB的GCS中的表，甚至使用单个通配符URI在小于1GB的块文件中导出表。

google-bigquery、export、google-cloud-storage、gsutil

我尝试手动并使用命令行将拥有140 1GB数据的大型查询表导出到GCS中小于1GB的文件中。导出后，它总共创建了168个文件。从1到167的所有文件都小于1GB，但在使用命令行或使用大型查询接口导出时，最后一个文件在这两种情况下都是8GB左右。我遵循将表导出到多个

浏览 0提问于2019-12-15得票数 0

回答已采纳

2回答

如何将公共数据集导入谷歌云桶

google-bigquery、export、google-cloud-storage、bucket

我将处理一个数据集，其中包含有关美国311个呼叫的信息。此数据集可在BigQuery中公开使用。我想把这个直接复制到我的桶里。然而，我对如何做到这一点一无所知，因为我是一个新手。下面是Google上数据集的公共位置的屏幕截图：我已经在中创建了一个名为311_nyc的桶。我如何直接传输数据而不必下载12 gb文件并通过我的VM实例再次上

浏览 2提问于2019-12-18得票数 0

回答已采纳

1回答

自动将数据从Big* Query导入Google Sheets？*

google-sheets、google-bigquery

我在Big Query中有一个表，它是经过一些处理后来自Data Prep的。现在我需要把这些数据放到google sheets上。我目前正在使用"OWOX BI Big Query Reports“connector.It将数据从Big Query导入到Google Sheets，直到我必须再次刷新它。我导入数据后在Google Sh

浏览 21提问于2018-12-18得票数 0

3回答

将NDB数据存储记录导出到云存储CSV文件

google-app-engine、csv、mapreduce、google-cloud-storage、app-engine-ndb

在我的NDB数据存储中，我有200多万张记录。我想将这些按created_at日期分组的记录导出到Google上的CSV文件中。我计算出每个文件的容量大约是1GB。2014-03-18.csv, ~17000 records, ~1GB

浏览 1提问于2014-03-19得票数 3

回答已采纳

3回答

将大查询导出到Google云存储

google-bigquery、google-cloud-storage

我喜欢将大查询导出到Google云存储。除了导出查询之外，还有任何其他选项可以这样做。我的数据大约是2GB，在导出查询中，它在不同的文件中分割，数据作为数据很大。所以我只能在一个文件中导出。所以请帮我同样的忙。

浏览 9提问于2022-05-19得票数 0

1回答

从bigquery导入到google* sheets限制为10k行*

google-bigquery

我正在尝试从google bigquery导入一个表格到google sheets。数据>数据连接器>大查询，但当我导入它时，它显示限制为10,000行。有没有办法超过这一限制？

浏览 1提问于2020-07-06得票数 0

6回答

将数据从MySQL迁移到BigQuery的最佳做法

mysql、csv、google-bigquery

我尝试了几种csv格式(不同的转义字符、引号和其他设置)从MySQL导出数据并将其导入BigQuery，但我无法找到在所有情况下都有效的解决方案。SELECT * INTO OUTFILE 'filename.csv' CHARACTER SET 'utf8' FIELDSTERMINATE

浏览 1提问于2017-01-21得票数 16

1回答

我试图以csv格式从BigQuery导出一个大表:这是响应： Table gdrive://home/bq-results-20200325/bq-results-20200325-101125-tc8d5cqgeift.csvSee 'Exporting data into one or more files' in https://cloud.google.com/bigquery/docs/exporting

浏览 0提问于2020-03-25得票数 0

回答已采纳

2回答

在Big* query中将表数据作为CSV下载到本地机器*

python、google-bigquery

def downloadGbqToCsv(self,table_name,csv): 'destinationUris': 'path/to/download', 'destinationFormat': 'CSVbigquery.jobs().insert(projectI

浏览 1提问于2016-03-28得票数 1

3回答

Airflow:有没有办法在dag之外将操作员分组在一起？

python、airflow、google-cloud-composer

有没有办法设计一个在dag之外实现特定数据管道模式的python类，以便将这个类用于所有需要该模式的数据管道？示例:为了将数据从Google云存储加载到Big Query，该过程可以通过数据质量测试来验证摄入候选文件。然后尝试在Big Query中加载原始表中的数据，然后根据加载结果将文件分派

浏览 39提问于2021-09-06得票数 1

回答已采纳

1回答

在数据转储方面，在CSV文件上使用XML有什么好处？

xml、csv、dump、stack-exchange-data-explorer

序言假设我们有以下数据集。XML中的表示形式应该是 <row Id="1" UserId="12" Name="Informed" Date="2014-09-23T18:03:54.633" Class=中

浏览 0提问于2021-08-05得票数 3

2回答

PowerBI Pro能处理一个非常大(17 Can )的csv文件吗？

powerbi

如果使用PowerBI的Pro选项(免费试用)，我是否能够使用大约3亿行的17 to .csv文件？如果没有，我有什么选择来压缩它，使它有可能工作呢？谢谢!

浏览 1提问于2019-09-12得票数 0

回答已采纳

1回答

Python:如何加载大于1GB的JSON字符串

python、json

我们从JSON获得了很多文件，它们都是"1行eBay字符串“。这些文件中大多数(99%)的大小小于1GB，有时其中一个文件将大于1GB，在这种情况下，到目前为止我使用的常规json.loads()函数将使脚本的执行崩溃，并在stdout上输出简单的“挂掉”消息。例如，这一行基本代码会崩溃<e

浏览 12提问于2022-05-25得票数 1

1回答

用formatC对arg中的0进行排序，R中的返回误差

r、csv、formatting

首先，这里的R是真正的新手。此示例的输入为30。文件中的错误(文件，"rt")：无法

浏览 2提问于2014-06-19得票数 2

回答已采纳

1回答

假脱机输出查询中涉及的多个表

sql、oracle、oracle-sqldeveloper、sqlplus

我正在尝试寻找有效的方法来从数据库中提取大量数据，将其放在云平台上进行分析(由于技术原因，无法以自动化的方式完成这项工作)。对于大型表，我希望一次提取一个月的数据的CSV；但是，一个大型表没有日期，并且I有前缀，所以我不能简单地获取I的范围。所以我想我得加入另一张桌子。如下所示：inner joi

浏览 0提问于2020-06-02得票数 0

1回答

如何排除UI中的“未找到(删除)文件”

google-cloud-dataprep

在将csv文件推送到Big query之前，我试图更正csv文件中某些列的数据类型。无论我如何运行它，我最终都会：文件未找到(删除)：无法找到文件gs://bucketshahtest/*/*..csv。它可能在初始化数据流作业时被删除。请验证源文件是否仍然可用，并重新运行作业.(为了这

浏览 0提问于2019-06-20得票数 0

点击加载更多