谷歌云:将BigQuery结果作为.csv文件保存到Google Drive上的*特定*目录中 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

谷歌云:将BigQuery结果作为.csv文件保存到Google Drive上的特定目录中

google-cloud-platform、google-bigquery、google-drive-api

在运行我的SQL查询后，“保存结果”按钮提供了一个下拉框，其中一个选项是"CSV (Google Drive)“。单击此选项会将文件保存到Google Drive主目录中自动生成的名为bq-results-YYYYMMDD-HHMMSS-<something>的目录中。如果我经常使用这个选项，我会在我<em

浏览 25提问于2021-05-09得票数 0

1回答

谷歌共享驱动器到BigQuery连接器

python、google-bigquery、google-drive-api、google-drive-shared-drive

我想写一个python连接器，将移动新添加的CSV在谷歌驱动器(共享驱动器)到BigQuery。我认识Loading data into BigQuery from Drive is not currently supported, but you can query data in Drive例如，从GC存储中，很容易实现自动数据流，但不确定如何连接到Google Drive API (共享驱动器

浏览 11提问于2021-03-29得票数 1

2回答

如何使用Google BigQuery导出到电子表格？

google-bigquery

我正在使用Google Big Query的新UI。那么，如何在电子表格中导出sql的结果呢？我可以通过将屏幕切换到旧的UI来导出它，但它似乎不能与新的UI.The结果一起导出，如下所示。

浏览 0提问于2018-10-24得票数 0

1回答

从bigquery导入到google sheets限制为10k行

google-bigquery

我正在尝试从google bigquery导入一个表格到google sheets。数据>数据连接器>大查询，但当我导入它时，它显示限制为10,000行。有没有办法超过这一限制？

浏览 1提问于2020-07-06得票数 0

1回答

Python，pandas.read_csv，来自Google Drive文件的1000万行的大型csv文件

python、pandas、csv、google-drive-api、google-bigquery

我从Google Bigquery中提取了一个2列1000万行的.csv文件。我已经在本地下载了170Mb大小的.csv文件，然后我将文件上传到Google Drive，我想使用pandas.read_csv()函数将其读取到我的Jupyter Notebook中的pandasexport=download&a

浏览 2提问于2018-04-04得票数 0

1回答

在加入BigQuery并将它们导出到GCS之前，如何等待异步表在GCS上写入？

google-cloud-platform、google-bigquery、google-cloud-functions

我有一个运行在Google平台上的系统，它的工作方式如下：首先，有一个云函数是由特定桶上的数据上传触发的。然后组织这些数据并将处理器作业生成为“..json‘s”，并将其保存到另一个桶中。还有第二个云功能--系统的核心--它是由这个".json“上传触发的。然后，它处理数据并将输出结果写入BigQuery数据集，<e

浏览 3提问于2019-10-26得票数 0

回答已采纳

3回答

如何将实时数据从Excel文件链接到Google工作表

excel、google-sheets、automation

我已经找到了另一种方法，但我真的很难将实时数据从excel文件中提取到google表格中。我想在工作表中将整个数据选项卡拉入另一个完整的选项卡中。

浏览 0提问于2021-05-12得票数 0

1回答

Google存储桶和Google colab

google-cloud-storage、google-colaboratory

我在用colab和谷歌硬盘。使用google drive和google存储桶的主要区别是什么？我的团队打开了google bucket上的存储桶auth.authenticate_user() project_id = 'nifty-depthgsutil -m cp -r /content/drive&#x

浏览 0提问于2020-03-21得票数 0

2回答

通过Apps脚本的大查询API --我在一个较大的表上得到一个错误，但是在一个较小的表上工作。通过应用程序脚本有大小限制吗？

google-apps-script、google-bigquery、quota

我正在使用Apps脚本向BigQuery发送查询我有一个项目id - "bigquerytest-282720"，一个名为"testDataSet“的数据集和2个表(smallTable和bigTable两个表具有相同的架构。表1只有6行，表2有600000行。GoogleJsonResponseException: API对bigquery.jobs.getQueryResults的调用失败，错误: Not :作业项目35 :bigquery.jobs.

浏览 1提问于2020-07-09得票数 0

1回答

使用大查询或大表查询聚合值的用例？

google-bigquery、bigtable、google-cloud-bigtable

我用它来设计30 TB文本文件的存储，作为在Google云上部署数据管道的一部分。我的输入数据是CSV格式，我希望尽量减少为多个用户查询聚合值的成本，这些用户将使用多个引擎在云存储中查询数据。使用云存储进行存储，并链接大查询中的永久表以进行查询，或使用Cloud表进行存储，并在计算引擎上安装HBaseShell来查询大表数据。基

浏览 0提问于2019-01-24得票数 0

回答已采纳

3回答

google云上的存储

hadoop、google-bigquery

数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？

浏览 20提问于2017-06-28得票数 0

回答已采纳

2回答

在Google Colaboratory中保存文件/图片

tensorflow、keras、jupyter-notebook、google-colaboratory

目前，我正在处理400+图像，并使用uploaded = files.upload()我必须使用谷歌协作，因为我需要他们的GPU。提前感谢:)

浏览 0提问于2018-10-09得票数 1

1回答

使用R Markdown文档的bigrquery对Bigquery进行身份验证

r、authentication、google-bigquery、bigrquery

我在使用bigrquery从我编制的R文档中连接到GCP服务帐户时遇到了问题。当我从控制台尝试时，身份验证工作正常。，该对话框允许我按预期的方式使用指定的帐户进行选择和身份验证。但在R Markdown中，任何类似的尝试bq_auth(email="my-service-account-email@myproject.iam.gserviceaccount.com= NULL, scopes = c(

浏览 4提问于2020-05-25得票数 5

回答已采纳

1回答

如何使用R和googledrive软件包从google驱动器下载多个文件并保存到笔记本上的特定文件夹

r、purrr

我按照帖子中的说明从我的谷歌驱动器下载2个csv文件到我的电脑。这是提供的代码-library(purrr) folder_url <- "https://drive.google.com$id, ~ drive_download(as_id(.x))) 以上说明将<

浏览 2提问于2021-08-20得票数 1

回答已采纳

3回答

谷歌BigQuery数据集导出

google-app-engine、google-bigquery

我正在尝试使用谷歌BigQuery为GitHub数据挑战赛下载一个大型数据集。我已经设计了我的查询，并能够在谷歌BigQuery的控制台中运行它，但我不允许将数据导出为CSV，因为它太大了。推荐的帮助告诉我将其保存到表中。这需要我在我的账户上启用帐单，并尽可能地进行付款。有没有一种方法可以将数据集保存为CSV (或JSON)<

浏览 1提问于2014-07-28得票数 1

1回答

google analytics api SDK中用于UnsampledReport的DownloadType

google-analytics

google analytics api SDK中的UnsampledReport类有一个setDownloadType方法，它接受一个字符串作为参数。值“GOOGLE_DRIVE”告诉谷歌将报告作为CSV卸载到谷歌驱动器路径上。不过，我们希望将报告卸载到google云存储桶中。我们知道这是可能的</

浏览 2提问于2016-04-12得票数 1

1回答

在BigQuery中将np.array或python列表对象保存为单个记录的最佳方法是什么？

python、arrays、google-bigquery、embedding

我有一个ML模型(文本嵌入)，它输出一个很大的1024长度的浮点数向量，我希望将其持久化到一个BigQuery表中。向量中的各个值本身没有任何意义，整个向量是感兴趣的特征。因此，我希望将这些列表存储在BigQuery中的单个列中，而不是每个浮点对应一列。此外，向最初只有4或5行的表中添加额外的1024行似乎不是一个好主意。有没

浏览 10提问于2020-02-27得票数 0

2回答

Bigquery和R:成本和数据存储在哪里？

r、google-bigquery

我正在使用RStudio对存储在BigQuery中的大型数据集运行分析。该数据集是私有的，来自一家大型零售商，该零售商通过BigQuery与我共享了该数据集，以运行所需的分析。我使用bigrquery库将R连接到BigQuery，但是找不到以下两个问题的答案： 1)当我使用R运行分析时(例如，首先使用SELECT获取数据并将其存储在R中的数据框中)，然后数据是否以某种方式存储在我的

浏览 0提问于2018-08-10得票数 0

1回答

在加载到Bigquery之前自动ETL数据

google-bigquery、google-cloud-functions、google-cloud-storage、google-cloud-dataflow

我将CSV文件添加到GCS存储桶中，每天或每周，每个文件名都包含(日期+特定参数) 这些文件包含schema (id + name)列，我们需要将这些文件自动加载/摄取到bigquery表中，以便最终的表具有4列(id、name、date、特定参数)。我们已经尝试过数据流模板，但无法将文件名中的日期和

浏览 0提问于2020-12-15得票数 0

2回答

无法读取上传到google云存储桶上的csv文件

python、google-cloud-storage、google-compute-engine、google-cloud-platform、jupyter-notebook

目标-读取上传到google云存储桶上的csv文件。for row in csv_f print row

浏览 1提问于2016-08-22得票数 4

点击加载更多