Google BigQuery的内部数据存储位置是否可以指向其他位置，如本地内部基础设施？

文章/答案/技术大牛

发布

2回答

google-bigquery

我真的很想使用BigQuery进行数据分析和开发商业智能。唯一令人担忧的是，我们的一些客户对云存储不太满意，因此我们有内部服务器为所有其他流程存储数据。据我所知，除了指定应该使用云中的哪个位置(美国或欧盟)外，BigQuery在数据集的存储上没有提供灵活性。有没有办法指定将BigQuery数据

浏览 55提问于2017-02-11得票数 0

回答已采纳

3回答

google云上的存储

hadoop、google-bigquery

我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？

浏览 20提问于2017-06-28得票数 0

回答已采纳

1回答

我们可以在使用Bigquery库从Bigquery读取数据的同时，将位置从US更改到其他区域吗？

amazon-web-services、google-cloud-platform、google-bigquery、cloud

我试图使用Bigquery使用读取数据。val bigquery: BigQuery =BigQueryOptions.newBuilder().setLocation("asia-southeast1").b

浏览 3提问于2020-01-07得票数 1

1回答

在"bq . localfile.csv“期间，输入暂时存储在哪里？

google-cloud-platform、google-bigquery、google-cloud-storage

gcloud-sdk命令“gcloud”可以将一个本地文件作为输入。从命令的输出来看，该文件似乎是在bigquery加载作业计划之前首先上传到google云存储中的。考虑到bigquery调度的REST load-作业端点也只接受"gs://“urls，而且加载作业需要数据是可访问的，我很确定这种上传到云存储的情况正在发生(尽管我找

浏览 0提问于2018-03-12得票数 0

回答已采纳

3回答

使用BigQuery中的Google to_dataframe查询在使用结果()时有效，但在使用to_dataframe()时出现权限问题

python、google-bigquery、google-cloud-storage

在我的pip包和返回查询结果的bigquery连接器升级后，我突然停止了以下错误消息的处理from google.oauth2 import').to_dataframe() data = client

浏览 20提问于2022-07-14得票数 4

回答已采纳

1回答

大型查询作业的Python配置需要一个sourceUri值，但没有sourceUri

python、python-2.7、google-bigquery

当试图为Google BigQuery作业编写Python脚本时。我遵循在作业中找到的配置指南。它表示需要配置参数configuration.query.tableDefinitions.此参数被描述为“指向中数据的完全限定URI”。但是，我提交的查询运行的是大查询中的数据集，而不是云存储中的数据。我尝试将format参数保留为空，或者将其指向有

浏览 2提问于2015-05-05得票数 2

回答已采纳

1回答

如何从content uri android获取文件位置

android、file、uri、scoped-storage

我的应用可以打开像pdf，djvu，odt这样的文档。从文件管理器等其他应用程序提供的内容uri中，它可以使用getInputStream()读取文件。但这个应用程序有一个最近/历史部分。目前，这是通过将文档复制到某个地方并在有人打开最近的文档时打开它来实现的。这伴随着存储使用的成本和更多的文件io。如果文件位置可以在可访问的存

浏览 1提问于2021-09-02得票数 0

1回答

谷歌云数据存储是面向列的NoSQL数据库吗？

python、google-app-engine、google-cloud-datastore

据我所知，BigTable是一个面向列的NoSQL数据库。尽管谷歌云数据存储构建在谷歌的BigTable基础设施之上，但我还没有看到文档明确地说明数据存储本身就是一个面向列的数据库。由Python API保留的名称是在API中强制执行的，而不是在数据存储本身中强制执行的，这一事实让我怀疑数据存储</em

浏览 0提问于2016-06-03得票数 1

1回答

Google BigQuery和Google Bigtable之间有什么关系？

google-cloud-platform、google-bigquery、google-cloud-bigtable

基于许多来源，我了解到(BigQuery和Bigtable)都被认为是用于数据和的2不同的解决方案。例如，写道，如果我们需要大量数据的统计数据(例如，和、平均值、计数)，我们可以将bigQuery看作一个数据存储。相反，BigTable可以像通常的NoSql存储一样考虑。另一方面，我读过，其中提到：从这个片段中，我了解到BigQu

浏览 2提问于2020-03-03得票数 0

回答已采纳

1回答

在本地导出大型查询表

pandas、google-cloud-platform、google-bigquery

我有一个大的查询表，我想运行使用熊猫DataFrame。该表很大，使用: pd.read_gpq()函数会卡住，无法检索数据。我使用熊猫实现了一个块机制，但它需要很长的时间(900万行需要一个小时)。所以我在研究一种新的润肤液。# from google.cloud import bigquery# bu

浏览 0提问于2019-02-18得票数 1

2回答

有没有一种方法可以连续地将数据从Azure Blob输送到BigQuery？

azure、google-bigquery、azure-blob-storage、data-pipeline

我在Azure Blob存储中有一堆文件，而且它不断地获得新的文件。我想知道是否有一种方法可以让我首先将我在Blob中的所有数据转移到BigQuery，然后继续运行一个脚本或一些作业，以便将其中的所有新数据发送给BigQuery？

浏览 10提问于2017-06-28得票数 0

回答已采纳

1回答

BigQuery:将BigQuery表从美国多个地区导出到另一个地区的GCS是否需要支付传输费？

google-cloud-platform

当将BigQuery表从美国多个地区导出到另一个地区的GCS时，是否存在传输费？例外情况:如果您的数据集位于美国多区域位置，则可以将数据</em

浏览 0提问于2020-02-04得票数 3

回答已采纳

2回答

如何计算将数据从蔚蓝数据转移到google* BigQuery时的成本*

azure、google-cloud-platform、google-bigquery

我们在Azure中有一个数据存储管道，可以将一个前提下的SQL表移动到Azure blob存储的Gen2中。我认为大部分费用都来自Azure仓库，对吧？现在，我们希望将这些数据移动到BigQuery。由于我们的安全策略，我们仍然需要数据表管道从SQL表中读取。因此，我们创建了一个数据库笔记本，以读取拼花文件，并移动到BigQuery使用火花BigQuery连接器。

浏览 5提问于2021-01-21得票数 0

回答已采纳

1回答

-> Bigquery* ->每日导出到IBM云存储*

google-cloud-platform、google-bigquery、google-cloud-dataflow

我们已经启用GA 360导出到Bigquery，每天创建一个新表。为了进一步处理，我们需要将每日导出转移到IBM云对象存储。最简单的解决办法是使用CLI -bq extract( b)将摘录移动到IBM对象存储中。gsutil cp1)我们能否在两者之间跳过google云存储，并且是否可以直接导出到IBM？ 2)我们以

浏览 0提问于2019-09-05得票数 2

回答已采纳

2回答

使用Google被动摄取批数据(客户端推送)的好方法是什么？

google-cloud-platform、google-api、google-cloud-storage、batch-processing、data-ingestion

到目前为止，我认为最好的解决方案是端点(让他们将数据推送到存储中)，这样我们就可以使用它并进行所有的数据科学处理。我的云提供商是Google，我的客户端使用MySQL服务器。我一直在网上阅读许多主题，并达到以下链接： --这些URL是访问时间限制的资源，例如Google，并将数据写入其中。我的简单解决方案是

浏览 4提问于2020-02-06得票数 2

1回答

检查Google* BigQuery是否使用GCS存储桶或任何其他存储。*

google-cloud-platform、google-bigquery、cloud、bigtable

我对Google Cloud非常陌生。我在google BigQuery中查询了一些公共数据集。我想知道是否有任何可能的方法可以让我们知道正在查询的数据是否来自Google Cloud存储桶。关于我正在扫描的数据集的任何类型的存储元数据都将是有用的。 <em

浏览 11提问于2021-02-21得票数 0

回答已采纳

1回答

什么是谷歌云数据存储？

google-cloud-datastore

什么是谷歌云数据存储？

浏览 2提问于2013-05-15得票数 4

1回答

GCP -边缘到边缘路由

google-cloud-platform、vpc

你好Stackoverflow社区，我们需要VPC1中的项目资源来与本地通信，但我们不想为每个VPC创建单独的VPN隧道。我知道亚马逊网络服务不支持跨边界路由，我想知道是否有一种方法<em

浏览 21提问于2018-09-07得票数 1

回答已采纳

1回答

从AWS SageMaker访问Google BigQuery

python、google-bigquery、amazon-sagemaker

在本地运行时，我的木星笔记本可以引用Google BigQuery，如下所示：FROM因此，在我的笔记本后面，我可以将some_bq_table作为熊猫数据引用，如下面的例子：我想在AWS SageMaker上运行我的笔记本来测试一些东西。要使用BigQuery</

浏览 0提问于2019-04-05得票数 4

回答已采纳

2回答

提取-提取操作中的BigQuery错误:发生内部错误，请求无法完成。

google-cloud-platform、google-bigquery、google-cloud-storage、bq

我正在尝试使用控制台中的以下命令将表从BigQuery导出到google存储：我得到以下错误：提取操作中的BigQuery</

浏览 1提问于2020-07-14得票数 0

点击加载更多