我试图连接第三方排名管理系统()与元数据库。Tranco给了我们一个在Google BigQuery上查看记录的选项，但是当我试图将Tranco和Metabase连接起来时，它是在请求我的Google云控制台项目中的数据集。因为Tranco是一个外部数据库源，因此我无法从这里访问dataset Id。
如果您想在Google BigQuery中获得tranco的结
浏览 14提问于2022-05-02得票数 1
1回答
我想设置谷歌云存储桶的访问和使用日志。该桶属于多区域存储级别和欧洲联盟的位置。桶位置对于访问和存储、日志记录以及从额外
浏览 0提问于2017-01-29得票数 1
回答已采纳
我在谷歌BigQuery表/视图中有数据，在谷歌云存储存储桶中。我已经为这个存储桶创建了一个集成和外部阶段，并且可以在Snowflake中查看存储桶中的文件。现在如何将数据从谷歌BigQuery表加载到Snowflake表中？
浏览 13提问于2020-05-02得票数 0
3回答
我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的
浏览 20提问于2017-06-28得票数 0
回答已采纳
我们在Azure中有一个数据存储管道，可以将一个前提下的SQL表移动到Azure blob存储的Gen2中。我认为大部分费用都来自Azure仓库，对吧？现在，我们希望将这些数据移动到BigQuery。由于我们的安全策略，我们仍然需要数据表管道从SQL表中读取。因此，我们创建了一个数据库笔记本，以读取拼花文件，并移动到BigQuery使用<
浏览 5提问于2021-01-21得票数 0
回答已采纳
在always的“用Google平台进行数据工程”一书中，为了将数据从sql数据库加载到BigQuery，作者总是先将数据从sql加载到，然后将其作为暂存环境使用，然后才将数据加载到BigQuery
通过GCS步骤而不是直接进入BigQuery有什么好处？在何种情况下，您将直接将</e
浏览 8提问于2022-08-16得票数 0
回答已采纳
我使用以下将数据从Google中的CSV文件上载到BigQuery表： client = bigquery.Client()dataset_id = 'e' job_config = bigquery.LoadJobConfig()job_config
浏览 1提问于2018-07-16得票数 1
伙计们有一个非常基本的问题，但不能破译，请帮帮我。 gs://sp2040/raw/cards/cust/20170101/20170101_cust.csv
Q2:假设我的数据主管是gs:
浏览 3提问于2017-10-05得票数 0
回答已采纳
我正在尝试将Redshift迁移到BigQuery。表的大小是2TB+，我正在使用bigquery红移数据传输服务。但是迁移已经运行了5个多小时。还可以看到在Redshift端执行的查询将数据卸载到50MB的区块中。由于无法在红移传输作业中配置块大小参数。将2TB的数据从redshfit传输到BigQu
浏览 39提问于2019-07-22得票数 0
我想将带有多个字符分隔符的数据加载到BigQuery。BQ load命令当前不支持多个字符分隔符。它只支持单个字符分隔符，如'|‘、'$’、'~‘等
我知道有一种数据流方法，它将从这些文件中读取数据并写入BigQuery。但是我有大量的小文件(每个文件400MB)，它们必须写入一个单独的表分区(分区
浏览 22提问于2016-08-11得票数 3
回答已采纳
1回答
我正在将一个项目从一个组织迁移到一个新的组织。项目ID、数据集ID和任何其他ID是否保持不变？除了中提到的，还有其他潜在的干扰吗？
浏览 8提问于2022-06-07得票数 0
我试图有效地管理工作流变量管理项目的名称空间，使用它们作为Datastore名称空间，实现protobuf 'package‘谱系，等等。我们的项目有一个变量的概念，一些是全局的，一些是在作业级的，有些是在任务级别上的。
我正在以最有效的方式来表示名称空间，以便正确地表示层次结构。在环境之间拥有“部署”的名称空间是非常重要的，但是很容易，因为“环境”在层次结构上<
浏览 2提问于2021-12-09得票数 0
对于上下文，我们想要可视化我们的数据在谷歌数据工作室-这个数据集收到更多的条目每周。我已经将我们的数据加载到google云存储中--> google，并将我的连接到我的bigquery表中。这让我可以更快地使用谷歌数据工作室仪表板！我不知道在googl
浏览 2提问于2019-12-20得票数 0
当我们在特定的数据集中创建一个表时，我们有5个选项，比如空表、谷歌云存储和上传etc.My，问题是它是否是云存储，在BigQuery或云存储中创建这个表是在哪里？因为我的目的是在云存储中转储数据，然后加载到BigQuer中。对于空表也是如此，因为我们显式地定义了模式，我知道表
浏览 5提问于2020-05-15得票数 0
回答已采纳
正在尝试将大型CSV文件从桌面上传到BigQuery (使用python)。寻找一种程序化的方式。已使用Cloud SDK shell，但正在寻找基于web的自定义解决方案。场景是这样的:用户可以使用在GWT(FileUpload小部件)中开发的UI来选择CSV文件。[ ]那么如何将数据从选定的CSV文件发送到要插入到BigQuery中的pyt
浏览 3提问于2014-11-06得票数 1
我试图找到这个问题的答案，但只找到了一些轶事。谷歌是否对存储在BigQuery上的数据进行加密？如果是的话，使用了哪些加密机制？
浏览 3提问于2014-10-10得票数 2
回答已采纳
根据Cloud联邦查询文档，可以运行多区域BigQuery作业，在指定的多个区域所包含的区域中查询Cloud实例：但是，当我试图在US 4中的Cloud实例上运行一个查询时，它会抛出一个
浏览 11提问于2020-02-05得票数 2
回答已采纳
我需要从第三方应用程序接口获取数据，并在谷歌BigQuery中摄取它。也许，我需要通过google服务实现这个过程的自动化，以便定期完成这个过程。我正在尝试使用Cloud Functions，但它需要一个触发器。我也读过关于App Engine的文章，但我相信不适合只有一个函数来发出拉取请求。另一个疑问是:我是否需要将数据加载到云存储中，或者是否可以直接将其加载到BigQuery？
浏览 17提问于2019-08-24得票数 1
回答已采纳
1回答
我正试图在Google云平台上设计一个系统，在那里我可以执行所有这些转换。请帮帮忙。HDFS:：着陆区->级1区->级2区
着陆区--对于具有原始数据级1区域的数据--来自着陆区的原始数据被转换，然后更改为不同的数据格式和/或非规范化并存储在第1阶段2区域中--第1阶段的数据在交易表上更新如果它只是一个时间
浏览 0提问于2018-08-14得票数 0
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
