在使用dbt_external_tables包时，我需要一些帮助。
我意识到在GCS中的csv中，有些行似乎有换行，这导致在尝试查询由宏创建的表时出现一些问题。有时，当手动对外部表进行此配置时，BigQuery UI有两个选项:允许交错行(CSV)允许带引号的换行符(CSV) true我通常将这些选项设置为true，有时问题会得到解决。我不知道如何使用dbt_external_tables来做到这一点。
浏览 29提问于2021-05-14得票数 1
1回答
我们目前有一个DBT实例，它位于我们的Google BigQuery数据仓库之上。现在，我们被要求将来自Google的一些数据合并到我们的建模中。
这样，DBT是否有可能直接与Google连接？例如，将Google配置为.yml文件中的直接外部数据源，还是让DBT可能运行某种BigQuery联邦SQL语句？有一个名为DBT -外部表()的dbt包，但这似乎只适用于GoogleCloudStorage存储桶中的BigQuery +文件。
浏览 10提问于2022-04-14得票数 0
回答已采纳
1回答
我希望将Google连接到一个新的BigQuery表，该表自动地将数据从工作表填充和更新到BigQuery。我正在使用谷歌自身的来完成这个设置。我的问题:与电子表格连接的表是空创建的，所以我必须查询它并将结果保存为另一个表来查看和使用数据。我对这些事情不是专家，但似乎不是最好的方法。
浏览 0提问于2019-04-22得票数 1
Q1:当我们使用下面的命令创建bigquery表时，数据驻留在同一个云存储中？source_format=CSV 'market.cust$20170101' \Q2:假设我的数据主管是market.cust \ 每天，我都会在桶中创建新的dir，比如201
浏览 3提问于2017-10-05得票数 0
回答已采纳
3回答
我有以下配置，可以很好地将一堆文件加载到BigQuery中： 'configuration'=> { 'sourceUris'=> 'gsprojectId: 'my_project', datasetId: 'my_dataset' },)
现在，我正在尝试编写等效的代码来创建一个，而不是加载数据我
浏览 0提问于2018-03-22得票数 0
回答已采纳
我在BigQuery中有几个表，它们都来自Google表。当Google表被更新时，BigQuery中的表也会自动更新。我正在试图了解此事件的日志在操作日志中的样子。
浏览 3提问于2021-12-19得票数 0
1回答
阅读一些有关bigquery的文档，我和我在aws的位置上找到了：aws east-1。
这是否意味着bigquery数据平面正在美国东部运行，以便在该区域进行数据处理？
浏览 6提问于2022-09-14得票数 0
回答已采纳
1回答
在GCP中，我想知道是否有可能将数据从Bigtable传输/移动到BigQuery。也就是说，我希望所有大于1年的数据都应该从Bigtable移动到BigQuery。这可行吗？
有人能帮我一下吗
浏览 3提问于2021-12-28得票数 0
我希望实现BigQuery，它使用HYOK函数与外部密钥管理交互。
我还没有找到任何关于用BigQuery配置EKM (然后使用HYOK)的指南，而只是使用CMEK (使用BYOK)来配置它。
浏览 8提问于2022-02-04得票数 0
我是BigQuery的新手，而且还在努力奋斗。在SQL中，ALTER可以添加、删除列。但在BigQuery中，它表明我无法修改外部表(从驱动器导入)。有人能帮忙吗？如何更改外部表？
试图使用。
浏览 3提问于2022-11-09得票数 1
我是bigquery的新手。我从gcp控制台创建了bigquery表，其中使用GCS CSV文件作为数据源。我认为当我删除任何行时，也应该将其从GCS文件中删除。但实际上，这种情况并没有发生。
浏览 22提问于2020-06-22得票数 0
配置单元分区表具有以分区日期作为文件夹的文件夹结构。我已经探索了将外部分区表直接加载到bigquery的可能性。我想知道的是，在将数据加载到dataflow之前，我将使用dataflow运行一些功能转换，因此是否可以使用bigquery实现此功能。我发现，如果我将分区日期添加为列，则使用partitioning is possible，但我正在寻找一种直接方法，该方法不会在转换期间添加列，而是在将数据加载到bigquery时直接添加。
浏览 12提问于2019-12-05得票数 0
我有一个云存储桶，大约有18个表的外部分区的蜂巢宴会厅。
对于大多数拼板文件，shell For循环构建外部表定义文件，然后调用'bq‘，并从这些defs生成数据集中的表。
浏览 19提问于2022-08-30得票数 0
是否支持BigQuery中的DDL语句(创建、删除、更改)事务，而不管存储引擎类型如何？谢谢你事先的友好答复。--
浏览 1提问于2021-07-19得票数 0
对于如何最好地将文本文件上传到bigquery表，有人有任何实用的想法吗？我需要从远程SFTP服务器下载一些压缩文本文件，并将其加载到bigquery表中。我应该把它下载到google云存储中并从那里上传到bigquery以获得更快的速度吗？文本文件每个大约5GB，并将进一步增长。谢谢。
浏览 2提问于2020-01-23得票数 0
回答已采纳
1回答
我们需要创建一个从PubSub到Elasticsearch的数据流作业，但是该作业不能使出站互联网连接到Elastic。
是否有一种方法在创建时将代理参数传递给Dataflow vm？
浏览 16提问于2022-08-04得票数 1
回答已采纳
我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。当我尝试将联邦BigQuery表作为Dataflow管道的源读取时，它会引发以下错误：
1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator- Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYGROUND : 400 Bad"reason
浏览 5提问于2016-03-24得票数 4
回答已采纳
我正在尝试使用“外部数据源”将BigQuery连接到CloudSQL Postgres DB。建立连接后，我在BigQuery中看到以下错误：Connect to PostgreSQL server failed然后，我尝试在CloudSQL配置中启用“公共IP”连接，这似乎解决了沙箱中的问题。
我希望能够在不打开公网IP的情况下这样做，因为我只想将我的数据保存在我的内网中。是否可以像我所描述的那
浏览 2提问于2021-04-23得票数 0
我在探索google的data工具，它有助于数据可视化，但我认为这个工具只能用于SQL数据可视化。如何使用datastore可视化数据存储中的JSON数据？还有其他工具可以集成我的google数据存储并帮助我可视化这个JSON数据吗？
浏览 0提问于2018-07-28得票数 0
我想自动将数据从外部PostgreSQL数据库传输到我的GCP帐户中的Google Cloud Platform BigQuery数据库。到目前为止，我已经看到可以使用EXTERNAL_QUERY()函数查询外部数据库(MySQL或PostgreSQL)，例如：https://cloud.google.com/bigquery/docs//docs/mysql/replic
浏览 26提问于2021-04-01得票数 2
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号