我正尝试在INFORMATION_SCHEMA上运行一个查询，以便从数据流中检索有关bigquery表的元数据。找到下面的代码和错误。同样的查询在BQ UI中运行得很好 query=SELECT * EXCEPT(is_typed) FROM `dummy_dataset.INFORMATION_SCHEMA.TABLES`"
p1
浏览 24提问于2019-03-18得票数 2
我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。当我尝试将联邦BigQuery表作为Dataflow管道的源读取时，它会引发以下错误：
1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator- Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYG
浏览 5提问于2016-03-24得票数 4
回答已采纳
我使用使用google云数据流服务已经有一段时间了。数据流管道
apache_beam.runners.dataflow.dataflow_runner.DataflowRuntimeException据我所知，服务帐户
浏览 0提问于2018-05-07得票数 4
据我所知，将数据流到BigQuery将导致重复的行，如此处所述，
另一方面，将数据上载到PubSub，然后使用数据流将数据插入Bigquery将防止重复行？这里还有一个实时数据分析教程( )。那么，其他的优点和缺点是什么，在什么情况下，我应该使用数据流从PubSub流数据。
浏览 9提问于2017-05-02得票数 4
回答已采纳
我正在从将数据流到BigQuery上的一个表中。我从bigQuery得到一个没有“bigQuery”键的200 OK：如果我查询我的表，尽管我刚才已经插入了几个附加记录我在任何地方都看不到任何错误--有人能告诉我如何调试这个问题吗？
浏览 2提问于2014-04-04得票数 1
回答已采纳
我用python创建了一个flask api，并作为容器镜像部署在gcp云中运行，通过云调度器运行，在我的代码中，我从big query读取大数据(1500万行和20列)，我将系统配置设置为8gm ramgbqdf = gbq.read_gbq(query), project_id="project_name") 有没有从BQ中读取数据的有效方法？Proble
浏览 28提问于2021-10-04得票数 0
回答已采纳
1回答
我创建了一个作业，但是我一直没有定义全局名称'bigquery‘，即使我已经导入了所需的变量。query_job = client.query("""你们知道是什么导致了这个错误吗顺便说一句，我只有在将它部署到google的数据流作业时才会得到这个错误，它在本地运行良好。：“
浏览 0提问于2018-09-26得票数 3
回答已采纳
需要创建将使用作为参数提供的主题的POST端点。消息必须以kafka主题为属性，以消息内容为主体，在公共子主题上发送。
这是一个很高的要求。我看过以了解如何实现这一目标。但是，如果有人实时地实现了这一功能，即从Azure事件中心到google的事件，或者曾经进行过类似的实现，请提供帮助。
浏览 1提问于2021-06-03得票数 1
回答已采纳
2回答
我想安排我的数据流sql作业。这是我的gcloud命令
gcloud数据流sql查询'My SELECT查询‘--作业名称dfsql-2d7a0189-177fc4f9444 -us区域-east4 4-bigquery-写处理写-截断-bigquery-project dev-dp-myproject -bigquery-数据集mydataset -bigquery-table服务-帐户-电子邮件
浏览 2提问于2021-03-05得票数 1
2回答
我正在执行Mysql到bigquery的数据迁移，使用jdbc到数据流中的bigquery模板。但在mysql上执行"select * from teable1“命令时，由于某种原因，我也想将选中的数据插入到同一数据库中的另一个表中。 如何在数据流模板中同时执行select和insert查询？在两个查询之间使用分号时出现错误。
浏览 46提问于2020-11-11得票数 0
我注意到的一件事是，BigQueryIO.read().fromQuery()的性能比BigQueryIO.read().from()在Apache中的性能要慢得多。这一切为什么要发生？
浏览 1提问于2018-04-18得票数 7
回答已采纳
我正在尝试将一个sql查询实现为数据流中的转换。我从bigquery加载了一个表作为PCollection。我想像下面的查询一样聚合我的数据。我听说数据流与Java支持在P集合上运行sql kind查询，但正确的python不支持。有人能帮我解决这个问题吗？我想在一个P集合上实现这个查询。不直接从bigquery读取
浏览 7提问于2018-01-03得票数 1
回答已采纳
我有一个Google电子表格，它的数据连接到data。我使用以下数据流来获取数据：但是，由于某些原因我不知道，有时，当在BigQuery外部表上执行select时，会得到以下错误：Google SpreadSheet只有1500x10列，我认为很小。是什么导致</
浏览 1提问于2022-10-06得票数 0
1回答
我正在尝试将表从扳手复制到大型查询。我已经创建了两个数据流。一个是从扳手复制到文本文件，另一个是将文本文件导入bigquery。 表中有一列，该列的值为JSON字符串。从文本文件导入到bigquery时，数据流作业运行时出现问题。作业抛出以下错误： INVALD JSON：:1:38预期的eof，但发现，"602...
浏览 23提问于2020-09-11得票数 0
我知道数据流可以使用BigQuery表(或BigQuery表的SQL式查询)进行输入，但是是否可以将保存的视图作为数据流的输入？
浏览 10提问于2017-07-12得票数 2
我将数据源更改为BigQuery表。我的计划是：
这个错误意味着什么？谢谢你的帮忙!
浏览 2提问于2020-07-09得票数 0
回答已采纳
在浏览时，我看到了Dataflow SQL。它和beamSQL有什么不同吗？
浏览 12提问于2020-02-17得票数 1
回答已采纳
在数据流管道中，我从BigQuery授权视图中读取：
错误:消息:访问被拒绝: Dataset proj1 1:have 1: user xxxxxx-compute@develope
浏览 0提问于2018-11-06得票数 1
我创建了一个google流作业，从PubSub读取并插入到BigQuery中。我使用JSON将STREAMING_INSERT数据插入到BiqQuery表中。我正面临插入问题，说明请求的大小超过了10 Mb的允许限制。数据流错误如下所示。根据我的理解，每个记录的大小是1-2Mb，根据我的理解，数据流作业将流数据插入到微批处理中，这导致了这一错误。来自worker的
浏览 6提问于2022-10-13得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
