在数据流管道上捕获BigQuery HttpBadRequestError

文章/答案/技术大牛

发布

1回答

、、

最近，由于超出请求大小，我的数据流作业从BigQuery应用程序接口抛出HttpBadRequestError。, in __ProcessHttpResponseapitools.base.py.exceptions.HttpBadRequestError: HttpError accessing <https://bigquery.googleapis.com/bigquery</em

浏览 20提问于2021-02-23得票数 0

回答已采纳

3回答

在数据流管道中写入BigQuery时捕获失败

、、、

我有一个从PubSub主题读取事件数据的数据流管道。当收到消息时，我执行一个转换步骤，将事件数据与我想要的BigQuery模式相匹配。但是，如果创建的输入不符合模式，则会遇到问题。显然，它被无限重试着写到BigQuery： Count: 76 RuntimeError: Could not successfully insert rows to BigQuery table有没有一种方法可以尝试写到BigQuery，如果这样做失败了，用原始的输入做其他的事情？或者，是否有一种方法可以尝试多次编写，否则

浏览 4提问于2018-05-08得票数 4

2回答

我能否实时地将数据从CloudSQL加载到BigQuery？

、、、

因此，我把我的CloudSQL连接到BigQuery ..。下面是我在BigQuery上运行的一个查询示例，但我对此表示怀疑。不确定查询是在Postgres还是BigQuery中执行的。created_at) d, variable1, AVG(variable2) FROM my_table GROUP BY 1,2 ORDER BY d;"); 似乎查询是在postgreSQL中执行的，而不是BigQuery如果是的话，是否有一种方法可以将数据从postgresql实时加载到bigquery

浏览 1提问于2020-06-03得票数 1

回答已采纳