我想在一个BigQuery云监视仪表板中监视我的计划查询的状态。我创建了几个基于日志的度量标准来跟踪其他服务/资源中的错误,但在云日志记录中发现任何计划查询错误的指示都有困难。
在BigQuery UI中的调度查询页面中,我可以检查失败的调度查询的运行详细信息,它显示了一些解释错误的日志条目。
9:02:59 AM Error code 8 : Resources exceeded during query execution: Not enough resources for query planning - too many subqueries or query is too complex..; JobID: PROJECT:12345abc-0000-12a3-1234-123456abcdf
9:00:17 AM Starting to process the query job with no parameters.
9:00:00 AM Dispatched run to data source with id 1234567890
但由于某种原因,我在云日志记录中找不到任何这些消息。对于成功的作业,BigQuery日志中有一些条目,但是失败的作业完全丢失。
知道如何在云日志记录或云监视中查看失败的计划查询吗?
发布于 2020-11-18 18:06:13
可以使用以下高级筛选器过滤与“BigQuery”相关的所有jobservice.insert错误
resource.type="bigquery_resource"
protoPayload.serviceName="bigquery.googleapis.com"
protoPayload.methodName="jobservice.insert"
severity: "ERROR"
这是该查询的结果:
即使是一个简单的查询,比如:
resource.type="bigquery_resource"
severity: "ERROR"
能够检索所有与BigQuery相关的错误,如下所示:
找到与失败的计划查询相关的查询后,可以单击结果的原始负载,然后选择“显示匹配项”开始构建自己的高级查询。
我能够使用高级日志查询和BigQuery查询文档组装这个过滤器。
发布于 2021-10-13 10:43:51
请验证您所拥有的权限--在我的例子中,我能够在我被设置为所有者的项目中看到Cloud中失败的计划查询。对于另一个项目,我只是一个编辑器,我无法看到错误,就像在你的情况一样。
下面的代码可以工作(例如,我能够获得与“在获得驱动器凭据的同时拒绝权限”相关的错误-在运行计划查询的服务帐户中,Google文件中缺少凭据):
resource.type="bigquery_resource"
protoPayload.serviceName="bigquery.googleapis.com"
protoPayload.methodName="jobservice.insert"
severity=ERROR
https://stackoverflow.com/questions/64877828
复制相似问题