当传入BigQuery的结果为“成功0个作业”时添加警报

文章/答案/技术大牛

发布

1回答

google-bigquery、data-transfer

我每天在BigQuery上运行一个日程转移，基本上没有任何问题。传输从亚马逊网络服务S3存储桶中读取.csv文件，并将信息附加到BigQuery表中。最近出现了一个问题，即传输既不会导致作业成功，也不会导致作业失败。 transfer logs 结果是没有导入条目，也没有触发警报；我不得不从报告的用户那里听到出了问题。问:当successful jobs = 0发生时，有没有办法在BigQuery传

浏览 16提问于2020-06-25得票数 1

回答已采纳

1回答

用于时隙和查询并发的Bigquery警报

google-cloud-platform、google-bigquery

我试图在项目级别上建立电子邮件警报，以便在达到一定数量的查询/作业并发性(例如5个并发查询)时发送电子邮件警报。我们有一个统一的定价模型。当总时隙使用量超过某一阈值时，我想做类似的电子邮件通知，例如，时隙使用率达到1000个时隙。作为下一步，我想根据上面提到的阈值来控制新的传入查询。这意味着，如果已经有5个查询正在运行，那么第6个查询

浏览 8提问于2022-06-02得票数 0

1回答

在BigQuery中聚合最近30天的数据

google-bigquery

我正在检查从Redshift迁移到BigQuery的可行性。我需要在BigQuery上实现以下用例的帮助。下面是我们目前在Redshift中是如何做到的-我们如

浏览 0提问于2016-11-08得票数 1

1回答

云运行和云调度程序-在完整数据集上获得失败结果

google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-run、google-cloud-scheduler

我正在运行云中的python脚本，每天使用从BigQuery中提取数据，并将其作为CSV文件上传到。设置使用带有GET "HTTP方法“的HTTP "Target”。当运行和时，只需几秒钟就可以运行一个非常小的BigQuery数据子集，中的“结果”总是显示“成功”，并且任务按预期完成。但是，在运行和Cloud以完成几分钟的作业时，中的<

浏览 1提问于2020-04-13得票数 1

1回答

将结果导出到表时出现Bigquery后端错误

google-bigquery

我知道我的查询很大，大约需要300秒来执行。但我认为这是某个BigQuery的错误，所以我想知道为什么会发生这个错误。以下是显示错误的图像： 

浏览 1提问于2014-08-02得票数 2

1回答

如何从大查询中获取多个查询的所有结果？

node.js、google-bigquery、nodes

我使用firebase云函数，我有一个函数，它获取一个SQL请求，调用bigquery，并将结果返回到我的iOS/Android应用程序。但是如果我想发送多个请求，我只能得到一个结果。console.log(item); console.log(rows);}; let s

浏览 0提问于2021-03-18得票数 1

1回答

从Spark重置BigQuery表

apache-spark、pyspark、google-bigquery、spark-dataframe、etl

如果我有一个内置在Databricks中的ETL，它正在将数据加载到BigQuery中，但我希望在每次运行ETL之前删除BigQuery表，这有可能吗？对新手的问题很抱歉！谢谢！

浏览 0提问于2017-09-05得票数 0

回答已采纳

2回答

在BigQuery上载和导入数据时从bq工具获取错误- 'Backend Error‘

google-bigquery

当我尝试在BQ上上传和导入数据时，我得到了错误：BigQuery error in load operation: Backend Error。我已经减小了大小，增加了两次导入之间的时间，但没有任何帮助。奇怪的是，如果我等待一段时间，然后重试，它就会正常工作。在BigQuery浏览器工具中，它在某些行/字段中显示为错误，但我检查了一下，发现没有错误。很明显，这是一条假消息，因为如果我等待并重试上传/导入相同的文件，它会起作用。小窍门

浏览 0提问于2012-06-12得票数 2

3回答

当作业完成时，不会删除从Dataflow - JSON文件写入BigQuery的内容。

google-cloud-dataflow

我们的数据流作业之一将其输出写入BigQuery。我对如何在底层实现这一点的理解是，Dataflow实际上以JSON格式将结果(切分)写入GCS，然后启动一个BigQuery加载作业来导入该数据。但是，我们已经注意到，一些JSON文件在作业之后不会被删除，不管它是成功还是失败。错误消息中没有警告或建议不会删除文件。当我们注意到这一点时，我们看了一看我们的桶，它有数百个来自失败作业<

浏览 5提问于2015-05-12得票数 6

回答已采纳

2回答

Google BigQuery* -单一职务重复导入*

google-bigquery

BigQuery中是否存在单一作业导致重复导入的已知问题？我们看到了这个问题，需要帮助解决在BigQuery中发生的问题。我们的上传过程成功地将单个作业发布到BigQuery

浏览 5提问于2012-12-26得票数 0

回答已采纳

1回答

应用程序脚本BigQuery标准SQL insert或update语句

google-apps-script、google-bigquery

我希望使用谷歌应用程序脚本中的BigQuery标准SQL方言。当未勾选"SQLVersion :使用遗留SQL“时，以下内容在BigQuery中有效；我可以很高兴地使用作业从谷歌脚本中查询BigQuery，并通过追加作业执行插入(有效地给出相同的</

浏览 12提问于2017-02-07得票数 3

回答已采纳

1回答

BigQuery:在编写查询结果时使用bigquery作业的意外行为

python、google-bigquery

我目前正在使用Bigquery作业来调整一些数据并将其加载到其他表中。table_id_from = "table_from" table_ref_to = bigquery_client.dataset('format').table("

浏览 0提问于2018-02-07得票数 1

回答已采纳

1回答

sql备份作业失败，但仍会发送成功电子邮件

sql-server、sql-server-2008-r2

我有一个SQL Server 2008R2代理作业来备份和收缩数据库。每隔一段时间，它就会失败一次，并显示“无法收缩日志文件2(插入数据库名称here_log)，因为位于文件末尾的逻辑日志文件正在使用中。SQLSTATE 01000”，但它仍然会发送一封电子邮件，通知它已成功。在作业属性中，电子邮件设置为“作业完成时”。“成功时”操作设置为“转到下一步”，“失败时”操作设置为“退出

浏览 1提问于2015-09-15得票数 0

1回答

BigQuery Web :显示存储过程的结果需要哪些权限？

google-bigquery

Web UI中查看查询结果时没有任何问题。但是，当托管用户在BigQuery网络用户界面中运行相同的SP CALL some_dataset.some_sp(param);时，它会返回“作业状态:成功”，但不会显示结果。实际行为：预期行为：我已确认SP的结果不为空。在我检查查询历史时，托管用户确实看到了"Destination table: Tempora

浏览 2提问于2020-09-23得票数 0

2回答

未触发作业时发出警报

sql-server、sql-server-2008-r2、alerts、jobs

我的服务器上有一个Sql作业，它每晚从远程服务器触发(一旦它完成了备份)。这个是可能的吗？我看了一下设置，所有的警报等等都与作业失败/成

浏览 0提问于2014-08-13得票数 4

回答已采纳

1回答

将存储BigQuery结果的作业的进度或状态转换到

php、google-cloud-platform、google-bigquery、google-cloud-storage

我可以使用PHP创建并运行GCP作业，以查询Google BigQuery数据集，并将结果集导出/保存为CSV文件到。这很好，但是当结果集很大时，将数据移动到GCS需要一段时间。或者，是否有任何方法可以确定到目前为止，有多少MB/GB的数据已经成功地移动到GCS？

浏览 0提问于2018-05-15得票数 0

回答已采纳

2回答

Google BigQuery* getQueryResults返回有效职务Id的404错误*

google-bigquery

我已经成功地用我自己的工作id创建了Google查询作业。并能再次使用工作id，并在昨天取得了成功。但同一份工作不能正常工作。我在中尝试了带有项目id的作业Id，得到了与下面'404‘相同的错误 "error": { { "reason还是在创建作业Id以永久

浏览 0提问于2014-01-27得票数 3

回答已采纳

2回答

在数据流批处理-作业步骤完成后运行函数

java、google-cloud-dataflow

我有一个数据流作业，它有一个扇形的步骤，每个步骤都将结果写入GCS上的一个不同的文件夹。在批处理作业执行期间，每个文件夹都会写入数百个文件。我想确定何时完成FileIO步骤，以便运行将文件夹的全部内容加载到BigQuery表的java代码。我知道我可以用completion和PubSub通知来完成每个编写的文件，但我更喜欢在完成整个文件夹时才这样做一次。谢谢!

浏览 4提问于2020-05-25得票数 0

回答已采纳

3回答

如何将Bigquery结果保存为PHP脚本中的表？

google-bigquery

我从PHP脚本中查询Big query表并得到结果。我想将结果保存在新的结果表中，以备将来需要…

浏览 1提问于2014-03-19得票数 3

1回答

将查询结果保存到BigQuery中的表的成本？

google-bigquery

我很好奇有一个python (QueryJobConfig)可以设置目标表来保存查询结果，所以为了节省这种开销，在GCP中需要花费多少？为了明确起见，保存查询结果可能会被视为插入，因此，如果我经常使用此方法更新表，那么执行流插入将花费很大的成本。

浏览 3提问于2020-04-20得票数 0

回答已采纳

点击加载更多