问Snowflake Snowpipe电子邮件警报机制

EN

Snowflake提供的数据库和环境之间的接口主要是云存储。除了云存储事件之外，没有与消息传递的开箱即用集成。

所有其他集成和消息传递必须由客户端解决方案提供。

Snowflake还提供了可用于监控的计划任务，但接口限制与上述相同。

Snowflake是数据库即服务，依赖于其他(外部)云服务来实现完整的系统解决方案。

这与在您自己的计算资源上安装自己的数据库软件副本不同，在计算资源上，您可以将任何软件与数据库一起安装。

如果我说的有误，请纠正我的理解。我相信Snowpipe对于连续的数据加载是很好的，但是它很难或者没有办法跟踪源文件中的所有错误。正如在前面的建议中提到的，我们可以构建一个针对COPY_HISTORY和/或PIPE_USAGE历史记录的可视化查询，但它不会提供源文件中的所有错误信息()。它只会告诉您这些与错误相关的信息

​

​

PIPE_USAGE历史记录不会告诉您任何关于源文件中的错误的信息。

惟一有用的函数(用于返回所有错误)是Information_Schema中的VALIDATE表函数，但它只对COPY_INTO进行验证。

有一个类似的管道函数，名为VALIDATE_PIPE_LOAD，但根据文档，它只返回第一个错误。Snowflake说：“这个函数返回有关的详细信息，在尝试将数据加载到Snowflake表时遇到任何错误。”但是输出列错误只显示源文件中的第一个错误。

所以这是我的问题。如果你们中的任何人已经成功地在实时生产环境中加载了Snowpipe，那么你们是如何处理错误和警报机制的呢？

我认为与Snowpipe相比，在存储过程中使用COPY_INTO并让shell脚本调用此存储过程，然后使用任何Enterprise Scheduler (如Autosys/Control-m )安排此脚本运行，是一种非常简化的解决方案。

使用外部函数，流和任务的警报可能是一个优雅的解决方案，但同样，我不确定是否解决了错误跟踪的问题。

email和Slack警报都可以通过外部函数实现。