Azure函数是作为调度器使用的Azure Data Factory的一个很好的替代品吗?它具有要监控的blob触发器,并且可以使用C#通过API触发数据库作业。但这是一个可行的替代方案吗?
已编辑以添加更多信息。希望基于触发器文件触发databricks作业,但不希望使用Azure数据工厂或Data bricks作业。
发布于 2019-09-23 20:10:35
我可能会在blob存储事件blob created事件上使用带有事件网格触发器的简单逻辑应用程序。基于触发器数据,我会调用Databricks Job REST API。
我在不到10分钟的时间里完成了下面的整个演示,所以设置起来很快。
在这个演示中,我使用了
和逻辑应用程序设置作为触发器
我强烈建议添加像这样的前缀过滤器
/blobServices/default/containers/<container_name>
因此,当事件网格对整个存储帐户中的所有事件做出反应时,您不会从不同的容器中触发太多逻辑应用程序。
并像这样调用HTTP
当然,在这一点上,只需将clusters list更改为submitting job REST call。
并查看执行情况,如
只需确保EventGrid资源提供程序已注册,否则逻辑应用程序将永远不会触发。
https://stackoverflow.com/questions/58067345
复制