如何通过API或消息队列获取Databricks工作区火花作业日志
如何通过API或消息队列获取Databricks工作区火花作业日志
提问于 2022-09-19 12:07:59
我正在尝试创建一个服务，查找特定databricks工作区的所有火花作业日志。假设我已经在databricks工作空间中部署了两个星火流作业--我希望通过任何API或像kafka/eventhubs这样的消息队列获取这两个作业的日志。
这样，我就可以订阅那些流日志，并实时地采取一些基于事件的操作。
在Databricks工作区中是否有任何API可以提供每个火花作业的日志，或者我们可以在事件中心上获得那些星火应用程序的自定义日志？
回答 1
Stack Overflow用户
发布于 2022-10-02 05:25:36
在集群创建期间，可以在集群级别启用Databricks日志传递。如果您有职务专用群集(职务群集)，则可以根据职务进行隔离。不确定API是否适用于这种情况，但集群日志每5分钟左右交付一次：https://docs.databricks.com/clusters/configure.html#cluster-log-delivery-1
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/73773127
复制相关文章
相似问题
腾讯云开发者
