可以使用dbutils在notebooks中访问Databricks密钥,但是,由于dbutils在notebooks之外不可用,因此如何在pyspark/python作业中访问密钥,特别是当它们使用mlflow运行时。我已经试过How to load databricks package dbutils in pyspark了 它不适用于远程作业或mlflow项目运行。
我正在使用Azure Data Factory运行我的databricks notebook,它在运行时创建作业集群,现在我想知道这些作业的状态,我的意思是它们是成功还是失败。那么我可以知道,如何通过使用作业id或运行id来获取运行状态。注意:我没有在databricks工作区中创建任何作业,我正在使用Azure Data Factory运行我的笔记本,Azure
我想在Azure Blob中读取一个拼花文件,所以我用dbultils.fs.mount将数据从Azure Blob挂载到本地hello big data
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.propertiesDelegatingMethodAcce