目前，我们主要使用python/pyspark在azure databricks中使用一堆笔记本来处理数据。 我们想要实现的是确保在启动数据处理之前启动(预热)我们的集群。因此，我们正在探索从databricks notebooks中访问Cluster API的方法。到目前为止，我们尝试运行以下代码： import subprocesssubprocess.run(
浏览 35提问于2021-09-01得票数 1
回答已采纳
我想要在一个正在运行的Spark作业中获取集群链接(或手动组成链接的集群ID )。 这将用于打印警报消息中的链接，使工程师更容易访问日志。在Databricks中运行的Spark作业有可能实现这一点吗？
浏览 35提问于2021-06-30得票数 3
回答已采纳
2回答
我正在不同的Databricks笔记本中转换数据(读取、转换和写入ADLS)。我将这些笔记本合并在一个DataFactory管道中：我已经从DataFactory创建了到我的数据库的连接，并将它添加到我的笔记本活动中。每当管道被触发时，我想启动Databricks集群。总的来说，这一切都很好
浏览 0提问于2019-02-22得票数 1
回答已采纳
我有一个DataBricks笔记本，它将日期作为输入参数，并作为日常作业运行。
现在我需要让它在过去的几天内运行，但是使用自定义日期手动启动作业是相当乏味的。有没有一种简单的方法可以在一次拍摄中运行一批作业，例如从另一个笔记本(在日期范围内的循环中) ？
浏览 15提问于2021-05-26得票数 0
因此，我目前正在尝试为我的Databricks开发环境设置秘密。我已经使用Databricks-cli成功地设置了它们。我现在正尝试在我的spark jar (用scala编写)中使用它们。但是，我找不到dbutils位于哪个包中。
浏览 43提问于2019-02-07得票数 0
在工作中，我有一个Scala Databricks Notebook，它使用了许多来自Maven和一些JAR文件的库导入。我的问题是，当我在这个Notebook上计划作业时，它有时会失败(完全随机地，但通常是10次以上运行1次)，因为它在所有库安装之前执行单元。因此作业失败，我必须手动启动它。这种来自Databricks产品的行为很不专业，因为我不能在生产中使用它，因为它有时会失败。 我尝试将1分钟左右的Thread.Sleep()放在所有导入之前，但这不会改变任何事情。对于Python
浏览 28提问于2021-11-23得票数 0
回答已采纳
是否可以在不调用DB集群的情况下在Jupyter Notebook上运行Databricks中的代码？我知道有一个VScode的应用程序，但我想试试Jupyter Notebook。我想要在我的计算机上运行所有的单元(使用本地处理)，当它完成后，我只需要将它转移到Databricks。这样，我就不会在测试代码上消耗集群。
浏览 11提问于2020-07-14得票数 0
回答已采纳
我一直在使用Python/ R开发Databricks notebook。一旦工作完成，我们需要终止集群，以节省相关成本。(因为我们正在使用机器)。因此，如果我们想要在任何笔记本上工作，我们还必须启动集群。我已经看到，在集群中重新安装这些包需要花费很多时间。有没有办法避免每次启动集群时都安装？
浏览 0提问于2019-04-01得票数 1
我们在blob中的Azure存储帐户中存储了python脚本。我们希望在azure databricks集群中部署/创建此python脚本(作为notebook)，以便稍后我们可以运行Azure数据工厂管道，并且管道可以执行在databricks中创建/部署的notebook我们只希望在blob中可用时创建/部署此脚本一次。是否可以从存储帐户部署/创
浏览 21提问于2021-05-28得票数 1
我有一些初始化脚本，我想在集群启动时运行它们 群集具有init脚本，该脚本位于一个文件中(在dbfs中) 基本上就是这样 dbfs:/databricks/init-scripts/custom-cert.sh/spark/conf/spark-env.sh
""") 但是，如果我只是将init脚本放在bash脚本中，并通过管道将其上传到DBFS，则init脚本不会执行任何操作。e
浏览 60提问于2021-09-27得票数 1
我将我的共享代码放在一个package单元格中，并且我正在将这个包用于其他的notebook单元格。但每次集群重新启动时，包单元都会被销毁，我使用该包的笔记本找不到它，并抛出错误，如error: object abc is not a member of package com import com.abc.utility.Shared单独notebook中的package单元格的代码如下 package com.abc.utility
import
浏览 56提问于2021-06-29得票数 1
我正在使用Databricks Resi API在现有集群中使用notebook_task创建作业，并获取job_id。然后调用run-now api来触发作业。在这一步中，我想通过notebook_params发送一个list作为参数，它抛出一个错误，说“字段值需要非数组”。
浏览 3提问于2019-06-07得票数 1
2回答
在数据库上可视化气流数据集
、、、、
我已经在databricks上安装了airflow 1.9.0 (python3包)。在databricks笔记本中，我使用了： airflow list_dags ----------------------------------------------但是，我无法在databricks上找到如何做到这一点。气流安装在databricks集群上，而不是在我的本地机器上。如果在本地计算机上运行localhost:8080，则无法访问它。
谢谢
浏览 0提问于2019-12-22得票数 0
我是Databricks的新手。我正在尝试在GCP上配置databricks集群，但无法执行此操作，因为我的状态为挂起。我还启用了所需的API，如compute.googleapis.com、container.googleapis.com、deploymentmanager.googleapis.com、iam.googleapis.com来启动databricks集群。
浏览 49提问于2021-09-09得票数 0
1回答
我希望我的用户在UI中运行Spark SQL查询，并查看查询的结果集。 在内部，.Net Rest API会将查询从UI传递到Databricks集群或notebook或odbc以运行查询。我的后端平台是databricks。 请建议如何通过一些代码/代码链接来实现这一点。提前感谢！
浏览 12提问于2020-09-23得票数 1
回答已采纳
如果Azure DevOps要部署，如果在databricks上有正在运行的作业(例如，它是一个流作业)，那么当前正在运行的作业仍在运行还是停止？它还会使用旧库还是新库？新代码什么时候取出来？
浏览 5提问于2022-02-21得票数 0
我们试图通过shell脚本使用REST调用触发现有的笔记本。工作区中运行着现有的集群。我们希望将Databricks笔记本与现有的集群连接起来，并触发笔记本
我们正在努力找出配置和REST调用，这些调用可以在运行时动态地触发带有特定集群的笔记本。
浏览 8提问于2022-11-28得票数 0
5回答
Databricks很聪明，但是如何识别当前笔记本的路径呢？关于的指南没有帮助。它建议：dbutils.notebook.getContext.notebookPath有什么建议吗？
浏览 1提问于2018-11-28得票数 19
回答已采纳
我使用Azure在表示层/黄金层中创建数据转换和表。这些表中的底层数据位于Azure存储帐户中。我在黄金层中有几个这样的表，例如:存储单个客户视图数据的表。来自不同系统的外部应用程序需要访问这些数据，即应用程序将启动API调用有关客户的详细信息，并需要通过查询单个客户视图表发送匹配详细信息(客户详细信息)的响应。问题：
因为这是一个
浏览 11提问于2022-07-24得票数 1
回答已采纳
call last): NameError: name 'dbutils' is not defined
那么，有没有办法通过包含databricks包来在pyspark中运行它，就像导入一样？
浏览 13提问于2018-08-17得票数 7
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
