如何将Git项目变成可运行的databricks notebook？
将Git项目变成可运行的Databricks Notebook可以通过以下步骤实现：
- 克隆Git项目：使用Git命令或Git客户端将项目从Git仓库克隆到本地机器上。
- 安装Databricks CLI：Databricks CLI是一个命令行工具，用于与Databricks集成。在本地机器上安装Databricks CLI，并配置与Databricks集群的连接。
- 创建Databricks集群：在Databricks工作区中创建一个集群，用于运行Notebook。
- 创建Databricks目录：在Databricks工作区中创建一个目录，用于存储Notebook。
- 将Git项目导入Databricks：使用Databricks CLI将Git项目导入Databricks工作区的目录中。可以使用以下命令：
- 将Git项目导入Databricks：使用Databricks CLI将Git项目导入Databricks工作区的目录中。可以使用以下命令：
- 其中，
/path/to/git/project是Git项目的本地路径，/path/in/databricks/workspace是Databricks工作区中目标目录的路径。 - 转换为Databricks Notebook：在Databricks工作区中，找到导入的Git项目文件夹，将其中的代码文件转换为Databricks Notebook。可以通过右键单击文件并选择"Convert to Notebook"来完成转换。
- 配置Notebook：打开转换后的Databricks Notebook，根据需要配置Notebook的语言、集群和其他设置。
- 运行Notebook：在Databricks工作区中，选择要运行的Notebook，并将其附加到先前创建的Databricks集群上。然后，可以执行Notebook中的代码并查看结果。
通过以上步骤，你可以将Git项目转换为可在Databricks上运行的Notebook，并利用Databricks的功能进行数据处理、分析和可视化等操作。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Databricks产品介绍：https://cloud.tencent.com/product/dbt
- 腾讯云CLI文档：https://cloud.tencent.com/document/product/1345
- 腾讯云Databricks文档：https://cloud.tencent.com/document/product/1345
相关·内容
我的设置包括连接到Azure DataBricks的git存储库，这允许在PyCharm中开发databricks python笔记本，在DataBricks UI中推送并运行更新的笔记本。
每当我从WebUI更改笔记本文件并执行提交时，笔记本文件中的所有行都会加上#魔术：
# Databricks notebook source
%pip install -r "../requirements.txt"
import os
变成：
# Databricks notebook source
# MAGIC %pip install -r "../requirement
浏览 9提问于2022-05-23得票数 1
，我可以让任务找到我想在Databricks中运行的笔记本-
notebook_task_params = {
'new_cluster': new_cluster,
'notebook_task': {
'notebook_path': '/Users/airflow@example.com/PrepareData',
},
}
但是，是否有一种方法可以告诉任务接受Python项目(或者是车轮文件的路径)？从S3或Artifactory运行它而不是笔记本？
我如何使它工作，以便它将准备生产
浏览 4提问于2022-10-19得票数 1
我有一个笔记本功能，在一个回购文件夹，我试图运行在另一个笔记本。
通常我可以这样运行：%run /Users/name/project/file_name
因此，我将这两个文件(function_notebook、processed_notebook)克隆到Databricks中的Repo中。
当我试图复制刚才复制的路径时，会出现以下选项：Copy File Path relative to Root
但是，在Workspace用户文件夹中，选项是Copy File Path
显然，我不太理解相对路径和工作区路径之间的区别。
如何运行已克隆在回购协议中的笔记本?
层次结构：
RepoName
浏览 9提问于2021-07-06得票数 4
回答已采纳
Databricks Notebook - Microsoft Azure -当databricks notebook附加到群集时，自动完成不起作用。
有没有人可以分享一些解决这个问题的建议？
编辑过的
我有几个集群，我发现自动补全的这种行为并不只适用于其中一个集群！什么时候会发生这种情况，有什么建议吗？
浏览 5提问于2020-04-23得票数 0
2回答
我正在使用databricks-connect和VS Code为Databricks开发一些python代码。
我想使用databricks-connect直接从VS code中编码和运行/测试所有东西，以避免与Databricks web IDE打交道。对于基本的笔记本，它工作得很好，但我想对多个笔记本做同样的事情，并使用导入(例如，在另一个笔记本中使用import config-notebook )。
然而，在VS代码中，import another-notebook工作得很好，但在数据库中却不起作用。据我所知，Databricks中的替代方案是%run "another-note
浏览 45提问于2021-10-19得票数 1
2回答
路径包含空名称
、、、
我正在运行以下任务，以将笔记本上传到Azure DevOps发布管道的Databricks：
databricks workspace mkdirs //build
databricks workspace import --language PYTHON --format SOURCE
--overwrite _databricks/notebook/$(notebook_name)-$(Build.SourceVersion).py //build/$(notebook_name)-$(Build.SourceVersion).py
但是获取错误：(//build/helloworld-
浏览 0提问于2020-05-16得票数 0
我试图自动化创建蓝色数据库的过程与集群，笔记本和作业，并运行笔记本，通过地形。我所拥有的代码创建了上述资源。但我无法通过地形运行笔记本或作业。
provider "databricks" {
azure_workspace_resource_id = azurerm_databricks_workspace.example.id
}
resource "azurerm_resource_group" "example" {
name = "example-resources"
location = "
浏览 8提问于2022-08-20得票数 0
我将我的databricks工作区目录(/Users/xyz/)内容导出到databricks的特定位置，例如/dbfs/tmp，其中包含几个python笔记本和脚本，然后尝试调用以下代码从导出的位置运行名为xyz.py的python笔记本，如下所示：
dbutils.notebook.run("/dbfs/tmp/xyz", timeout_seconds=1200)
OR
dbutils.notebook.run("dbfs:/tmp/xyz", timeout_seconds=1200)
OR
dbutils.notebook.run(".
浏览 26提问于2020-06-05得票数 2
我们在Azure上运行了几个项目。 因为它们需要彼此分离，所以我们需要为每个项目建立一个Azure数据工厂(因为ADF本身没有ACL )。每个项目都将通过DevOps拥有自己的GIT存储库(每个项目都有自己的DevOps项目，所以分开的GIT )，我们最终将每个项目的ADF连接到自己的GIT。所以我们有： Project1.ADF <-> Project1.DevOpsProject1.GIT Project2.ADF <-> Project2.DevOpsProject2.GIT 我们希望能够从每个ADF连接到Azure Databricks。我们希望避免由于成本的
浏览 17提问于2019-03-22得票数 0
回答已采纳
1回答
是否有api或其他方式以编程方式运行Databricks作业。理想情况下，我们希望从笔记本中调用Databricks作业。下面只是给出当前正在运行的作业id，但这并不十分有用：
dbutils.notebook.entry_point.getDbutils().notebook().getContext().currentRunId().toString()
浏览 5提问于2022-08-26得票数 0
回答已采纳
我使用Databricks中的以下代码来说明如何在Scala，https://docs.databricks.com/notebooks/notebook-workflows.html#run-multiple-notebooks-concurrently中并行运行它的笔记本。我正在尝试添加重试功能，如果序列中的一个笔记本失败，它将根据我传递给它的重试值重试该笔记本。 以下是Databricks的并行notebook代码： //parallel notebook code
import scala.concurrent.{Future, Await}
import scala.concur
浏览 21提问于2020-07-10得票数 2
回答已采纳
对于某些功能，我需要将databricks notebook的逻辑与大型集群的逻辑和本地机器的逻辑分开。那么有没有办法检查一下，如果R在databricks notebook上运行。就像Sys.info()里的一些标签之类的？
浏览 6提问于2020-02-11得票数 0
我正在将一些代码从Databricks notebook本地转移到Jupyter notebook。 以下在Databricks Notebook中工作的代码不能在本地工作。 res = sc.broadcast(spark.read.table(my_table)) 以下是我的本地代码： from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
res = sc.broadcast(spark.read.table(my_table)) 出现以下错误： -----------------
浏览 49提问于2020-03-18得票数 1
回答已采纳
我正在处理Azure Databricks。目前我的Pyspark项目在'dbfs‘上。我配置了一个spark-submit作业来执行我的Pyspark代码(.py文件)。然而，根据Databricks文档，spark-submit作业只能在新的自动化集群上运行(可能是设计出来的)。
有没有办法在现有的交互式集群上运行我的Pyspark代码？
我还尝试在%sh单元格中的notebook中运行spark-submit命令，但没有使用。
浏览 4提问于2020-05-22得票数 0
1回答
我在本地使用来可视化数据。我也尝试在Azure版本的Databricks中这样做，但甚至无法运行的第一行：
from bokeh.io import push_notebook, show, output_notebook
from bokeh.plotting import figure
output_notebook() # <- fails
如果出现以下错误，这将失败：
TypeError: publish_display_data()缺少一个必需的位置参数：'data‘
我进一步研究了一下，发现databricks显然是构建在开放的IPython 2.2.0之上的
浏览 0提问于2018-10-11得票数 1
回答已采纳
如何在Databricks notebook - API中运行以检查其他正在运行的作业： https://docs.databricks.com/dev-tools/api/latest/jobs.html 谢谢
浏览 13提问于2020-07-29得票数 1
我正在使用新的Databricks Repos功能，在notebook活动的Data Factory UI中，您可以浏览Databricks工作区并选择Repos > username > project > folder > notebook。 是否可以在Data Factory的特定分支中调用Databricks notebook？
浏览 17提问于2021-09-27得票数 2
回答已采纳
2回答
我有一个从Airflow DAG调用的Databricks PySpark笔记本。我通过转到Admin - Variables在Airflow中创建了一个变量，并添加了一个键-值对。 我找不到在Databricks中使用该气流变量的方法。 编辑以添加我的代码示例。 notebook_task = {
'notebook_path': '/Users/email@exaple.com/myDAG',
'base_parameters': {
"token": token
}
} 和这里定义的
浏览 42提问于2021-07-13得票数 2
回答已采纳
是否可以在不调用DB集群的情况下在Jupyter Notebook上运行Databricks中的代码？我知道有一个VScode的应用程序，但我想试试Jupyter Notebook。 我想要在我的计算机上运行所有的单元(使用本地处理)，当它完成后，我只需要将它转移到Databricks。这样，我就不会在测试代码上消耗集群。
浏览 11提问于2020-07-14得票数 0
回答已采纳
def _get_dbutils():
try:
import IPython
ip_shell = IPython.get_ipython()
if ip_shell is None:
raise _NoDbutilsError
return ip_shell.ns_table["user_global"]["dbutils"]
except ImportError:
raise _NoDbutilsError
except Key
浏览 12提问于2021-12-06得票数 1
2回答
使用数据库连接
、、
我想在本地使用我最喜欢的编辑器编辑Databricks笔记本，然后使用在我通常通过web接口访问的Databricks集群上远程运行笔记本。
不幸的是，在搜索了几天之后，我无法找到有关Databricks Connect的详细文档。
我运行databricks-connect configure，就像上面的PyPI页面所建议的那样，但是我不确定其中的一些设置是什么。有人能帮我看看这个(比如在网络界面上找到这些值的地方)还是提供一个指向适当文档的链接？
我知道一些设置应该是什么，但为了完整和有益于其他设置，我将包括在运行databricks-connect configure时出现的所有内容。
浏览 2提问于2019-03-05得票数 6
回答已采纳
1回答
我试图使用由气流(如DatabricksSubmitRunOperator或DatabricksRunNowOperator )提供的databricks内置操作符，但我无法使用它，它给出了以下错误：
对数据库的1次API请求失败，原因是: HTTPSConnectionPool(host='usdev.databaricks.xyz.com'，port=443)：最大重试超过url: /api/2.0/作业/运行-现在(由SSLError(SSLCertVerificationError(1，'SSL: CERTIFICATE_VERIFY_FAILED证书验证失败:
浏览 8提问于2021-12-21得票数 2
我正在尝试建立一个AWS lambda函数，它调用一个databricks notebook (在s3触发器的情况下)，我知道我必须在我的lambda函数(Python)代码中使用databricks的Jobs API来使用.I-submit函数的JSON有效负载来发出POST请求。
尽管文档不是很清楚，但我能够调用一个测试脚本，在检查响应文本时，我看到databricks登录页面的html代码，这意味着它没有通过身份验证。
我确实阅读了用户令牌，但我甚至不确定如何将它们结合起来进行身份验证。
以其他方式实现此功能的任何帮助，或者帮助我使用user_tokens进行身份验证，以便流到达note
浏览 0提问于2019-05-16得票数 1
1回答
在尝试使用databricks的新repo功能实现解决方案时，我面临着一个小小的挑战。我在一个需要能够使用python和pyspark代码的interdisziplinairy项目中工作。python团队已经构建了一些库，这些库现在也希望被pyspark团队使用(例如预处理等)。我们认为使用新的repo功能将是一个很好的折衷方案，可以轻松地进行协作。因此，我们将python源代码添加到所有库文件中，以便它们可以在数据库中轻松更改(由于##开发尚未完成，代码也将由pyspark团队更改)。不幸的是，在databricks工作区中直接从repo中“导入”库模块时，我们遇到了麻烦。
让我用一个简单的
浏览 0提问于2021-04-30得票数 2
我们有一个数据库平台，其中的repos和文件在repos中被启用。因此，我们可以在repos中包含.py文件，这些文件可以由Databricks笔记本调用。
我们目前正在测试在Databricks集群上运行单元测试的可行性，而不是在Git / CI环境中使用(PySpark)映像。
Databricks中的回购看起来像
| - notebook
| - mycode.py
| - mycode_test.py
在这里，mycode.py包含一个函数，该函数在Spark上应用转换。文件mycode_test.py包含一个带有pytest的单元测试构建(以及一些用于创建测试数据和处理session
浏览 1提问于2022-06-29得票数 0
我需要使用相对路径运行databricks notebook 3文件夹，但它不起作用。 这是一个限制吗？如果我指定了完整路径，它就会起作用。 这是我测试过的： %run ./folder/notebook - WORKS %run ../folder/notebook - WORKS %run .../folder/notebook -不工作
浏览 2提问于2021-09-06得票数 1
回答已采纳
在Databricks中，我理解一个笔记本可以从另一个笔记本中执行，但默认情况下，该笔记本将在当前集群中运行。
我让notebook1在cluster1上运行，我使用下面的命令从notebook1运行notebook2
dbutils.notebook.run("notebook2", 3600)
但是这将在cluster1上运行，我如何使它在cluster2上运行？
浏览 22提问于2022-02-07得票数 2
我正在尝试使用Linux服务器上的bash脚本中的notebook参数运行Databricks作业。我正在按照docs的说明进行操作，并且我已经验证了这些命令在终端中是否正常工作。 下面是我的脚本： #!/bin/bash
### this commands works in terminal but not when running script
databricks jobs run-now --job-id 1 --notebook-params '{"param1":"value1"}'
### this command works
浏览 23提问于2019-05-08得票数 1
我们有一个托管在私有bitbucket存储库上的自定义python包，它可以通过%pip install git+https//...安装在任何databricks笔记本电脑上。 其中一个函数执行许多操作，然后将数据推送到另一个需要凭据的位置。当函数在本地运行时，这是通过配置文件处理的，但如果函数在databricks上运行，我们希望将这些凭据存储在databricks secret (作用域)中。 然而，尝试做一些像这样的事情 from pyspark.context import SparkContext
from pyspark.sql.session import SparkSess
浏览 22提问于2021-04-14得票数 0
我不知道我是否缺乏气流调度器的知识，或这是否是一个潜在的缺陷从气流。
情况如下：
我的守护进程的开始日期设置为"start_date": airflow.utils.dates.days_ago(1),i，将上传到气流扫描DAGs的文件夹中，然后打开dag (默认情况下是“关闭”)，正在执行中的任务立即进入“up_for_retry”，您不会真正看到已经尝试过的before.airflow Version Info：Version : 1.10.14。它运行在蔚蓝使用芹菜执行器和Redis任务实例详细信息如下：
Task Instance Details
Dependencie
浏览 12提问于2021-05-17得票数 0
在Azure上的Git中开发了一个使用RStudio跟踪的R项目之后，我需要在一个数据库笔记本中执行整个项目。
因此，main.R正在从项目的不同文件夹中采购更多的功能。
我想知道最好的方法是将项目导入到databricks notebooks中，避免将所有功能都变成单个notebooks。有没有可能一下子把它们都找出来？
浏览 26提问于2019-11-04得票数 1
1回答
我需要更新我的python路径，以便可以在数据库上使用python3。
在databricks notebook上：
%sh
echo $PATH
/databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin
然后，我运行：
%sh
export PATH=/databricks/python3/bin:$PATH
但是，我还是得到了：
%sh
echo $PATH
/databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin
浏览 0提问于2019-12-20得票数 0
我正在使用ADF中的Databricks Notebook活动来转换ADLS gen2文件夹中的文件。这个文件夹是动态的，并且每天都会创建一个新的文件夹。因此，我希望Databricks Notebook活动每天动态拾取foldername，以处理该文件夹中的文件。
我们可以在ADF或Databricks Notebook活动中执行此操作吗？
浏览 1提问于2020-08-26得票数 0
我在databricks中有一个笔记本，我将其放入作业中，以便每天在特定时间运行，并且我还从该笔记本创建了仪表板，如何在每次作业运行时自动导出仪表板结果？我知道Jobs API，但我找不到正确的命令来执行此操作。现在，我使用python包databricks-api (https://pypi.org/project/databricks-api/)连接到databricks。我的最终目标是自动化运行notebook的过程，创建仪表板，然后保存结果。
浏览 12提问于2019-09-24得票数 4
我正在尝试做的是使用‘S3KeySensor’来检查一个数据的可用性(数据已经存在)，然后使用‘DatabricksSubmitRunOperator’来运行一个数据库作业。S3KeySensor任务在几秒钟内失败，在此之后下游任务也会失败。
在心跳日志中，没有详细说明输入传感器失败的原因，甚至有一行写着“Executor reports Emily_example_databricks_operator_3.inputsensor execution_date=2018-03-20 11:15:00 as success”。在那之后，它一直在说“没有任务要发送给执行器”，并一遍又一遍地重复它
浏览 3提问于2018-03-24得票数 0
1回答
为什么我不能这样做呢？
import spark.implicits._
dbutils.fs.ls(folderName).toDF
抛出错误
value toDF is not a member of Seq[com.databricks.backend.daemon.dbutils.FileInfo]
但它在databricks notebook上运行得很好。有谁能告诉我我错过了什么吗？
我正在使用下列库"com.databricks“%% "dbutils-api”% "0.0.4“
浏览 0提问于2020-05-05得票数 0
我在Databricks notebook上尝试了sys.exit(0)(Python代码)和dbutils.notebook.exit()。但这两种选择都不起作用。请建议在Databricks notebook中的特定单元格之后停止代码执行的任何其他方法。
浏览 20提问于2021-02-19得票数 1
我正在尝试在PowerShell中使用Databricks CLI。我需要将JSON字符串作为参数传递。
我有两个变量- job_id等于10，parameterValue等于some string。
我使用了4种不同的组合，但仍然得到一个错误的Error: JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)
使用的代码：
databricks jobs run-now --job-id $job_id --notebook-params "{"
浏览 16提问于2021-10-26得票数 1
我们在blob中的Azure存储帐户中存储了python脚本。我们希望在azure databricks集群中部署/创建此python脚本(作为notebook)，以便稍后我们可以运行Azure数据工厂管道，并且管道可以执行在databricks中创建/部署的notebook。
我们只希望在blob中可用时创建/部署此脚本一次。
我试着在网上搜索，但找不到合适的解决方案。
是否可以从存储帐户部署/创建笔记本？如果是，是如何实现的？
谢谢。
浏览 21提问于2021-05-28得票数 1
我想在databricks环境中安装miniconda，运行以下代码：
%sh
/dbfs/FileStore/Miniconda3_latest_Linux_x86_64.sh
但是当命令行要求我按Enter键时，我不能与之交互。
如何在databricks notebook中传递Enter？
浏览 8提问于2021-03-06得票数 0
我正在尝试使用databricks notebook中的PySpark将XML文件加载到dataframe中。 df = spark.read.format("xml").options(
rowTag="product" , mode="PERMISSIVE", columnNameOfCorruptRecord="error_record"
).load(filePath) 在这样做的时候，我得到了以下错误： Could not initialize class com.databricks.spark.xml.ut
浏览 40提问于2021-01-11得票数 1
我想自定义我的DAG，以便在成功或失败时调用datarbicks笔记本。我根据成功/失败案例创建了两个不同的函数来调用databricks notebook。成功或失败回调函数正在调用，但数据库notebook未执行。以下是示例代码。 def task_success_callback(context):
""" task_success callback """
context['task_instance'].task_id
print("success case")
dq_n
浏览 119提问于2021-01-12得票数 1
回答已采纳
1回答
我正在尝试在Azure Databricks上实现DevOps。
我已经完成了databricks、notebooks和dbfs文件的devops实现。
我确实有许多databricks作业在我的集群上按计划运行。其中一些作业指向notebook文件，少数作业指向dbfs位置中的jar文件。
有没有办法在azure databricks作业上实现devops过程，以便DEV中的任何作业中的任何更改都将调用构建管道，并在PROD databricks实例中部署相同的作业。
首先，我想知道是否有可能在azure databricks作业上实现devops。
感谢任何线索！
浏览 3提问于2020-11-27得票数 2
1回答
我是Databricks和Scala的新手。我试图在主笔记本上并行运行多本笔记本。
我得到了下面的代码从数据库网站运行笔记本并行。
平行
import scala.concurrent. [Future, Await}
import scala.concurrent.duration._
import scala.util.control.NonFatal
case class NotebookData (path: String, timeout: Int, parameters: Map [String, String] = Map.empty [String, String])
d
浏览 21提问于2022-01-27得票数 0
我从JobScheduling向Databricks Notebook传递了一个参数，并尝试使用dbutils.widgets.get ()在python Notebook中捕获它。
当我运行排定的作业时，我得到由库模块""InputWidgetNotDefined“”抛出的错误“"No Input Widget defined”“
我可以知道原因吗，谢谢。
浏览 5提问于2018-12-04得票数 0
我想通过Databricks API执行Databrikcs notebook的代码，并获得notebook代码的输出作为响应。 有没有可能有同样的变通方法？ Databricks SQL api也可以做到这一点吗？
浏览 21提问于2021-11-01得票数 1
回答已采纳
1回答
在databricks notebook中，我遇到了合并大量数据集的问题。如何将merge into脚本转换为update/insert target_table = f"""
MERGE INTO {target_table_name} target
USING {staging_table_name} source
ON
source.ResponseRgBasketId = target.ResponseRgBasketId
AND source.RequestTimestamp = target.RequestTimestamp
浏览 44提问于2021-03-22得票数 1
我正在尝试在Azure Databricks (而不是notebook)上部署Scala库来执行一些计算。我正在尝试从Azure Datalake Store Gen 2目录读取一些avro文件，执行一些操作，然后再次使用avro将其存储在另一个目录中。
我正在关注这个。
我的理解是，我需要挂载Azure Datalake的目录，这样我就可以直接从那里读取avro文件，所以我需要这样做：
dbutils.fs.mount(
source = "abfss://<file-system-name>@<storage-account-name>.dfs.core
浏览 17提问于2020-03-17得票数 0
回答已采纳
在Azure中，我使用Databricks.Python节点运行python代码。我要做的是从Python返回一个值(例如print(value_to_return))，并使用它来设置变量的值，该值将由另一个节点(web)使用。
是否存在从ADF管道运行的python脚本返回值的问题。我知道我可以使用Databricks.NoteBook节点并在最后添加dbutils.notebook.exit()，但我确实试图使用Python节点来实现这一点。
我看到的重复解决方案是将该值写入文件/db表，然后将其读取并以这种方式设置变量值。
浏览 5提问于2022-07-14得票数 0
我想从运行在本地VS代码中的flask api函数中触发我的azure帐户中的Databricks notebbok。我有所有的连接参数，如主机网址，cluster_id，Token_id，除了Org_id，我无法找到和笔记本电脑的路径。如何编写一个Flask Api来触发(运行) Databricks Notebook。
浏览 0提问于2020-04-29得票数 1
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
