将Python脚本提交到Databricks作业

文章/答案/技术大牛

发布

1回答

pyspark、gitlab、databricks、azure-databricks、gitlab-api

是否可以向数据库作业提交/配置spark python脚本(.py)文件？我在Pycharm IDE中进行开发，然后将代码推送/提交到我们的gitlab存储库。我的需求是，当python脚本移动到GitLab主分支时，我需要在databricks集群中创建新作业。我想得到一些建议，如果有可能创建一个python脚本上的数据库作业，使用gitlab.yml<em

浏览 17提问于2019-09-06得票数 3

5回答

如何在Docker文件中配置Databricks令牌

docker、databricks、databricks-cli

我有一个码头文件 FROM python # Creating Application So

浏览 9提问于2020-10-21得票数 3

1回答

如何在Databricks中终止作业

python、apache-spark、databricks

我有一个长期运行的作业，如果满足某些条件，我会终止该作业。这通常是在python中完成的，如下所示： exit('job failed!)这适用于python脚本的传统命令行运行。然而，出于我无法理解的原因，Databricks并没有用exit杀死脚本。如何编写Databricks python脚本，以便在满足特定条件时自动停止执行？

浏览 21提问于2018-09-05得票数 4

回答已采纳

2回答

数据库SparkSQL作业

apache-spark-sql、databricks、google-cloud-dataproc

Databricks是否支持提交类似于Google Cloud Dataproc的SparkSQL作业？ Databricks job API似乎没有用于提交Spark SQL作业的选项。参考：https://docs.databricks.com/dev-tools/api/latest/jobs.html https://cloud.google.com/dataproc/docs/

浏览 41提问于2020-07-01得票数 0

2回答

如何在dbfs之外使用Python文件创建Databricks作业？

python、git、azure-databricks

我对Databricks还是个新手，所以请原谅我在这里缺乏知识。我正在使用Azure中的Databricks资源。我现在主要使用UI，但我知道一些功能只能使用databricks-cli，我已经设置了它，但还没有使用它。是否可以使用Databricks Jobs创建直接调用此Python文件的作业</em

浏览 47提问于2021-11-24得票数 1

1回答

我有一个项目，我希望能够在databricks上运行一些入口点。python_file: "file://tests/test.py"poetry run dbx execute --cluster-id=my-culster-idtest 这个选项的问题是它以交互方式启动脚本，除了查看集群的日志之外，我无法真正检索Databricks上执行的代码。因此，我尝试使用deploy和launch命令，以便创建一个合

浏览 37提问于2022-09-29得票数 0

回答已采纳

1回答

带有Python脚本的Azure数据库

python、azure、databricks

我是Python新手。需要帮助处理Azure数据库。设想情况：在HDInsight集群中所有的python脚本都存储在/bin/ .yml和/ conf / .yml中。我们能否在databricks DBFS中复制相同的结构，以便最小限度地修改代码以复制位置。 2.我是

浏览 1提问于2019-10-24得票数 1

2回答

用于将Maya手动作业提交到截止日期的Python命令(包括提交maya场景文件)

python、maya、deadlines

我通过脚本将两个作业文件(maya_deadline_job.job和maya_deadline_info.job)作为参数传递给deadlinecommand.exe，从而将Maya作业提交到Deadline有没有办法将其包含在任何作业文件中或使用python脚本？

浏览 3提问于2018-11-07得票数 2

1回答

不使用集群将Azure Blob存储安装到Azure数据库

azure-devops、azure-databricks

我们要求在Azure DevOps中通过CI/CD管道提供Databricks服务时，我们应该能够在不连接到集群的情况下将blob存储安装到DBFS。是否可以使用Azure DevOps中的bash脚本将对象存储安装到DBFS集群？

浏览 3提问于2020-08-14得票数 1

1回答

执行Databricks作业的记事本

python、pyspark、databricks、azure-databricks

是否有api或其他方式以编程方式运行Databricks作业。理想情况下，我们希望从笔记本中调用Databricks作业。下面只是给出当前正在运行的作业id，但这并不十分有用： dbutils.notebook.entry_point.getDbutils().notebook().getContext().currentRunId

浏览 5提问于2022-08-26得票数 0

回答已采纳

1回答

如何使用Azure Databricks活动在Azure数据工厂中执行python* Wheel类/方法(而不是脚本)？*

python、interop、azure-data-factory、azure-databricks、python-wheel

是否可以使用Azure Databricks活动在Azure数据工厂中执行python Wheel类/方法(而不是脚本)，就像您在.jar中使用java打包方法时所执行的那样？与脚本不同，这将能够返回值，而无需执行诸如掩埋它们的stdout之类的操作。我没有搜索到任何东西，并且我尝试使用jar活动，但没有成功，这并没有让我感到惊讶，但值得一试。如果不是，我正在寻找的是一种使用Azure Databricks计算并从python作业返回一小部分值的方法。我已经

浏览 15提问于2020-01-10得票数 2

2回答

如何阻止DataBricks笔记本引用旧版本的鸡蛋文件？

databricks、egg

在DataBricks上的Azure：进口西蒙as s 打印s.

浏览 0提问于2018-09-21得票数 1

回答已采纳

1回答

使用命令行数据库提交具有不同参数的作业

bash、azure、command-line、databricks

为了运行jar，这是我在Azure上对Databricks所做的：我点击： +Create Job Cluster: MyCluster 然后我单击RunNow 我正在尝试使用databricks想做的事情： 1)上传属性文件 dbfs cp myPropertyFile.proper

浏览 21提问于2019-09-05得票数 2

回答已采纳

1回答

在中的集群中，纯python脚本(不是pyspark)可以并行运行吗？

pyspark、azure-databricks

我希望将我的python脚本从本地迁移到云上，特别是在Azure Databricks上创建的集群上。纯python脚本可以并行运行(同时使用集群中的多个节点)，而不必转换为pyspark吗？是否可以检查作业是否并行运行？

浏览 3提问于2018-11-28得票数 1

3回答

数据库连接& PyCharm &远程SSH连接

python、ssh、pycharm、databricks-connect

我已经将PyCharm设置为通过SSH连接与(azure) VM连接。 File "/anaconda/envs/py37/lib/python3.7/site-packages/IPython/coreline 13, in <module> Fi

浏览 1提问于2020-07-10得票数 2

1回答

databricks UI中的Spark提交作业无法访问现有配置单元数据库

apache-spark、hive、databricks、azure-databricks

我在databricks中创建了一个spark提交作业来运行.py脚本。我在python脚本中创建了一个spark对象。我尝试访问现有的配置单元表。但是我的脚本失败了，错误是“表或视图找不到”。我应该在我的spark提交作业中添加一些配置设置来连接到现有的配置单元元存储吗？

浏览 7提问于2020-05-19得票数 0

回答已采纳

2回答

集群qsub检查作业何时完成。python

python、cluster-computing、qsub

我正在构建一个python管道，在该管道脚本中，我调用了另一个python脚本，该脚本使用qsub将作业提交到集群(该作业由70个作业组成)，现在我需要这些作业的输出才能继续工作。如何“暂停”python脚本，直到完成全部70个作业？编辑：下

浏览 1提问于2012-10-09得票数 2

回答已采纳

1回答

数据库Repos分支的编程检查

python、git、databricks、azure-databricks、databricks-repos

我有一个集成测试，它比较来自两个不同分支(即，主分支和特性分支)的相同脚本的输出。目前，这个测试是从我的本地机器开始的，但是我希望将它迁移到Databricks作业，并完全从工作流接口运行它。我能够使用笔记本和dbutils重新创建大部分现有的集成测试(用Python编写)，但特性分支checkout除外。我可以从本地机器调用Repos来执行签出，但是(据我所知)我不能从运行在Databricks云上的作业中发出相同的调用。(我尝试时遇到凭据/身份验证问题，我的解决方案越来越麻

浏览 8提问于2022-09-15得票数 1

回答已采纳

1回答

将Databricks群集与本地计算机(AWS)连接

amazon-web-services、pyspark、databricks

我想从我的本地机器连接到Databricks集群(AWS)，但我想在集群中执行整个代码。使用Databricks Connect，只在集群中执行spark代码。我在寻找替代的解决方案。

浏览 2提问于2021-12-02得票数 1

2回答

使用Python子进程运行SLURM脚本以将多个长作业提交到队列，并在继续执行Python脚本之前等待作业完成

python、queue、subprocess、wait、slurm

这种情况的基本情况是，我使用Python的subprocess模块运行SLURM脚本，该脚本将大量作业提交到我使用的一些高性能计算资源上的队列。我希望Python脚本等待所有提交的作业完成。我试着这样做：proc.wait() 但是，它只等待作业提交，而不是等待所有作业</em

浏览 1提问于2017-04-28得票数 2

点击加载更多