相关问题：
在解决了该问题并继续进行之后，我开始在多个不同的操作(创建databricks实例概要、查询terraform数据源(如databricks_current_user或databricks_spark_version) )上遇到以下错误：
Error: cannot create instance profile: Databricks API (/api/2.0/instance-profiles/add) requires you to set `host` property (or DATABRICKS_HOST env variable) to result of `dat
浏览 13提问于2022-01-12得票数 1
回答已采纳
有谁有一个很好的解决方案来同步azure广告用户和组到azure databricks工作区？Azure Databricks SCIM连接器需要高级工作区和高级azure广告帐户。
如果有人做过这件事或看到过任何好的github资源可以用作起点，请分享，否则请评论我建议的高层次的想法/逻辑如下：
使用terraform/azure cli和databricks rest：
同步组
配置:获取确定的天蓝色广告组的列表
databricks rest :获取databricks工作区组列表(不包括admin和所有用户组)
脚本:将现有的databricks工作区组与配置中定义的azu
浏览 11提问于2022-03-07得票数 2
回答已采纳
我试图通过引用文档- 来创建BLOOMFILTER索引。
我创建了DELTA表，
spark.sql("DROP TABLE IF EXISTS testdb.fact_lists")
spark.sql("CREATE TABLE testdb.fact_lists USING DELTA LOCATION '/delta/fact-lists'")
我启用了布卢姆过滤器
%sql
SET spark.databricks.io.skipping.bloomFilter.enabled = true;
SET delta.bloomFilter
浏览 10提问于2022-07-31得票数 1
回答已采纳
每次对回购进行新的推送时，我都会自动将最新版本的GitHub回购拉到我的Databricks工作区中。所有操作都很好，直到Databricks CLI请求主机URL之后，才会出现"Error: Process completed with exit code 1“的错误。我假设这是我的令牌和主机凭据存储为机密的问题，没有正确地加载到环境中。根据，“CLI0.8.0及以上版本支持以下环境变量: DATABRICKS_HOST、DATABRICKS_USERNAME、DATABRICKS_PASSWORD、DATABRICKS_TOKEN”。我同时添加了DATABRICKS_HOST和DA
浏览 25提问于2022-05-17得票数 1
回答已采纳
1回答
我试图在prod环境中运行一个terraform_plan，但是我收到了以下错误：
│ Error: instance profile is required to re-create mounting cluster
│
│ with databricks_mount.gfc_databricks_delta_lake,
│ on gfc_mount_delta_lake.tf line 1, in resource "databricks_mount" "gfc_databricks_delta_lake":
│ 1: resource &#
浏览 10提问于2022-08-24得票数 0
2回答
数据库上的
、、
我正在尝试将dataset从我的Databricks文件系统(DBFS)导入到运行在Databricks集群上的R；下面我将面临这个问题。
> sparkDF <- read.df(source = "parquet", path = "/tmp/lrs.parquet", header="true", inferSchema = "true")`
错误:加载错误:在com.databricks.sql.acl.ReflectionBackedAclClient$$anonfun$com$databricks$sql$
浏览 2提问于2020-10-13得票数 0
每当我试图执行任何命令(例如，%fs rm -r /mnt/driver/jars/)，在Databricks Community上的社区版上，我都会得到以下错误：
java.lang.Exception:初始化REPL时出错。请检查是否存在与集群相冲突的Scala库或JAR，例如Scala2.10集群附带的Scala2.11库(反之亦然)。
当我查看错误日志时，我发现问题是由以下原因引起的：
由: scala.reflect.internal.MissingRequirementError: object java.lang.Object引起的编译器镜像中的未找到.
完全错误如下：
浏览 8提问于2020-07-04得票数 0
我正在尝试通过Azure Devops管道将文件复制到Azure Databricks DBFS。下面是我正在使用的yml文件的一个片段： stages:
- stage: MYBuild
displayName: "My Build"
jobs:
- job: BuildwhlAndRunPytest
pool:
vmImage: 'ubuntu-16.04'
steps:
- task: UsePythonVersion@0
displayName: 'Use P
浏览 41提问于2021-05-11得票数 1
回答已采纳
我正在尝试在azure上的devops管道中使用databricks-cli。为此，我需要创建一个配置文件，使用： databricks configure --profile Profile --token 问题是，当我运行该命令时，它要求我提供主机和令牌，这会中断等待用户输入的流水线。我想知道是否可以在不传递参数的情况下做到这一点。 我已经试过了： echo "configuring databrick-cli authentication"
declare DATABRICKS_URL="https://westeurope.azuredatabricks.n
浏览 18提问于2021-01-26得票数 0
我正在用terraform创建一个工作区。工作空间资源完成后，我将尝试使用以下内容创建一个databricks_group：
resource "databricks_group" "this" {
for_each = data.azuread_group.this
display_name = each.key
external_id = data.azuread_group.this[each.key].object_id
workspace_access = var.groups[each.key].workspace_access
浏览 5提问于2022-09-18得票数 1
2回答
我正在尝试设置流以开始处理传入的文件。看起来Databricks无法保存检查点。我尝试在ADLS、Gen2和DBFS中定位，结果相同。Databricks用一些scructure创建所需的文件夹，但不能写入它。检查站的位置有什么特殊要求吗？
Databricks Community，运行时版本:9.1LTS(包括ApacheSpark3.1.2，Scala2.12)
spark.readStream
.format("cloudFiles")
.option("cloudFiles.format", "parquet")
.option(
浏览 9提问于2021-12-13得票数 3
1回答
我需要更新我的python路径，以便可以在数据库上使用python3。
在databricks notebook上：
%sh
echo $PATH
/databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin
然后，我运行：
%sh
export PATH=/databricks/python3/bin:$PATH
但是，我还是得到了：
%sh
echo $PATH
/databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin
浏览 0提问于2019-12-20得票数 0
我在Databricks工作，我试图从排序在序列中的S3实例中获取拼图数据，但序列的某些部分丢失了。因此，文件系统可能如下所示：
's3a://databricks-data/STAGING/18',
's3a://databricks-data/STAGING/17',
's3a://databricks-data/STAGING/16',
's3a://databricks-data/STAGING/15',
's3a://databricks-data/STAGING/14',
's3a:
浏览 2提问于2021-03-01得票数 2
回答已采纳
我有一个码头文件
下载Databricks CLI
通过添加主机和令牌来配置CLI
然后运行一个命中Databricks令牌的python文件
我能够在docker映像中安装CLI，并且我有一个工作的python文件，它可以将作业提交到Databricks API，但我不知道如何在docker中配置我的CLI。
这是我有的东西
FROM python
MAINTAINER nope
# Creating Application Source Code Directory
RUN mkdir -p /src
# Setting Home Directory for con
浏览 9提问于2020-10-21得票数 3
我正在使用Azure及其新的数据流特性。这是一个GUI，应该使用Databricks进行数据转换，而无需编写任何代码。
目前为止一切都很好。我有一些有用的例子。我的输入数据(来自Azure Blob)被正确转换和连接，以创建输出(在Azure SQL中)。
问题是我没有Databricks资源。我删掉了。我还将Databricks移至Databricks连接器。但我还是得到了正确的答案！
我怀疑我的输入集太小，或者我的转换太简单，所以Databricks只是在内部处理它们，并且知道它不需要Databricks的强大功能。但是，为了迫使Databricks使用Databricks，我必须做些什么
浏览 0提问于2019-05-10得票数 2
2回答
我需要一些帮助，以减少和各种形式的登录到数据库。我使用Terraform提供Azure数据库，我想知道下面两种代码的区别，当我使用选项1时，我得到了如下所示的错误
备选案文1：
required_providers {
azuread = "~> 1.0"
azurerm = "~> 2.0"
azuredevops = { source = "registry.terraform.io/microsoft/azuredevops", version = "~> 0.0"
浏览 6提问于2021-11-16得票数 1
回答已采纳
1回答
数据库秘密范围“坏请求”
、、、
在命令提示符下按照下面的过程得到一个“坏请求”错误，请纠正我。
pip install databricks-cli
databricks configure –-token
Databricks Host (should begin with https://): <your databricks URL>
Token: <your token>
databricks secrets create-scope --scope <scope name>
结果：
错误:B‘坏请求’
浏览 8提问于2021-08-12得票数 1
我正在尝试选择名称中包含散列的列。当我使用select * from时，它会返回数据，包括带有#的列。当我使用列名进行选择时，我收到一个错误。 我正在使用数据库访问一些在临时视图中转换的.parquet文件。集群有3个节点，Spark版本是Apache Spark 2.4.3，Scala 2.11，我使用的是Pyspark。 ----Creation of temp views:
dictDbOwnTbls = dictionary with tables
for tDb, args in dictDbOwnTbls.items():
for owners in
浏览 14提问于2019-09-12得票数 0
主要思想是安装databricks，所以我使用以下脚本：
- task: CmdLine@2
displayName: "Install databricks cli"
inputs:
script: |
pip install databricks-cli --user
pip install databricks
workingDirectory: $(projectRoot)/${{ parameters.IrropsMLService }}
浏览 7提问于2022-03-17得票数 0
1回答
我正在尝试从我的Mac(Mojave)建立到Databricks的连接。
我做了一个pip install -U databricks-connect==5.5.*
我启动了一个spark-shell，但是当我尝试在spark中查询时，我得到了以下错误
原因: com.databricks.service.SparkServiceConnectionException:令牌无效
To connect to a Databricks cluster, you must specify an API token.
API Token: The API token used to confirm y
浏览 30提问于2020-03-04得票数 3
我已经创建了一个databricks帐户，并通过根AWS访问密钥添加了我的帐户(我知道不推荐这样做，但我尝试过通过交叉帐户角色，但这也不起作用)。这些root访问密钥应该有权访问我的整个AWS帐户，但是当我调用时。
dbutils.fs.ls('/mnt')
只列出了我的目录中文件的基本列表，我得到了这个错误：
ExecutionError: An error occurred while calling z:com.databricks.backend.daemon.dbutils.FSUtils.ls.
: java.lang.RuntimeException: java.
浏览 2提问于2020-04-13得票数 1
我正在尝试将一个大小为2734984行x11列的pyspark转换为一个名为toPandas()的熊猫数据。使用时，它完全可以正常工作(11秒)，但当我使用databricks-connect运行完全相同的代码(db-connect版本和Databricks运行时版本匹配，两者都是7.1)时，我会遇到java.lang.OutOfMemoryError: Java heap space异常。
我已经增加了火花驱动程序内存(100克)和maxResultSize (15g)。我认为这个错误在databricks-connect中的某个地方，因为我不能使用笔记本复制它。
有什么暗示吗这里发生了什么
浏览 20提问于2020-12-09得票数 7
回答已采纳
我试图以自动化的方式创建数据工具链。我正在使用Azure，databricks-cli。
我要用aad令牌对数据库进行身份验证，生成PAT。
echo "Generate Databricks token"
databricks_host=https://$(echo "$arm_output" | jq -r '.properties.outputs.databricks_output.value.properties.workspaceUrl')
databricks_workspace_resource_id=$(echo "$ar
浏览 7提问于2022-02-18得票数 1
1回答
我通过'azurerm‘terraform提供程序部署Azure databricks工作区，当我尝试通过' Databricks’terraform提供程序部署databricks集群时。我得到以下错误“启动过程中的自我引导失败”。
错误:无法创建集群:无法在启动期间从终止到运行:自引导失败。请稍后再试，如果问题仍然存在，请与Databricks联系。databricks_error_message:在启动过程中自我引导失败.请稍后再试一次.，终止信息:代码: SELF_BOOTSTRAP_FAILURE，类型：，参数:mapdatabricks_error_message:
浏览 18提问于2022-11-09得票数 1
使用databricks-connect，我们可以成功地运行用Databricks或Databricks笔记本编写的代码，这些代码来自许多IDE。Databricks还创建了许多神奇的命令，通过添加%sql或%md等命令，支持它们在每个单元格中运行多语言支持的特性。我目前面临的一个问题是，当我试图在Pycharm中执行Databricks笔记本时，如下所示：
如何从PyCharm执行Databricks特定的魔术命令。例如，使用以下命令在Databricks中导入脚本或笔记本-
%运行'./FILE_TO_IMPORT'
在IDE from FILE_TO_IMPORT imp
浏览 4提问于2020-08-16得票数 5
回答已采纳
给定一个pyspark dataframe given_df，我需要使用它从它生成一个新的dataframe new_df。
我正在尝试使用foreach()方法逐行处理pyspark数据帧。为简单起见，假设数据帧given_df和new_df都由一列组成。
我必须处理该数据帧的每一行，并且基于该单元格中存在的值，我创建了一些新行，并通过使用这些行对其执行union操作将其添加到new_df中。在处理单行given_df时将生成的行数是可变的。
new_df=spark.createDataFrame([], schema=['SampleField']) // Create
浏览 4提问于2021-03-18得票数 2
1回答
我有下面的数据库代码。目前我只有工作区，但没有集群在我的工作区
required_providers {
azuread = "~> 1.0"
azurerm = "~> 2.0"
azuredevops = { source = "registry.terraform.io/microsoft/azuredevops", version = "~> 0.0" }
databricks = { source = "registry.terraform.
浏览 8提问于2022-04-19得票数 0
回答已采纳
1回答
我想将现有的Databricks基础设施导入Terraform，但不能导入现有的挂载。我在AWS上安装了一个S3桶，如下所示：dbfs:/mnt/copyprod。根据databricks provider的正式文档，这个命令应该可以工作：
$ terraform import databricks_mount.this <mount_name>
我已经创建了适当的资源块
resource "databricks_mount" "copyprod" {
...
}
但是，当我尝试运行命令terraform import databricks_mou
浏览 13提问于2021-12-31得票数 1
我有一个要求，把数据从csv/熊猫数据写到databricks表。我的python代码可能不在databricks集群上运行。我可能在一个孤立的独立节点上运行。我使用databricks python连接器从databricks表中选择数据。选择是有效的。但我无法从csv或熊猫的数据加载到数据库。
我是否可以使用databricks python连接器将csv/pandas数据中的大量数据加载到databricks表中？
下面是用于获取databricks连接并使用databricks连接器在独立节点上执行选择的代码片段。
from databricks import sql
conn = s
浏览 5提问于2022-08-19得票数 0
我对使用Databricks Repos的Github操作工作流有一个问题。我们希望Git操作中的API调用将Databricks Repos顶层文件夹中的Repo带到合并到主分支的最新版本。
我们已经设置的Github操作工作流是：
on:
pull_request:
types:
- closed
jobs:
if_merged:
if: github.event.pull_request.merged == true
runs-on: ubuntu-latest
steps:
- uses: actions/checkou
浏览 3提问于2022-03-18得票数 2
回答已采纳
我正尝试使用Databricks Terraform提供程序将我的ADLS gen2存储容器挂载到DBFS中，通过Azure Active通过。我遵循和的指令，但是当Terraform试图部署挂载资源时，我得到了以下错误：
错误:找不到ADLS Gen2令牌
我的Terraform代码如下所示(它非常类似于provider文档中的示例)，我使用Azure服务主体进行部署，它在同一个模块中创建Databricks工作区：
provider "databricks" {
host = azurerm_databricks_w
浏览 17提问于2022-02-09得票数 2
回答已采纳
我的设置包括连接到Azure DataBricks的git存储库，这允许在PyCharm中开发databricks python笔记本，在DataBricks UI中推送并运行更新的笔记本。
每当我从WebUI更改笔记本文件并执行提交时，笔记本文件中的所有行都会加上#魔术：
# Databricks notebook source
%pip install -r "../requirements.txt"
import os
变成：
# Databricks notebook source
# MAGIC %pip install -r "../requirement
浏览 9提问于2022-05-23得票数 1
是一个Python模块，可以与Databricks通信，并且可以很容易地在Azure管道中安装pip：
- stage: Test
jobs:
- job: InstallRequirements
steps:
- script: |
python -m pip install --upgrade pip setuptools wheel
pip install databricks-cli
- script: databricks --version
但这会给第二个脚本带来一个意外的错误：
/_
浏览 2提问于2022-11-17得票数 1
回答已采纳
1回答
pip安装成功，但命令不起作用
、、、、
我正在尝试pip安装CLI，但它成功安装。 pip3 install databricks-cli
WARNING: pip is being invoked by an old script wrapper. This will fail in a future version of pip.
Please see https://github.com/pypa/pip/issues/5599 for advice on fixing the underlying issue.
To avoid this problem you can invoke Python with '-m
浏览 21提问于2021-03-25得票数 1
1回答
我正在尝试在Azure Databricks上实现DevOps。
我已经完成了databricks、notebooks和dbfs文件的devops实现。
我确实有许多databricks作业在我的集群上按计划运行。其中一些作业指向notebook文件，少数作业指向dbfs位置中的jar文件。
有没有办法在azure databricks作业上实现devops过程，以便DEV中的任何作业中的任何更改都将调用构建管道，并在PROD databricks实例中部署相同的作业。
首先，我想知道是否有可能在azure databricks作业上实现devops。
感谢任何线索！
浏览 3提问于2020-11-27得票数 2
Databricks CLI工作了一年半以前，那是我上次使用它的时候。从那以后，我主要使用API。现在，我想再次使用Databricks CLI (在新的PC上)，但它不起作用。
"The term 'databricks-connect' is not recognized as the name of a cmdlet, function, script file, or operable program"
我做了以下工作：
pip3 install databricks-cliWhen 跟踪了并做了pip3安装databricks-cli现在，我看到它说“
浏览 5提问于2021-06-10得票数 2
回答已采纳
我需要使用Powershell脚本生成Azure Databricks令牌。我完成了使用ARM模板创建Azure Databricks，现在我正在寻找使用powershell脚本生成Databricks令牌。 请告诉我如何使用Powershell脚本创建Databricks令牌
浏览 19提问于2019-01-10得票数 5
2回答
我正在使用databricks-connect和VS Code为Databricks开发一些python代码。
我想使用databricks-connect直接从VS code中编码和运行/测试所有东西，以避免与Databricks web IDE打交道。对于基本的笔记本，它工作得很好，但我想对多个笔记本做同样的事情，并使用导入(例如，在另一个笔记本中使用import config-notebook )。
然而，在VS代码中，import another-notebook工作得很好，但在数据库中却不起作用。据我所知，Databricks中的替代方案是%run "another-note
浏览 45提问于2021-10-19得票数 1
1回答
如何确定在Databricks上运行的Spark的版本？我想尝试考拉，但当我尝试import databricks.koalas时，它返回一条"No module named databricks"错误消息。当我尝试from databricks import koalas时，它返回相同的消息。
浏览 1提问于2021-03-19得票数 2
作为Databricks的新手，只是探索在Databricks中访问第三方API的方法。 Example :
One of the sceanario is checking whether json file which is being
processed via Databricks whether its in correct Json format or not?
We have one API which validate this format, question is can we consume
this API i
浏览 19提问于2019-02-26得票数 2
我试图通过python的API将一些maven库安装到现有的azure数据块集群/新创建的集群中。
集群详细信息：
Standard_D3_v2 Python 35.5LTS(包括ApacheSpark2.4.3、Scala2.11)Node类型：
spark_submit_packages = "org.apache.spark:spark-streaming-kafka-0-8-assembly_2.11:2.4.3," \
"com.databricks:spark-redshift_2.11:3.0.0-previ
浏览 4提问于2019-11-26得票数 1
回答已采纳
1回答
如何在Databricks中正确配置Spark插件和包含Spark插件类的jar？
我在Scala，CustomExecSparkPlugin.scala中创建了以下Spark3plugin类：
package example
import org.apache.spark.api.plugin.{SparkPlugin, DriverPlugin, ExecutorPlugin}
class CustomExecSparkPlugin extends SparkPlugin {
override def driverPlugin(): DriverPlugin = {
浏览 4提问于2021-11-03得票数 3
回答已采纳
1回答
我试图在databricks之外使用来自DBUtils的pyspark.dbutils，它显示在本地复制文件时没有警告或错误，但是文件不在目标文件夹中。
我可以用dbutils.fs.ls检查该文件是否存在于DBFS上，并且文件确实存在。
我的pyspark会话配置了databricks-connect，我可以用它来执行SQL。
我是这样配置databricks-connect以连接到集群的：
DATABRICKS_ADDRESS="https://xxxxxxxxxxxxxxx.azuredatabricks.net/"
DATABRICKS_API_TOKEN="x
浏览 14提问于2022-09-12得票数 2
我已经阅读了配置databricks-connect的文档，但是在运行databricks-connect test时仍然会遇到下面的错误
来自终端的错误
java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.STRING_REDACTION_PATTERN()Lorg/apache/spark/internal/config/ConfigEntry;
error: not found: value spark import spark.implicits._
error: not found: value
浏览 0提问于2019-07-22得票数 4
我需要开发一个python应用程序，它可以在正常的机器上运行，比如windows、linux或databricks。我的要求是允许python应用程序动态地识别脚本实际运行的位置。如果我的python代码在Windows上运行，它应该知道代码是在windows上运行的。就像Linux的智慧一样。我使用Platform.system()获取信息。但是databricks也将有一个操作系统平台。它如何将databricks节点与普通Linux/Unix节点区分开来？除了使用dbutils或闪烁会话之外，我们是否能够运行命令，并知道命令运行的节点确实是databricks节点？我不认为databri
浏览 4提问于2022-09-29得票数 1
回答已采纳
我已经在我的PC上设置了一个miniconda python环境，在那里我安装了databricks-connect包，并使用databricks-connect configure配置了该工具，以连接到我想在美国开发代码时使用的databricks实例。
我需要连接到另一个不同的databricks实例，以便在欧盟开发代码，我想我可以通过设置一个不同的miniconda环境，在该环境中安装databricks-connect，并将该环境中的配置设置为指向新的databricks实例来实现这一点。
遗憾的是，这并不管用。当我在两个miniconda环境中查看databricks-connect
浏览 19提问于2021-03-13得票数 1
我正在自动化部署包含Azure Databricks实例的基础设施。为了能够从Databricks内部使用Azure Blob存储，我想通过运行DevOps作业的Databricks REST 2.0创建一个秘密范围。
当我试图创建秘密范围时，我会得到响应。
{“消息”：“身份验证暂时不可用。请稍后再试。”，"error_code"："TEMPORARILY_UNAVAILABLE"}
我已经能够使用API创建databricks访问令牌，即端点/ token /create工作得很好。
我正在使用代码对数据库进行身份验证，这个问题的答案是：
这就是我如何能
浏览 7提问于2020-08-04得票数 0
回答已采纳
我想在安装databricks之后通过python模块配置databricks-connect configure -通过os.system("pip install databricks-connect==6.5")连接
一旦databricks-connect成功安装，我们需要通过传递以下值来配置它：
host= "https://<location>.azuredatabricks.net",
port= "8787",
token = "<Token>",
cluster_id = "<
浏览 3提问于2020-07-25得票数 1
回答已采纳
我已经在本地使用，
databricks configure --profile <profile_name> --token
通过它，我可以列出集群并创建秘密范围。
但我无法创建mlflow实验。我已经将跟踪uri设置为" databricks“，也用"databricks/<profile_name”进行了测试，并进行了测试，但我无法在databricks工作区上创建或跟踪任何实验。
我得到以下错误；
from mlflow.tracking import MlflowClient client = MlflowClient() mlflow.set_tr
浏览 8提问于2022-04-05得票数 0
回答已采纳
我可以使用这里介绍的API将数据文件写入Databricks： https://docs.databricks.com/dev-tools/api/latest/index.html https://docs.databricks.com/dev-tools/api/latest/dbfs.html 我有几个要写入Databricks实例的笔记本。在API文档中，我看不到如何做到这一点。有没有办法使用Rest API将Notebook写入Databricks实例？这些文档记录在哪里？
浏览 28提问于2020-12-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
