我想通过Databricks API执行Databrikcs notebook的代码，并获得notebook代码的输出作为响应。 有没有可能有同样的变通方法？Databricks SQL api也可以做到这一点吗？
浏览 21提问于2021-11-01得票数 1
回答已采纳
我正在创建一个EMR集群，并使用jupyter notebook运行一些spark任务。我的任务在执行大约1小时后就会死掉，错误是：Invalid status code '400' from https://xxx.xx.x.xxx:18888/sessions/0/statements/20 with error payload: "requirement failed: Session isn
浏览 2提问于2019-01-16得票数 13
回答已采纳
我没有几个excel文件需要是processed..either，将它们发送到一个基于前提的sql数据库或输出更结构化的csv文件。这些文件可以运行到100 and，并且有多个工作表。表格和数据是动态的。有些文件可能会或不会得到一些工作表。列也是相同的。此外，每个文件都有一个数据字典表，用于解释结构(工作表和相应的列)。我正在考虑使用ADF与<em
浏览 20提问于2022-03-20得票数 0
3回答
我最近开始使用Scala、HDFS、sbt和Livy。目前我试图创建livy batch。我的星火提交命令在本地.jar文件中运行得非常好。requirement failed: Local path /target/scala-2.11/simple-project_2.11-1.0.jar cannot be added to user sessions我对livy的新代码是- "
浏览 0提问于2018-06-21得票数 1
我已经在CHD的色调配置页面尝试了很多配置。我所做的如下： [notebook]
name=Scala
interface=livy=livy 安装了版本为0.6.0的livy，livy服务器日志： 19/05/09 18:01:25 INFO server.AccessManager: AccessControlManager acls: Re
浏览 9提问于2019-05-09得票数 1
回答已采纳
apache Livy文档很稀疏:是否可以使用Apache Livy将Spark SQL查询结果集作为REST调用返回？调用应用程序是移动的，它不能使用odbc/jdbc进行连接。
浏览 6提问于2017-08-16得票数 3
我尝试连接到一个名为stv_sessions的红移系统表，我可以将数据读取到数据帧中。如果我直接连接到redshift (使用代理)，这对我来说是有效的，但当我试图从databricks运行时，它会给我带来不充分的占有权问题简单地说，我不知道如何从databricks no
浏览 5提问于2020-02-07得票数 0
这个HTTP请求是使用AirFlow发送的。提交作业后，我使用批处理Id跟踪状态。
浏览 4提问于2019-01-20得票数 4
回答已采纳
我正在尝试在PowerShell中使用Databricks CLI。我需要将JSON字符串作为参数传递。我使用了4种不同的组合，但仍然得到一个错误的Error: JSONDecodeError: Expecting property name enclosed in double quotes: line1 column 2 (char 1)databricks jobs run-now --job-id $job_id --notebook-param
浏览 16提问于2021-10-26得票数 1
4回答
我使用的是一个共享的EMR集群，安装了木星中心。如果我的集群负载很重，我会得到一个错误。
如何将火花应用程序的超时时间从60秒增加到900秒(15分钟)？
浏览 1提问于2019-08-27得票数 2
回答已采纳
1回答
我目前正在使用Python的Threading来并行执行多个Databricks笔记本。这些是长时间运行的笔记本，我需要添加一些逻辑来终止线程，以防我想用新的更改重新启动执行。在不终止线程的情况下重新执行主notebook时，集群很快就会被计算量大、寿命长的线程填满，为实际所需的计算留下很少的空间。
我尝试过的建议，但没有成功。我将非常感谢任何关于如何解决这个问题的建议！
浏览 2提问于2020-07-07得票数 0
作为Databricks的新手，只是探索在Databricks中访问第三方API的方法。Example : processed via DatabricksWe have one API which validate this format, question is can we consume
this API in
浏览 19提问于2019-02-26得票数 2
我想从我的本地机器连接到Databricks集群(AWS)，但我想在集群中执行整个代码。使用Databricks Connect，只在集群中执行spark代码。我在寻找替代的解决方案。
浏览 2提问于2021-12-02得票数 1
因此，我目前正在尝试为我的Databricks开发环境设置秘密。我已经使用Databricks-cli成功地设置了它们。我现在正尝试在我的spark jar (用scala编写)中使用它们。... = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE") 这是我正在尝试实现的用例，如果有任何帮助，我将不胜感激！
浏览 43提问于2019-02-07得票数 0
使用Azure Data Factory版本2，我们创建了一个Spark活动(一个简单的Hello World示例)，但它抛出了错误，错误代码为2312有没有人遇到过
浏览 0提问于2018-09-21得票数 2
我正在使用Databricks Resi API在现有集群中使用notebook_task创建作业，并获取job_id。然后调用run-now api来触发作业。在这一步中，我想通过notebook_params发送一个list作为参数，它抛出一个错误，说“字段值需要非数组”。
浏览 3提问于2019-06-07得票数 1
我有一个databricks notebook Notebook1，我在其中编写了一个查询，用于从databricks数据表获取last_mod_time，并将其保存为dataframe。现在，我已经在azure数据工厂中创建了一个管道，并使用该notebook的输出将last_mod_time值作为字符串传递给一个IF condition活动。
浏览 15提问于2021-03-18得票数 1
回答已采纳
我的要求:从web应用程序触发Yarn中的Spark作业，并在网页中显示结果。spark作业接受的参数很少，并使用需要返回给web应用程序的值计算DataSet。在网上浏览之后，我认为Livy可以用来做这件事。 Livy已经安装了HDP 2.5。因此，我使用POST/Sessions创建了新的Livy会话，并包含了我的jar文件。注意：- jar必须放在HDFS中才能正常工作 根据Livy
浏览 32提问于2020-03-30得票数 0
使用Azure Devops管道任务，我正在导入azure.databricks.cicd.tools库并安装azure-identity和azure-keyvault-secrets。azureSubscription: xxxxx Inline: | ScriptType: InlineScri
浏览 0提问于2021-11-13得票数 1
我正在尝试建立一个AWS lambda函数，它调用一个databricks notebook (在s3触发器的情况下)，我知道我必须在我的lambda函数(Python)代码中使用databricks的Jobs API来使用.I-submit函数的JSON有效负载来发出POST请求。尽管文档不是很清楚，但我能够调用一个测试脚本，在检查响应文本时，我看到databricks登录页面的html代码，这意味着它没有通过身份验证。以其他方式实现此功能的
浏览 0提问于2019-05-16得票数 1
云服务器
ICP备案
云直播
对象存储
腾讯会议
腾讯云开发者
