我已经开发了一个Apache Spark应用程序，将其编译成jar，我想将其作为Databricks作业运行。到目前为止，我一直在设置master=local进行测试。我应该在spark配置中设置此属性或其他属性以使其在databricks中以集群模式运行。注意，我没有在Databricks中
浏览 8提问于2019-07-29得票数 0
回答已采纳
我正在使用 spark version 2.4.7-bin-hadoop.2.7java 8 具有1个主节点和2个工作节点的spark群集正在作为独立群集spark配置运行 spark.masterspark.driver.memory 500M 主启动脚本为${SPARK_HOME}/sbin/start-m
浏览 31提问于2021-04-17得票数 0
2回答
我使用已经有一段时间了，并且我能够使用一台机器启动Python或R会话，而无需使用Spark。
对于也可以这样做吗？也就是说，用Python启动一个没有星火(和集群)的笔记本会话？
浏览 0提问于2018-10-11得票数 6
回答已采纳
1回答
我有一个ECS任务配置为运行spark-submit to EMR Cluster。spark-submit配置为Yarn Cluster模式。:386)
at com.databricks.spark.redshift.DefaultSource.createRelation(DefaultSource.scala:108)我怀疑这是因为没有设置"spark.y
浏览 36提问于2021-08-19得票数 0
回答已采纳
是否有方法获得现有Azure databricks工作区的databricks单元(DBU)？
浏览 0提问于2019-10-07得票数 2
回答已采纳
我在dataproc中以作业的形式运行以下代码。在“群集”模式下运行时，无法在控制台中找到日志。.total_seconds()如果使用deployMode作为cluster属性触发作业，则无法看到相应的日志。但是，如果作业
浏览 23提问于2021-12-07得票数 3
回答已采纳
现在，需要设置Parquet的火花配置，如下所示："spark.sql.parquet.writeLegacyFormat",为什么它需要遗留格式(即*在Databricks中，默认值为False。
上面的语句是每个会话，所以它不会影响其他正在运行的作业，但是我想知道为什么我们需要使用遗留格式？我们是否有其他的方法，例如存储为</e
浏览 0提问于2020-07-09得票数 0
我已经在databricks "com.redislabs:spark-redis_2.12:2.5.0"中安装了以下jar。并尝试使用相应的身份验证创建火花会话。下面是我用creds创建火花会话的代码
redis= SparkSession.builder.appName("redis_connection").config("spark.redis.host", "hostname").config("spark
浏览 7提问于2021-03-01得票数 2
当我创建一个带有一个驱动程序+两个工作进程的集群，每个进程都有一个GPU，并尝试在每个GPU上启动训练时，我会写道：hr = HorovodRunner(a)有没有办法让Horovod在分布式学习中包含驱动节点上的GPU？
(b)或者:是否有一种方法可以在Databricks中使用GPU工作者但非GPU驱动程序创建集群？
浏览 2提问于2020-01-10得票数 1
在Databricks中使用什么集群管理器？如何更改Databricks集群中的执行者数量？
浏览 0提问于2019-07-15得票数 6
回答已采纳
我在一个码头容器中运行了一个火花群集。我有一个吡火花简单的例子程序来测试我的配置，它运行在我的桌面上，在码头容器外。火花控制台获取并执行作业并完成作业。然而，pyspark客户端永远不会得到结果。吡火花程序的控制台显示：
使用spark的默认log4j配置文件:org/apache/log4j/log4j-defaults.properties将默认日志级别设
浏览 3提问于2022-03-05得票数 0
1回答
来自Java背景的我缺少了一个用于Python笔记本的全局日志框架/配置，比如log4j。
在log4j中，我将配置一个log4j配置文件，直接将日志发送到Analytics。我如何在Python笔记本的Databricks中做到这一点？我想称之为：log.warn("please take care...")
浏览 13提问于2022-11-11得票数 1
回答已采纳
2回答
我在kubernetes中对Spark进行了如下配置。我点击了这个链接到setup - 在此配置中，是否可以在群集模式下运行作业？或者这只能用于本地开发？
浏览 1提问于2020-07-29得票数 1
如何创建像https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-function.html#create-functionif input_date is not None: else:_ = spark.udf.register("
浏览 31提问于2019-03-02得票数 2
在GCP中，我们希望在一个data[proc集群]上以集群模式运行一个spark作业。目前，我们使用以下命令：-
gcloud dataproc jobs submit spark --cluster xxxx-xxxx-dataproc-cluster01 --region us-west2:spark.submit.deployMode=cluster --properties=spark.driver.extraClassPat
浏览 14提问于2020-03-16得票数 2
我已经阅读了配置databricks-connect的文档，但是在运行databricks-connect test时仍然会遇到下面的错误java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.STRING_REDACTION_PATTERN()Lorg/apache/spark/internal/config
浏览 0提问于2019-07-22得票数 4
我们有两台安装了20核linux的unix机器，each.We需要设置一个独立的集群和spark调度器。目前我们暂时不能使用cloudera/Hortonwork。我的问题是关于Spark Scheduler。
如果我创建一台unix机器同时作为Master和Slave，另一台机器作为slave节点，那么有多少内核可供我运行spark代码。是40还是更少？我可以在群集模式下在此群集上<em
浏览 0提问于2016-07-27得票数 0
2回答
我正在学习Spark基础知识，为了测试我的Pyspark应用程序，我在AWS上创建了一个使用Spark、Yarn、Hadoop和Oozie的EMR实例。我有使用Yarn Resource Manager的AWS创建的默认/etc/spark/conf/spark-default.conf文件。一切都运行得很好，我还可以监控跟踪URL。但我无法区分spark作业是在“客户端”模式
浏览 0提问于2020-01-27得票数 0
1回答
知道在ADF数据流中转换将在后台的Databricks集群中运行，在相同管道中的Databricks笔记本上运行相同的转换会有什么不同(在成本和性能方面)？我猜这将取决于我们如何设置Databricks集群，但我的问题也是理解这个集群将如何在后台运行。它是平台中的专用集群还是共享集群？
浏览 30提问于2021-11-15得票数 1
回答已采纳
是否有人通过HDP中的Oozie成功地运行了火花操作？
我使用Oozie 4.2.0运行在HDP 2.3.2上。火花动作被设置为在纱线群集模式下运行.火花作业是一个虚拟作业，没有输入文件。我首先在上命中了错误，并通过从hdfs火花库文件夹中删除以下内容(在我的例子中是：/user/oozie/share/lib/lib_201511
浏览 3提问于2016-03-15得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
