我创建了一个简单的Scala代码：import org.apache.spark.SparkContext._ def main(args: Array[String]) { println(s"This is a
浏览 9提问于2017-01-18得票数 1
我对Databricks还是个新手，所以请原谅我在这里缺乏知识。我正在使用Azure中的Databricks资源。我现在主要使用UI，但我知道一些功能只能使用databricks-cli，我已经设置了它，但还没有使用它。是否可以使用Databricks Job
浏览 47提问于2021-11-24得票数 1
我试着用pyspark运行下面的代码。call last): NameError: name 'dbutils' is not defined
那么，有没有办法通过包含databricks包来在pyspark中运行它，就像导入一样？
浏览 13提问于2018-08-17得票数 7
1回答
我正在尝试使用Databricks Spark包将XML文件读入到一个。但是，当遇到处理指令时，Spark会引发一个错误，声称发生了意外事件。我实际上不需要从指令中得到的任何信息，所以如果可以选择的话，我很乐意将它们传递出去，但事实上，它们是在干扰整个文件。如有任何建议，将不胜感激。<?></description>下面是我尝试用Py
浏览 0提问于2019-08-20得票数 0
回答已采纳
有没有办法把spark数据帧直接写成xls/xlsx格式？但是我想使用spark dataframe来处理我的数据。有什么想法吗？
浏览 0提问于2019-11-29得票数 5
我想在spark中读取avro文件，但不幸的是，我的公司中的集群没有com.databricks.spark.avro。所以我试着这就产生了未解决的依赖关系。import com.databricks.spark.avro._ is not supported./*. avro &quo
浏览 1提问于2018-03-28得票数 3
回答已采纳
1回答
我假设我的脚本不适合在Databricks上运行，而且我还假设它是由垃圾收集造成的，这让我的工作停滞不前。但是，我如何解决这个问题，以防止在很长的时间内跑到最快的时间？对不起，我是Databricks的新手，因为我需要做立方体脚本，Synapse CUBE还不受支持，所以我需要在databricks上做这个立方体。
浏览 0提问于2021-09-06得票数 1
stanford-corenlp" % "3.6.0" classifier "models",) at org.apache.spark.deploy.SparkSubmit.main</e
浏览 2提问于2016-06-22得票数 1
回答已采纳
我正在尝试在cdh5.16集群上提交以下Spark2作业，它只接受--packages选项的第一个参数，并为第二个参数抛出错误
Exception in thread"main</
浏览 10提问于2019-10-20得票数 0
回答已采纳
1回答
我正在尝试从我的Mac(Mojave)建立到Databricks的连接。我做了一个pip install -U databricks-connect==5.5.*原因: com.databricks.service.SparkServiceConnectionException: spark.conf.get("spark</e
浏览 30提问于2020-03-04得票数 3
我正在使用SBT：libraryDependencies ++= Seq( "com.databricks._import org.apache.spark.sql._
import com.databricks.spar
浏览 3提问于2015-05-13得票数 0
回答已采纳
2回答
我正在从1.6升级到spark 2，在读取CSV文件时遇到问题。在spark 1.6中，我会在CSV文件中读取类似这样的内容。val df = sqlContext.read.format("com.databricks.spark.csv").load(fileName)现在我使用文档中给出的以下代码：
val df = spar
浏览 73提问于2017-01-19得票数 0
我希望有一个监控和警报系统(使用Datadog这样的工具)，它可以从我在Databricks中的Spark应用程序中获取度量和日志。问题是，由于不需要每天旋转、运行和杀死数百甚至数千个作业集群，所以最好将现有的集群重新用于类似的数据抽取工作。为了从Datadog中的Databricks和Spark获取度量标准，我尝试了以下方法：
在每个笔记本中</em
浏览 2提问于2021-11-23得票数 1
回答已采纳
我正在将一些代码从Databricks notebook本地转移到Jupyter notebook。 以下在Databricks Notebook中工作的代码不能在本地工作。res = sc.broadcast(spark.read.table(my_table)) 以下是我的本地代码： from pyspark.sql import SparkSession
res = sc.broadcast(<e
浏览 49提问于2020-03-18得票数 1
回答已采纳
我是在本地机器上使用Python的新手。到目前为止，我可以在Azure Databricks中编写代码。我想创建和部署连接到confluent kafka的库，并将数据保存到增量表。我弄糊涂了- 1]我是否需要通过如下设置从本地计算机连接到Databricks Delta，使用python将流存储到增量或将流存储到本地增量(我可以创建增量表 .ge
浏览 0提问于2021-01-08得票数 1
我没有使用Azure Synapse的经验，但我的理解是，这与SQL中的Databricks、ADF、ADLS2和Hive是相同的，它们都位于一个不同名称的工作区中。
我说错了吗？
浏览 2提问于2021-11-12得票数 1
回答已采纳
我是spark的新手，想要在avro文件上工作，但我不知道你应该使用哪个库，org.apache.avro还是spark-avro，我不知道这之间的实际区别是什么。
浏览 2提问于2019-06-07得票数 0
我正在尝试使用数据复制活动从azure databricks delta湖提取信息，但我注意到它并不直接将信息从增量湖传递给我需要的SQL服务器，而是必须将其传递给蔚蓝blob存储，运行它时，它会引发以下错误ErrorCode=AzureDatabricksCommandError,Hit an error when running the command in Azure Databricks.有没有人知道如何将信息从azure databricks
浏览 48提问于2022-11-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
