Exception：(“必须使用配置单元构建Spark。导出'SPARK_HIVE=true‘并运行build/sbt程序集”，Py4JJavaError(调用None.org.apache.spark.sql.hive.HiveContext.\n'，JavaObject id=o54时出错))
浏览 4提问于2016-05-11得票数 1
1回答
export AWS_ACCESS_KEY_ID=**key_here**./pyspark
我收到以下错误。例外情况：(“您必须使用Hive构建</em
浏览 6提问于2015-11-30得票数 0
回答已采纳
我正在尝试在Pyspark 1.6.2中使用为Windows 7专业版中的Hadoop2.6预先构建的代码来运行这段代码from p
浏览 2提问于2016-07-19得票数 1
如果有两个独立的HiveContext应用程序来实例化一个SQLContext而不是一个SQLContext，那么这两个应用程序中的一个就会出现错误：
例外情况：(“您必须使用Hive构建星火。导出'SPARK_HIVE=true‘并运行build/sbt程序集”，Py4
浏览 2提问于2016-01-10得票数 9
回答已采纳
根据文档，我应该在我的机器上安装sbt，并覆盖它的默认选项，最多使用2G的RAM。在尝试了很多之后，我决定选择maven (我高估了默认选项来使用512 it )，并且我可以运行mvn compile，它开始下载一些依赖项，直到它到达锌服务器。它说锌服务器没有在8080端口上运行，maven的构建失败了。
是否需要在本地安装锌服务器并将其添加到Windows路径？我可以在没有服务器的</em
浏览 3提问于2014-05-06得票数 3
1回答
Export 'SPARK_HIVE=true' and run build/sbt assembly", Py4JJavaError(u'An error occurred while calling\n', JavaObject id=o44))
我登录到AWS并使用以下代码拆分集群：/User/Downloads/spark-1.5.2-bin-hadoop2.6/ec2/
浏览 2提问于2015-12-11得票数 0
回答已采纳
我正在尝试运行SparkSQL：但是我得到的错误如下：Caused by: java.sql.SQLException: Another instance of Derby may have already booted the database /root/spark122 more
Caused by: ERROR XSDB6: Another ins
浏览 41提问于2015-12-25得票数 33
我在我的ubuntu机器上有一个现有的蜂巢。我只是试图通过hive中的创建一个表。我使用IntelliJ进行开发。我的build.sbt如下
libraryDependencies +现在，我只想使用Spark在单元格中创建一个表。我在用户邮件列表中询问，得到<e
浏览 9提问于2015-02-09得票数 1
回答已采纳
2回答
使用：
from pyspark.mllib.fpm import FPGrowthScala:import org.apache.spark.rdd.RDD
val data = sc.textFile(" + rule.consequent .mkString("[", ","
浏览 4提问于2016-10-18得票数 4
回答已采纳
1回答
我想要建立一个‘胖’罐我的代码。我主要理解如何做到这一点，但我所使用的所有示例都使用了jar不是本地的概念，并且我不知道如何将我构建的scala代码使用的另一个jar包含到组装的JAR中。就像这个JAR必须包含在哪个文件夹中一样？通常，当我使用shell作为测试运行当前代码时，如下所示：
spark-shell --jars magellan_2
浏览 2提问于2018-04-13得票数 2
回答已采纳
当我构建scala项目时，intellij在哪里存储jar文件？我试图创建一个胖罐子，我可以部署到EMR运行一个火花作业。
浏览 1提问于2015-01-13得票数 2
回答已采纳
2回答
我想运行一个带有初始化代码的pyspark，它在每个Python进程中只运行一次。我不需要保证这段代码只运行一次，但出于性能考虑，我不希望它针对每一行运行。MyUDF {
class MyUDF extends UDF2我知道每个executor都有一个Python进程来响应该执行器的</em
浏览 2提问于2022-06-06得票数 1
回答已采纳
似乎没有类似于TSQL DATEDIFF_BIG函数()的东西。我已经在SCALA中完成了(见下文)，它对于临时函数很好。我安装了SBT (Windows-的最新版本)我还安装了Intellj
我运行为IBAN示例构建的SBT，但是在将JAR上传到集群之后，无法获得SQL函数，并且函数注册工作。CREATE FUNCTION ValidateIBAN AS 'co
浏览 0提问于2019-07-10得票数 3
回答已采纳
4回答
我试图提交一个jar来激发，但是我的jar包含了与spark内置的jar (snakeyml和其他的)冲突的依赖项。是否有一种方法可以告诉spark，比/jar 中的/jar更喜欢我的项目的依赖项？当我运行submit时，会得到以下例外：
Caused by: java.lang.NoSuchMethodError: javax.validation.BootstrapConfiguration.getClockP
浏览 0提问于2018-08-16得票数 3
在试图运行以下代码时，我得到了一个错误：import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSessionException in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hivesupport
浏览 12提问于2016-09-12得票数 30
回答已采纳
我正试图在windows上运行apache。有人能给我一步一步的指导吗？我下载了spark，sbt和scala。有人能一步一步地给予。我想把它作为一个独立的程序来运行
浏览 1提问于2015-03-20得票数 0
回答已采纳
我们是否应该使用Kerberos对蜂巢进行身份验证，如果是，如何进行身份验证？正如下面所详述的，我认为我们必须指定keytab和主体，但我不知道具体是什么。我们希望使用使用Livy的Azure Data中的PySpark来执行火花作业，但是如果我们能够让它与火花提交cli一起工作，那么它也有希望与Livy一起工作。(我在Microsoft)中找不到类似的文档)从正式文档开始:它解释了
为了让应用程序与HDFS、HBase
浏览 87提问于2022-04-20得票数 2
回答已采纳
2回答
我想要创建一个大的Jar文件。其中我试图使用SBT程序集。我从和这个安装了sbt程序集。当我运行sbt assembly时，我得到了以下错误：按照给定的链接添加了退出规则，
libraryDependen
浏览 4提问于2013-10-26得票数 4
回答已采纳
11回答
有没有可能将spark中的DataFrame直接保存到Hive？
我尝试过将DataFrame转换为Rdd，然后保存为文本文件，然后加载到hive中。但是我想知道我能不能直接把dataframe保存到hive
浏览 1提问于2015-06-05得票数 93
在代码工作簿中，我可以使用print语句，这些语句出现在代码工作簿的输出部分(通常会出现错误)。这不适用于UDF，也不适用于代码编写/存储库。我有什么方法可以调试我的py行之有效的代码，特别是当我使用UDF的时候？
浏览 18提问于2022-03-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
