我尝试使用org.apache.spark.sql.functions.lit发送文字值,但这导致我的UDF从未被调用:
spark.sqlContext().udf().registerJava("MongoInsertJava中将广播变量传递给UDF。是否可以不传入其他变量,如映射、数组等?记住,我说的是Spark with Java。在Scala中,似乎有更多的灵活性。Scala中使用typedLit的资源,但在Spark with <
请注意,我理解如何使用与激活器一起使用星火,我的问题是关于在集群(如EC2等)上部署应用程序。我尝试在激活器项目中将依赖项添加到build.sbt文件中,并得到以下错误:
[info] Resolving org.fusesource.jansi#jansi;1.4 ...[error] (*:update) java.lang.IllegalStateException: impossible to get artifacts when data has not beenIvyNod