我想在Spark2.0中使用kotlin进行编程。
我添加了spark的jar文件，我可以在代码中使用JavaSparkContext，但不能在Spark2.0中使用kotlin。
当我像这样使用SparkSession时：
SparkSession sc = SparkSession.builder(). ...
我得到了这个错误:未解决的参考: sparkSession
在Spark2.0中是否可以使用Kotlin进行编程？如果是的话，我该怎么做？
浏览 1提问于2019-01-29得票数 4
回答已采纳
用例
用Java作为编程语言从Kafka主题中获取和打印简单消息
背景
在处理卡夫卡风暴整合的经验，发展和维护卡夫卡集群和风暴拓扑一年多。
没有使用Apache和Scala的经验
简单的单词计数应用程序成功构建和测试使用独立火花集群。
问题
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
at org.apache.spark.streaming.kafka.Ka
浏览 4提问于2016-04-14得票数 1
回答已采纳
2回答
我目前正在研究一种使用Hadoop或Spark在集群上运行作业DAG (场景模拟)的方法。在这两种情况下，我都遇到了与代码语言有关的问题。
如果发现Spark支持用Scala、Python和R编写的代码，而不是用.NET编写的，而Hadoop支持用.NET编写作业，但是我没有在.NET上找到用于Hadoop的DAG实现。
是否有一种方法可以使用.NET编程语言在集群/云上实现作业的DAG？
浏览 5提问于2015-06-30得票数 2
回答已采纳
我一直想知道像Apache Spark这样支持不同语言API的系统的高级架构。例如，Spark支持Scala、Python和Java中的API。
尽管该软件是用Scala编写的，但它支持多语言API。如何在编程层面上做到这一点？有人能解释一下这样的系统的高层架构吗？
浏览 0提问于2016-03-13得票数 3
当运行星星之火时，当每个定义的变量创建时，shell将打印出该变量的类型签名以及实例的toString。
我如何通过编程方式生成相同的签名，而无需使用shell (为了调试日志或stdout/stderr)而使用星火脚本或类？
示例代码运行于火花外壳(请参见下面的粗体输出)
代码：
val data = Array("one", "two", "three", "two", "three", "three")
val dataRdd = sc.parallelize(data)
val dataT
浏览 2提问于2017-04-24得票数 0
1回答
我刚刚开始了我在行业的第一次正式实习(不是学习编码，而是学习编写做东西的软件)。我的雇主使用Apache，因为他们做了大量的大数据处理，它以四种(+)语言( Python、Java、Scala、Spark (和R) )公开了一个API。
在我以前做过的玩具编程中，有一种真实的感觉，一种语言比另一种语言具有更强的“性能”，即用C++编写项目Euler问题可能比使用Python的类似实现运行得更快，即使有一些库可能在一定程度上缩小了这一差距(即NumPy)。
我的雇主通过PySpark API使用Spark，我想知道这如何影响他们的应用程序的性能，而不是使用Scala或Java。类似地，Tenso
浏览 0提问于2019-06-05得票数 -3
回答已采纳
2回答
在我的项目中，我们使用Hadoop 2、Spark、Scala。Scala是编程语言，Spark在这里用于分析。我们同时使用Hive和HBase。我可以使用HDFS访问Hive的所有细节，如文件等。但我的困惑是-
当我能够使用Hive**，执行所有任务时，为什么需要** HBase 来存储数据。这不是一种开销吗？
HIVE 和 HBase**?**的功能是什么？
如果我们只使用Hive，那么问题应该是什么呢？
有谁能告诉我。
浏览 2提问于2016-12-29得票数 4
回答已采纳
我听说在"remote-host-num1:7077“上有一个spark集群，在"remote-host-num2:7077”"remote-host-num3:7077“上有多个节点。
如果我编写一个执行以下操作的程序：
SparkConf conf = new SparkConf().setAppName("org.sparkexample.TestCount").setMaster("spark://remote-host-num1:7077");
JavaSparkContext sc = new JavaSpar
浏览 2提问于2015-07-18得票数 14
回答已采纳
1回答
我想了解如何在Scala中实现相同方法。
def createDataFrame[A <: Product](data: Seq[A])(implicit evidence$3: reflect.runtime.universe.TypeTag[A]): org.apache.spark.sql.DataFrame
def createDataFrame(rdd: org.apache.spark.api.java.JavaRDD[_],beanClass: Class[_]): org.apache.spark.sql.DataFrame
def createDataFrame(row
浏览 0提问于2020-07-19得票数 0
回答已采纳
所有其他问题似乎都解决了Spark applicationId的获取问题。我想以编程方式取消需要jobId的spark作业。
spark.sparkContext.cancelJob(jobId)
浏览 55提问于2021-11-12得票数 0
我以<code>D0</code>模式运行spark应用程序。
我的困难是，我不能优雅地停止spark，然后退出(1)提交以使jenkins作业失败。
jenkins执行的Shell脚本
<code>A1</code>
Spark应用
<code>A2</code>
上述代码的行为
Spark应用程序已在重试配置文件中重试。但我不想出于一般目的而关闭重试。上面的代码不是一个实际的代码，但流程是相似的。
问题
我怎样才能优雅地停止spark，然后在应用程序中以编程方式退出主应用程序，并以编程方式退出？
浏览 25提问于2020-07-31得票数 0
在Scala Spark语法上，用于Vora的Spark shell中是否存在编程上的差异。我需要确保我可以使用广泛可用的Spark示例。谢谢。
浏览 0提问于2015-11-17得票数 0
1回答
我如何在Spark中做到这一点？我知道Spark有monotonically_increasing_id()，但这只适用于Spark应用编程接口--那么对于数据集呢？
浏览 0提问于2017-10-19得票数 2
如何在为Spark View Engine键入代码时提高编辑器的响应性？Spark plugin for VS08会占用大量的CPU资源，因为它会在每次击键时检查所有Spark文件的语法:有没有人知道如何优化这个功能？
浏览 1提问于2010-01-30得票数 1
我是个新手，正在使用PySpark。我注意到字数统计程序的PySpark的DAG与Scala Spark的不同。有人能帮我理解一下吗？
第一个DAG是PySpark
其次是Scala Spark
浏览 3提问于2018-10-16得票数 1
我想通过将spark java/scala api转换为dll文件来从C#运行apache spark源代码。我已经引用ikvm/ikvmc将spark jar文件转换为dll文件，但无法获得正确的结果。有没有办法在C#中运行火花源？
请指导我解决这个问题？
Apache spark支持Java、Scala、R、Python语言来运行Spark。将来会支持C#吗？
浏览 1提问于2015-06-25得票数 15
1回答
我正试图理解为什么我会注册一个数据作为一个临时视图在火星雨。
下面是一个虚拟的例子
# Create spark dataframe
spark_df = spark.createDataFrame([(1, 'foo'),(2, 'bar'),],['id', 'txt'])
# Pull data using the dataframe
spark_df.selectExpr("id + 1")
# Register spark_df as a temporary view to the catalog
s
浏览 2提问于2020-08-31得票数 1
回答已采纳
为基于K8s的Spark (Spark版本2.4.4)开发POC。
我能够使用spark -submit调用一个spark作业：
bin/spark-submit --master k8s://https://localhost:8443 --deploy-mode cluster --conf spark.executor.instances=5 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --conf spark.kubernetes.container.image=liranbo/k8s-tes
浏览 25提问于2019-11-21得票数 1
回答已采纳
我有一个像这样的python文件
import pandas as pd
import numpy as np
import pyspark
df_pd = pd.DataFrame()
spark = pyspark.sql.SparkSession.builder.getOrCreate()
df_spark = spark.createDataFrame([
[1, ]
], ["A"])
a = np.arange(10)
当我键入df_pd.并在输入点后等待时，VS代码会给我一些方法建议，比如join、pivot等等。
我想要同样的a和df_spa
浏览 3提问于2021-07-20得票数 1
回答已采纳
我有一个关于使用Spark的简单问题，虽然大多数工具通常会明确地解释这个问题(在重要的文本中，例如特定的格式或单独的页面)，但我在任何地方都找不到它。也许我的搜索还不够，但我认为我问这个问题很好，希望这个问题的答案也能让其他人受益。 Spark二进制文件通常从以下链接下载，并在集群上安装和配置：Download Apache Spark 例如，如果我们使用Java语言进行编程(尽管它可以是其他支持的语言)，我们需要以下依赖项来与Spark进行通信： <dependency>
<groupId>org.apache.spark</groupId>
浏览 63提问于2021-11-23得票数 0
我刚接触云和大数据，但我对它们很感兴趣，而且我在Java编程方面有丰富的经验。我目前正在做我的uni项目，用来比较Apache Spark streaming和Google Cloud Dataflow的性能。我已经阅读了很多文章，包括的比较。
我知道Spark和Dataflow的编程模型是不同的，但是由于我在这个领域的有限和新的知识，我试图理解是否仍然可以进行这种性能比较？什么类型的用例才是正确的呢？对于流应用程序，这里应该考虑哪些性能参数？
在阅读有关数据流和Spark的文章时，我也遇到了Dataproc，我还在想，在Dataproc和Spark上进行数据流和Spark之间的比较，还是在数
浏览 2提问于2016-04-19得票数 0
我的项目jars与EMR上的jars冲突，因此为了解决这个问题，我通过引导脚本将我所有的高级jars复制到节点的自定义位置。我已经证实jars被复制到所有的执行器节点上。
它与火花提交很好，我的code指的是所有节点的自定义文件夹中的新jars。
/usr/bin/spark-submit --conf="spark.driver.extraClassPath=/usr/customJars/*" --conf="spark.executor.extraClassPath=/usr/customJars/*"
同样的事情，我想通过更新闪烁对象在代码中以编程方
浏览 1提问于2018-07-11得票数 4
如果我将以下代码放入一个扩展App特性的对象中，并使用Idea的run命令运行它，那么下面的代码就没有问题。
但是，当我尝试从工作表中运行它时，我会遇到以下情况之一：
1-如果第一行在场，我得到：
不可序列化的任务: java.io.NotSerializableException:A$A34$A$A34
2-如果第一行被注释掉，我得到：
无法为内部类A$35$A$35$A12生成编码器，而无法访问定义该类的作用域。
//First line!
org.apache.spark.sql.catalyst.encoders.OuterScopes.addOuterScope(th
浏览 12提问于2017-04-05得票数 4
2回答
我在Spark的结构化编程中运行批处理。下面的代码片段抛出错误"kafka不是一个有效的Spark SQL数据源；“。我使用的版本是--> spark-sql-kafka-0-10_2.10。非常感谢您的帮助。谢谢。
Dataset<Row> df = spark
.read()
.format("kafka")
.option("kafka.bootstrap.servers", "*****")
.option("subscribePattern",
浏览 0提问于2017-05-24得票数 1
鉴于Groovy具有与Scala相同的大部分功能，我们是否可以编写Groovy程序来导入并在Groovy中进行科学计算。据说Apache Spark是用Scala编写的，spark为用Java或Scala编写客户端代码提供了完全相同的库。例如：
在Groovy (或Java)中
org.apache.spark.mllib.linalg.Matrix mat =
new org.apache.spark.mllib.linalg.DenseMatrix(2,2, [1,2,3,4] as double[])
在Scala中：
val mat: mat:org.apache.spark.m
浏览 1提问于2015-11-06得票数 2
我已经将Apache Spark 1.1.1设置为在YARN (Hadoop-2.5.2)上运行。我可以使用spark-submit命令运行程序。
我使用的是IntelliJ IDEA 14，我能够使用spark-submit构建工件并运行生成的jar。
然而，我想知道是否有可能直接从IntelliJ运行整个程序？
我添加了必要的库并激活了hadoop-2.4概要文件。但是，我最终得到了以下错误
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.UserGroup
浏览 0提问于2014-12-03得票数 11
我是使用IntelliJ IDE编程和开发Spark应用程序的新手。我想要实现的是在IntelliJ中继续调试的同时达到Spark。但是，当我试图到达SparkContext提供的网址时，我得到了“这个网站无法到达”错误。
是否可以同时监视Spark和在IntelliJ中进行调试？
提前谢谢。
更新
我已经试过和了。另外，我还可以通过命令行界面从访问Spark。
浏览 6提问于2017-01-11得票数 6
详细说明：
通常，在编写火花作业时，需要为不同的星火信任指定特定的值，以便以最优的方式使用集群资源。我们可以在初始化SparkSession时以编程方式这样做：
SparkSession.builder .appName(SPARK_APP_NAME) .config("spark.executor.memory"，"1G")
我想知道的是:在使用时，我们还需要这样做吗？实际上，在创建Dataproc集群时，会初始化一个名为cluster.properies的属性文件，并包含像spark\:spark.executor.memory=2688m这样的值。
浏览 1提问于2019-02-12得票数 1
有人能为我提供一些尚未在Apache Spark中实现的示例Java API吗?我正在尝试查看，如果我决定使用Java API，是否有任何“不存在/功能有限”的Scala Spark API。对我来说，这将是一个破坏交易的因素。
免责声明:根据我的谷歌搜索/分析，我意识到Scala社区对Apache Spark的支持实际上是good.Also的，我理解为了有效地使用Spark，你无论如何都需要学习一些Scala (因为源代码是用Scala编写的)。
浏览 0提问于2016-07-20得票数 0
我有一个具有此依赖性的maven项目：
<dependency>
<groupId>com.sparkjava</groupId>
<artifactId>spark-core</artifactId>
<version>2.0.0</version>
</dependency>
所以这门课：
package com.tengen;
import static spark.Spark.*;
import spark.*;
/**
* Created by d
浏览 0提问于2014-06-07得票数 1
1回答
我正在使用ApacheSpark2.1.0。如果我这样做了：
$ spark-submit --master yarn main.py
Spark模块将正确地在纱线上执行，应用程序将显示在纱线web浏览器GUI上，作为一个完整的应用程序。
如果我以编程方式进行，它不会出现在纱线GUI中，所以我假设它最终不会使用纱线作为主控：
from pyspark import SparkContext, SparkConf
import os
from pyspark.sql import *
from pyspark.sql.types import *
def read_cluster_file(
浏览 1提问于2017-04-16得票数 2
1回答
我使用k8s来部署使用spark-submit调用的spark。我们使用contour作为我们的ingress-class。我想知道是否有办法为ingress容器创建spark-driver对象，以公开Spark 。我试图看看是否可以在一个步骤中完成所有这些工作，可以使用annotations或labels。类似于的东西，它使用annotation来启用ingress
我所要做的就是使用spark-submit提交spark作业，并公开Spark 。可以使用ingress创建--conf，如
--conf spark.kubernetes.driver.annotation.prometheu
浏览 1提问于2020-02-01得票数 1
如何以编程方式检查何时使用
spark.read.csv(path)
或
spark.read.parquet(path)
没有用户说明路径是包含拼花还是文本文件。路径应该在HDFS上。
浏览 3提问于2020-10-06得票数 0
回答已采纳
我是应用程序编程的新手，因此在这里努力学习这个基本的编程。
我有scala ide和附加的来自最新的hadoop和spark发行版的相关jar文件。我正在使用的只有一个基本的scala对象- hadoop - 2.7 spark - 2.0.0
我尝试过这两种情况，当hadoop进程在我的笔记本电脑上运行时，以及当它们不运行时。这是相同的行为。顺便说一句，spark shell不会抱怨任何事情
import org.apache.spark.SparkConf
object SparkAppTest {
def main(args : Array[String]) {
val c
浏览 3提问于2016-07-29得票数 0
当我试图从Vector Transformer的输出创建标签点时，我面临以下问题：
val realout = output.select("label","features").rdd.map(row => LabeledPoint
row.getAs[Double]("label"),
row.getAs[org.apache.spark.mllib.linalg.SparseVector]("features")
))
我得到的错误是：
enter [error] (run-main-0) org.apach
浏览 0提问于2016-11-12得票数 4
我正在尝试构建一个简单的基于Scala的Spark应用程序并在电子病历中运行它，但是当我运行它时，我得到的是Error: Failed to load class: com.myorganization.MyScalaObj。我的Scala文件是： package com.myorganization
import org.apache.spark.sql.SparkSession
object MyScalaObj extends App {
val spark = SparkSession.builder()
.master(("local[*]"))
浏览 17提问于2020-10-02得票数 1
回答已采纳
这可能是源于我无知的一个愚蠢的问题。我已经在PySpark上工作了几个星期了，一开始我没有多少编程经验。
我的理解是，在Spark中，RDDs、Dataframes和数据集都是不可变的--我同样理解，这意味着您不能更改数据。如果是这样，为什么我们能够使用withColumn()编辑Dataframe的现有列？
浏览 0提问于2018-11-19得票数 14
回答已采纳
1回答
我想使用livy编程API提交批处理jar Spark作业，就像使用rest批处理一样，我有json数据
{
"className": "org.apache.spark.examples.SparkPi",
"queue": "default",
"name": "SparkPi by Livy",
"proxyUser": "hadoop",
"executorMemory": "5g",
浏览 1提问于2018-11-21得票数 2
我试图了解PySpark是如何为RDDs使用泡菜的，并避免对SparkSql和Dataframes使用泡菜。这个问题的基础是slide#30 in link.I，我在下面引用它以供参考：
"PySpark RDDs通常是腌制对象的RDDs。Spark (和DataFrames)可以避免其中的一些内容“。
Spark中如何使用泡菜？
浏览 6提问于2017-06-25得票数 1
回答已采纳
如果我写了一个spark程序，并在独立模式下运行，当我想在集群中部署它时，我是否必须更改我的程序代码，或者不需要更改代码？spark编程是否独立于集群的数量？
浏览 43提问于2019-01-29得票数 0
spark ML和system ML有什么区别？IBM上的apache spark engine中的system ml和spark ml都解决了问题，想知道主要区别是什么吗？
浏览 44提问于2020-04-21得票数 1
当我试图导入全局代码中的spark.implicits._时，如下所示，
from pyspark.sql import functions as F
from pyspark.sql import Window
import spark.implicits._
我得到了以下错误：
Traceback (most recent call last):
File "<global-code>", line 3, in <module>
ModuleNotFoundError: No module named 'spark'
在palan
浏览 14提问于2022-05-23得票数 1
回答已采纳
我试图用Spark将数据插入Cassandra表中，如下所示：
String query = "CREATE TEMPORARY TABLE my_table USING org.apache.spark.sql.cassandra OPTIONS (table \"my_table\",keyspace \"my_keyspace\", pushdown \"true\")";
spark.sparkSession.sql(query);
spark.sparkSe
浏览 5提问于2017-05-13得票数 0
回答已采纳
随着Spark的兴起，Scala作为数据科学应用的首选编程语言，获得了巨大的发展势头。
为了提高数据科学应用程序的工作效率，已经发布了专用IDE
R(例如RStudio)和
Python (例如Spyder或Rodeo，见)。
Scala也有类似的地方吗？
浏览 5提问于2016-12-06得票数 5
4回答
火花提交输出结果
、、、
我是火花和scala编程的初学者，我试着在本地模式下运行spark submit示例，它运行完整，没有任何错误或其他消息，但我看不到任何输出结果在领事或星火历史网络用户界面.Where，我如何才能看到我的程序的结果在火花-提交？
这是我运行的命令
spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp /spark-events --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=/tmp/spark-events --conf
浏览 0提问于2018-04-26得票数 1
回答已采纳
Flex4.5中的一些spark容器会弃用mx.containers.HDividedBox吗？
我是Flex编程的新手，找不到任何spark来替代它。
我想有2个列表由可移动的垂直条分隔。
浏览 0提问于2011-08-30得票数 2
回答已采纳
2回答
我在windows系统上使用cygwin构建spark。当我这样做的时候，我可以很好地构建，并且它在
git clone https://github.com/apache/spark
dos2unix spark/build/mvn
build/mvn -DskipTests clean package
但当我尝试使用-Psparkr配置文件时
build/mvn -DskipTests -Psparkr clean package
我得到了一个错误，我尝试了-X和-e选项，但似乎没有任何迹象表明它失败的原因。
[DEBUG] Executing command line: [cmd, /c
浏览 4提问于2015-09-24得票数 2
1回答
我正在为一个用python编程的项目使用kafka和spark streaming。我想将kafka producer的数据发送到我的流媒体程序中。当我使用指定的依赖关系执行以下命令时，它可以顺利地工作：
./spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 ./kafkastreaming.py
是否有任何方法可以指定依赖项并直接运行流代码(例如，不使用spark-submit或使用spark-submit但不指定依赖项)。
我尝试在spark的conf目录中指定spark-defaul
浏览 2提问于2017-06-26得票数 0
我正在使用sbt为SQLContext创建一个Scala程序。这是我的build.sbt：
name := "sampleScalaProject"
version := "1.0"
scalaVersion := "2.11.7"
//libraryDependencies += "org.apache.spark" %% "spark-core" % "2.5.2"
libraryDependencies += "org.apache.spark" % "spark-
浏览 3提问于2015-12-21得票数 8
回答已采纳
3回答
我对使用Pig加载HCatalog感到很舒服，并且想知道是否有可能使用Spark来代替Pig。不幸的是，我对Spark还很陌生。
你能提供一些关于如何开始的材料吗？有没有什么Spark库可以使用？有什么例子吗？我把所有的练习都放在了上，但它们都集中在RDD上，不再深入了。
我将非常感谢任何帮助..。
问候
帕韦尔
浏览 0提问于2014-08-14得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
