我想在Spark2.0中使用kotlin进行编程。
我添加了spark的jar文件，我可以在代码中使用JavaSparkContext，但不能在Spark2.0中使用kotlin。
当我像这样使用SparkSession时：
SparkSession sc = SparkSession.builder(). ...
我得到了这个错误:未解决的参考: sparkSession
在Spark2.0中是否可以使用Kotlin进行编程？如果是的话，我该怎么做？
浏览 1提问于2019-01-29得票数 4
回答已采纳
所有其他问题似乎都解决了Spark applicationId的获取问题。我想以编程方式取消需要jobId的spark作业。
spark.sparkContext.cancelJob(jobId)
浏览 55提问于2021-11-12得票数 0
我以<code>D0</code>模式运行spark应用程序。
我的困难是，我不能优雅地停止spark，然后退出(1)提交以使jenkins作业失败。
jenkins执行的Shell脚本
<code>A1</code>
Spark应用
<code>A2</code>
上述代码的行为
Spark应用程序已在重试配置文件中重试。但我不想出于一般目的而关闭重试。上面的代码不是一个实际的代码，但流程是相似的。
问题
我怎样才能优雅地停止spark，然后在应用程序中以编程方式退出主应用程序，并以编程方式退出？
浏览 25提问于2020-07-31得票数 0
在Scala Spark语法上，用于Vora的Spark shell中是否存在编程上的差异。我需要确保我可以使用广泛可用的Spark示例。谢谢。
浏览 0提问于2015-11-17得票数 0
1回答
我如何在Spark中做到这一点？我知道Spark有monotonically_increasing_id()，但这只适用于Spark应用编程接口--那么对于数据集呢？
浏览 0提问于2017-10-19得票数 2
为基于K8s的Spark (Spark版本2.4.4)开发POC。
我能够使用spark -submit调用一个spark作业：
bin/spark-submit --master k8s://https://localhost:8443 --deploy-mode cluster --conf spark.executor.instances=5 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --conf spark.kubernetes.container.image=liranbo/k8s-tes
浏览 25提问于2019-11-21得票数 1
回答已采纳
我的项目jars与EMR上的jars冲突，因此为了解决这个问题，我通过引导脚本将我所有的高级jars复制到节点的自定义位置。我已经证实jars被复制到所有的执行器节点上。
它与火花提交很好，我的code指的是所有节点的自定义文件夹中的新jars。
/usr/bin/spark-submit --conf="spark.driver.extraClassPath=/usr/customJars/*" --conf="spark.executor.extraClassPath=/usr/customJars/*"
同样的事情，我想通过更新闪烁对象在代码中以编程方
浏览 1提问于2018-07-11得票数 4
我刚接触云和大数据，但我对它们很感兴趣，而且我在Java编程方面有丰富的经验。我目前正在做我的uni项目，用来比较Apache Spark streaming和Google Cloud Dataflow的性能。我已经阅读了很多文章，包括的比较。
我知道Spark和Dataflow的编程模型是不同的，但是由于我在这个领域的有限和新的知识，我试图理解是否仍然可以进行这种性能比较？什么类型的用例才是正确的呢？对于流应用程序，这里应该考虑哪些性能参数？
在阅读有关数据流和Spark的文章时，我也遇到了Dataproc，我还在想，在Dataproc和Spark上进行数据流和Spark之间的比较，还是在数
浏览 2提问于2016-04-19得票数 0
2回答
我在Spark的结构化编程中运行批处理。下面的代码片段抛出错误"kafka不是一个有效的Spark SQL数据源；“。我使用的版本是--> spark-sql-kafka-0-10_2.10。非常感谢您的帮助。谢谢。
Dataset<Row> df = spark
.read()
.format("kafka")
.option("kafka.bootstrap.servers", "*****")
.option("subscribePattern",
浏览 0提问于2017-05-24得票数 1
我是使用IntelliJ IDE编程和开发Spark应用程序的新手。我想要实现的是在IntelliJ中继续调试的同时达到Spark。但是，当我试图到达SparkContext提供的网址时，我得到了“这个网站无法到达”错误。
是否可以同时监视Spark和在IntelliJ中进行调试？
提前谢谢。
更新
我已经试过和了。另外，我还可以通过命令行界面从访问Spark。
浏览 6提问于2017-01-11得票数 6
1回答
我正在使用ApacheSpark2.1.0。如果我这样做了：
$ spark-submit --master yarn main.py
Spark模块将正确地在纱线上执行，应用程序将显示在纱线web浏览器GUI上，作为一个完整的应用程序。
如果我以编程方式进行，它不会出现在纱线GUI中，所以我假设它最终不会使用纱线作为主控：
from pyspark import SparkContext, SparkConf
import os
from pyspark.sql import *
from pyspark.sql.types import *
def read_cluster_file(
浏览 1提问于2017-04-16得票数 2
详细说明：
通常，在编写火花作业时，需要为不同的星火信任指定特定的值，以便以最优的方式使用集群资源。我们可以在初始化SparkSession时以编程方式这样做：
SparkSession.builder .appName(SPARK_APP_NAME) .config("spark.executor.memory"，"1G")
我想知道的是:在使用时，我们还需要这样做吗？实际上，在创建Dataproc集群时，会初始化一个名为cluster.properies的属性文件，并包含像spark\:spark.executor.memory=2688m这样的值。
浏览 1提问于2019-02-12得票数 1
如何以编程方式检查何时使用
spark.read.csv(path)
或
spark.read.parquet(path)
没有用户说明路径是包含拼花还是文本文件。路径应该在HDFS上。
浏览 3提问于2020-10-06得票数 0
回答已采纳
我是应用程序编程的新手，因此在这里努力学习这个基本的编程。
我有scala ide和附加的来自最新的hadoop和spark发行版的相关jar文件。我正在使用的只有一个基本的scala对象- hadoop - 2.7 spark - 2.0.0
我尝试过这两种情况，当hadoop进程在我的笔记本电脑上运行时，以及当它们不运行时。这是相同的行为。顺便说一句，spark shell不会抱怨任何事情
import org.apache.spark.SparkConf
object SparkAppTest {
def main(args : Array[String]) {
val c
浏览 3提问于2016-07-29得票数 0
1回答
我想使用livy编程API提交批处理jar Spark作业，就像使用rest批处理一样，我有json数据
{
"className": "org.apache.spark.examples.SparkPi",
"queue": "default",
"name": "SparkPi by Livy",
"proxyUser": "hadoop",
"executorMemory": "5g",
浏览 1提问于2018-11-21得票数 2
如果我写了一个spark程序，并在独立模式下运行，当我想在集群中部署它时，我是否必须更改我的程序代码，或者不需要更改代码？spark编程是否独立于集群的数量？
浏览 43提问于2019-01-29得票数 0
4回答
火花提交输出结果
、、、
我是火花和scala编程的初学者，我试着在本地模式下运行spark submit示例，它运行完整，没有任何错误或其他消息，但我看不到任何输出结果在领事或星火历史网络用户界面.Where，我如何才能看到我的程序的结果在火花-提交？
这是我运行的命令
spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp /spark-events --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=/tmp/spark-events --conf
浏览 0提问于2018-04-26得票数 1
回答已采纳
Flex4.5中的一些spark容器会弃用mx.containers.HDividedBox吗？
我是Flex编程的新手，找不到任何spark来替代它。
我想有2个列表由可移动的垂直条分隔。
浏览 0提问于2011-08-30得票数 2
回答已采纳
我正在使用sbt为SQLContext创建一个Scala程序。这是我的build.sbt：
name := "sampleScalaProject"
version := "1.0"
scalaVersion := "2.11.7"
//libraryDependencies += "org.apache.spark" %% "spark-core" % "2.5.2"
libraryDependencies += "org.apache.spark" % "spark-
浏览 3提问于2015-12-21得票数 8
回答已采纳
1回答
我正在为一个用python编程的项目使用kafka和spark streaming。我想将kafka producer的数据发送到我的流媒体程序中。当我使用指定的依赖关系执行以下命令时，它可以顺利地工作：
./spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0 ./kafkastreaming.py
是否有任何方法可以指定依赖项并直接运行流代码(例如，不使用spark-submit或使用spark-submit但不指定依赖项)。
我尝试在spark的conf目录中指定spark-defaul
浏览 2提问于2017-06-26得票数 0
我想删除Spark web ui返回的服务器版本。我开箱即用了Spark，所以我在其他地方找到的解决方案(指使用after指令(https://github.com/perwendel/spark/issues/331#issuecomment-144521580)或编程解决方案(Remove the HTTP Server header in Jetty 9))在这种情况下不起作用。 我在文档中也没有找到任何配置选项。
浏览 71提问于2019-06-18得票数 0
以下星星之火提交脚本工作：
nohup ./bin/spark-submit --jars ./ikoda/extrajars/ikoda_assembled_ml_nlp.jar,./ikoda/extrajars/stanford-corenlp-3.8.0.jar,./ikoda/extrajars/stanford-parser-3.8.0.jar \
--packages datastax:spark-cassandra-connector:2.0.1-s_2.11 \
--class ikoda.mlserver.Application \
--conf spark.cassa
浏览 0提问于2018-07-12得票数 0
回答已采纳
我是Spark的新手，对此一无所知。我被要求查看现有的程序，任务如下: 1) file1.py 2) file2.py版本是file1.py中的Spark2.0 --> Spark是使用SparkSession启动的。基本上，我必须从file1.py调用file2.py。我该怎么做呢？ 在控制台中，我可以像这样运行这些单独的文件: Spark2-Submit file1.py Spark2-Submit file2.py运行良好。但是从编程上讲，如何从file1.py调用file2.py。
浏览 22提问于2019-12-24得票数 1
我需要知道，以编程方式在Pyspark中，这是日志级别。
我知道我可以通过执行以下操作来设置它：
# spark is a SparkSession object
spark.sparkContext.setLogLevel(log_level)
但是没有用于检索日志级别的等效方法。
有什么想法吗？谢谢!
浏览 0提问于2020-03-12得票数 0
我同意iterative和interactive编程范式使用spark比map-reduce更好。我也同意我们可以使用HDFS或者任何像HBase这样的hadoop数据存储作为Spark的存储层。
因此，我的问题是-在现实世界中，我们是否有任何用例可以说hadoop MR在这些上下文中比apache spark更好。这里"Better“是用来表示performance, throughput, latency的。与使用spark相比，hadoop MR仍然是进行批处理的好方法。
如果是这样的话，谁能告诉advantages of hadoop MR over apache spark？
浏览 1提问于2015-08-03得票数 3
1回答
有多少种方式可以运行星火？如果我只是在build.sbt中声明依赖项，那么Spark应该被下载并工作吗？但是，如果我想在本地运行Spark (下载Spark文件，winutils.)，如何在scala代码中指定我希望针对本地Spark运行代码，而不是针对IntelliJ中下载的依赖项？
为了把星火连接到卡桑德拉，我需要在当地安装火星雨吗？我在某个地方读到不可能从“编程”星火连接到本地的Cassandra数据库
浏览 2提问于2017-11-06得票数 0
回答已采纳
1回答
因此，我有一个具有16个工作节点和一个主节点的火花独立集群。我使用spark_home/conf文件夹中主节点中的“start all.sh”命令启动集群。主节点有32 14和14 VCPUS，而我每个节点有16 14和8 VCPUS。我还有一个spring应用程序，当它启动时(使用java -jar app.jar)，它初始化星火上下文。Smack-env.sh文件是：
export SPARK_MASTER_HOST='192.168.100.17'
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=14000mb
浏览 1提问于2020-08-06得票数 1
回答已采纳
我是Apache Spark的新手，正在尝试创建一个简单的应用程序来在本地模式下运行它，我意识到它有像spark-submit这样的脚本来提交应用程序。
我正在寻找类似于Apache Storm的LocalCluster.submitTopology()以编程方式提交应用程序。请告诉我在Spark中对应的API。感谢在这方面的帮助。谢谢。
浏览 3提问于2016-09-20得票数 1
2回答
设置火花配置
、、、
我正在试图设置火花放电外壳内部的几个火花参数的配置。
我尝试了以下方法
spark.conf.set("spark.executor.memory", "16g")
要检查执行器内存是否已设置，我执行了以下spark.conf.get("spark.executor.memory")操作
返回了"16g"。
我试图通过sc使用sc._conf.get("spark.executor.memory")检查它。
"4g"回答说。
为什么这两个返回不同的值和正确的方式来设置这些配置。
另外，我还在摆弄一些
浏览 1提问于2019-03-08得票数 5
回答已采纳
2回答
Spark Yarn远程提交
、、、、
目前我正在从事spark-streaming项目。刚刚开始，我还是spark-kafka-yarn-cloudera的新手。为了尝试(或看到)程序的结果，目前我必须构建项目的jar，将其上传到集群，然后spark-submit，我认为这种方式效率不高。
我可以从IDE远程编程运行这个程序吗？我使用scala-IDE。我寻找了一些可遵循的代码，但仍然没有找到合适的代码
我的环境：- Cloudera 5.8.2 OS redhat 7.2，kerberos 5，spark_2.1，scala 2.11 -Windows7
浏览 0提问于2018-02-19得票数 0
我正在研究Frama-c框架，我想知道C/Frama-c和Spark Ada之间是否有等价物。我知道比较这种不同的语言看起来很奇怪，但在阅读了、和一些SPARK的用户手册后，我很难猜测SPARK和C/Frama-c/ACSL是否提供了相同的证明健壮性和相同的代码可靠性。
提前感谢您给出您的观点/经验！
PS:我是frama-c的新手，我对SPARK编程了解不多。
浏览 9提问于2018-05-24得票数 0
1回答
我是一位能激发sql活力的纽比。我发现编写具有复杂逻辑的spark查询程序可能非常棘手。例如，我知道spark sql库中的运算符是相当有限的，所以有时我们需要实现UDF。但是，您如何知道库操作员是否可以执行某些操作？如何知道是否需要实现UDF？我发现很多开发者都能写出精美的Spark程序。你是怎么掌握Spark的？如何使用Spark SQL提高我的编程能力。我应该先掌握MYSQL吗？我是一个有软件开发背景的学生。我错过了什么？
浏览 29提问于2020-07-05得票数 0
回答已采纳
1回答
当通过sparklyr启动火花集群时，我注意到所有执行者都需要10-60秒才能上线。
现在，我正在使用Sys.sleep(60)让他们有时间上网，但有时需要更长的时间，有时比这更短。我希望有一种编程的方法来调整这个时间差，类似于。所以我想我想通过getExecutorMemoryStatus通过sparklyr，但我不知道如何做到这一点。
要查看我所看到的内容，请运行以下代码以启动纱线-客户端火花连接，并检查Yarn UI。在事件时间线，我们可以看到，在什么时候，每个执行者在线。
spark_config <- spark_config()
spark_config$spark.exec
浏览 1提问于2018-07-11得票数 0
回答已采纳
1回答
星火数据集组按和和
、、、
我使用Spark1.6.1和Java作为编程语言。下面的代码对dataframes运行良好
simpleProf.groupBy(col("col1"), col("col2") )
.agg(
sum("CURRENT_MONTH"),
sum("PREVIOUS_MONTH")
);
但是，它不使用数据集，知道如何在Java/Spark中处理dataset吗？
干杯
浏览 3提问于2017-06-21得票数 2
当我在Databricks/PySpark中运行查询时，我得到以下错误：
org.apache.spark.SparkException: Could not execute broadcast in 300 secs. You can increase the timeout for broadcasts via spark.sql.broadcastTimeout or disable broadcast join by setting spark.sql.autoBroadcastJoinThreshold to -1
如何在Databricks notebook中以编程方式(Pytho
浏览 54提问于2020-11-13得票数 0
回答已采纳
2回答
我觉得能够以编程方式将spark应用程序提交给yarn已经成为一种非常普遍的要求。然而，在apache spark文档中没有关于它的参考资料。这是可能的吗?如果可能，有没有直接的方法来实现它。请给我建议。
浏览 2提问于2015-05-23得票数 2
1回答
如果我想在出现异常或特定用例的情况下以编程方式从Spark作业内部停止我的spark应用程序，那么如何从Java代码中实现这一点。我尝试调用JavaSparkContext.close()，但作业似乎仍在运行。
浏览 2提问于2016-03-10得票数 3
1回答
我是Scala/Spark编程的新手，我需要将DataFrame保存为XML文件，我从HQL (Hive)查询中获取DataFrame。 它是一个简单的DataFrame (没有数组或其他复杂类型) 我已经研究并找到了spark-xml库，但是这个库似乎不能解决这个问题。
浏览 32提问于2019-03-10得票数 0
回答已采纳
我有一个这样的df val df2 = spark.createDataFrame(
Seq(
(0, "this is a sentence"),
(1, "And another sentence")
)
).toDF("num", "words") 我想在这篇专栏中获得不同的单词，比如 val vocab = List("this", "is", "a", "sentence", "And", "anothe
浏览 8提问于2021-04-13得票数 0
我正在以编程的方式尝试转换列的数据类型，并遇到一些编码问题。
为此，我修改了使用的代码。
数据>>任何被读取为字符串的数字。
代码>>
import org.apache.spark.sql
raw_data.schema.fields
.collect({case x if x.dataType.typeName == "string" => x.name})
.foldLeft(raw_data)({case(dframe,field) => dframe(field).cast(sql.types.IntegerType
浏览 0提问于2018-11-27得票数 1
回答已采纳
我正在尝试从spark structured streaming连接到Kafka。
这是可行的：
spark-shell --master local[1] \
--files /mypath/jaas_mh.conf \
--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0 \
--conf "spark.driver.extraJavaOptions=-Djava.security.auth.login.config=jaas_mh.conf" \
--
浏览 19提问于2018-08-25得票数 0
回答已采纳
我有一个BQ表，它由缺省的_PARTITIONTIME分区。我想把它的一个分区读到Spark dataframe (PySpark)。但是，spark.read应用编程接口似乎不能识别分区列。下面是代码(不起作用)：
table = 'myProject.myDataset.table'
df = spark.read.format('bigquery').option('table', table).load()
df_pt = df.filter("_PARTITIONTIME = TIMESTAMP('2019-01-3
浏览 0提问于2019-07-31得票数 1
1回答
火花找不到窗口功能
、、、、
使用中提供的解决方案，我尝试重新创建相同的查询，但使用编程语法而不是Dataframe API，如下所示：
import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._
object HiveContextTest {
def main(args: Array[String]) {
浏览 2提问于2015-10-02得票数 0
回答已采纳
2回答
在前级回路中起作用？
、、、
我在密码"“中看到了这个。我对foreach循环是如何工作的感到困惑。还有什么是火花的价值，我和数组。我对编程很陌生，所以请尽量简单地回答这个问题。谢谢大家！
function draw() {
ctx.fillStyle = 'rgba(0,0,0, 0.1)';
ctx.fillRect(0, 0, ctx.canvas.width, ctx.canvas.height);
sparks.forEach(function (spark, i, array) {
if (spark.opacity <= 0) {
浏览 2提问于2017-01-27得票数 0
回答已采纳
我使用bigquery-spark-connector来读取使用BigQuery存储API的BigQuer。我的脚本(自动)从BigQuery存储应用程序接口请求多个分区，但我收到警告：
WARN com.google.cloud.spark.bigquery.direct.DirectBigQueryRelation:请求了%2个分区，但仅从BigQuery存储com.google.cloud.spark.bigquery.direct.DirectBigQueryRelation:接收到%1
Spark任务需要很长时间，我认为这是因为它没有读取多个分区。如何确保BigQuery存储应用编程
浏览 3提问于2019-11-08得票数 2
我是Spark编程的新手，我有一个场景，当一组值出现在我的输入中时，我会赋值。下面是我用来完成任务的传统SQL代码。在Spark中也需要做同样的事情。
Sql代码：
SELECT CASE WHEN c.Number IN ( '1121231', '31242323' ) THEN 1
ELSE 2 END AS Test
FROM Input c
我知道在spark中使用when只有一个条件。
Input.select(when(Input.Number==1121231,1).otherwise(2).alias("Test")).
浏览 0提问于2016-04-27得票数 2
回答已采纳
我是比较新的火花和DSE，我试图提交一个火花作业到DSE星火集群编程？
我正在使用org.apache.spark.launcher.SparkLauncher api。我试着跟踪SparkLauncher的文档。
Process launcher = new SparkLauncher().setAppName("appName")
.setAppResource("spark-job.jar")
.setSparkHome("spark-home")
浏览 0提问于2017-02-03得票数 2
新的火花和蜂巢。目前，我可以运行spark 1.5.2，我还可以从命令行访问hive。我希望能够以编程方式连接到hive数据库，运行查询并将数据提取到dataframe，所有这些都在spark中。我想这种工作流程是相当标准的。但我不知道该怎么做。
现在我知道我可以在spark中得到一个HiveContext：
import org.apache.spark.sql.hive.HiveContext;
我可以在hive中执行所有查询，如下所示
SHOW TABLES;
>>customers
students
...
然后我可以从表中获取数据：
SELECT * FROM
浏览 0提问于2016-11-01得票数 0
根据我的理解，火花不需要安装在纱线集群的所有节点上。只需要在触发火花提交脚本的节点(通常是网关节点)上安装火花。
按火花编程指南
要使Spark运行时jars可以从纱线侧访问，可以指定spark.yarn.archive或spark.yarn.jars。
包含火花运行时jar的库是如何分发到纱线集群中的物理工作者节点(启动执行器的地方)的。
谢谢。
浏览 7提问于2016-11-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
