3回答
我已经使用spark-thriftserver connection将表从PostgreSQL数据库导入到spark-sql中，现在我可以从直线上看到这些表。有没有办法把这些表格转换成spark数据帧？
浏览 1提问于2016-09-25得票数 2
我注意到SparkML中有两个LinearRegressionModel类，一个在ML包(spark.ml)中，另一个在MLLib (spark.mllib)包中。
浏览 9提问于2016-08-09得票数 50
回答已采纳
我已经在独立模式下创建了一个包含4个worker的spark集群，在成功配置worker属性之后，我想知道如何配置master属性。我正在编写一个应用程序，并使用SparkSession.builder将其连接到集群(我不想使用spark- submit提交它)。我知道工作进程可以在conf/spark-env.sh文件中配置，并且具有可以设置的参数，例如'SPARK_WORKER_MEMORY‘和'SPARK_WORKER_CORES’
我的问题是:如何配置主服务器的属性因
浏览 10提问于2017-07-26得票数 1
回答已采纳
我想在相同的spark上下文中按需运行不同的作业，但我不知道如何才能做到这一点。我在Amazon EMR上运行代码，使用yarn作为资源管理器。=true \ --conf spark.dynamicAllocation.minExecuto
浏览 2提问于2017-02-06得票数 1
我想在Spark2.0中使用kotlin进行编程。在Spark2.0中是否可以使用Kotlin进行编程？如果是的话，我该怎么做？
浏览 1提问于2019-01-29得票数 4
回答已采纳
1回答
我有一个使用"\t“作为分隔符的.csv文件，我尝试将其读取为：一些标题列名称以及数据值确实包含空格，但从不包含制表符。此文件的标头被正确读取到DF的标头中，但没有数据被读取到DataFrame中。我做错了什么？
浏览 2提问于2020-01-08得票数 0
文件"/****/***/spark-1.1.0/examples/src/main/python/testSql.py"，第25行，在schemaEvents = sqlContext.createDataFramefrom pyspark.sql import *
#File = "/home/shafee/spark-1.1.0/results-201603
浏览 1提问于2016-03-15得票数 0
Spark中的一切都是以RDD (键和值对)的形式创建的。这有必要吗？可以通过RDD数据集创建/执行哪种类型的分析？请提供一个将其转换为RDD的示例和用法 谢谢，Aditya
浏览 15提问于2019-04-30得票数 0
我一直理解Spark，无论是PySpark还是Scala，都是在客户端模式下运行的。如果我错了，在集群模式下没有开箱即用的配置。Error: Cluster deploy mode is not applicable to Spark shells.
浏览 1提问于2019-07-05得票数 1
1回答
我想要比较不同并行度的Spark作业的运行时间，以便分析是否添加更多的并行度更快。问题是，当我创建Spark会话时，我认为我可以通过更改以下内容来实现： .master(master) .config(conf)
.config("spark.default.parallelism", number_of_partitions) // th
浏览 34提问于2021-05-15得票数 0
回答已采纳
所有其他问题似乎都解决了Spark applicationId的获取问题。我想以编程方式取消需要jobId的spark作业。
spark.sparkContext.cancelJob(jobId)
浏览 55提问于2021-11-12得票数 0
我以<code>D0</code>模式运行spark应用程序。<code>A1</code><code>A2</code>Spark应用程序已在重试配置文件中重试。问题
我怎样才能优雅地停止spark，然后在应用程序中以编程方式退
浏览 25提问于2020-07-31得票数 0
有人能告诉我是否有任何Java应用程序可以部署在Apache或任何条件上(代码修改，.)必须考虑到吗？
浏览 4提问于2016-03-09得票数 0
回答已采纳
在Scala Spark语法上，用于Vora的Spark shell中是否存在编程上的差异。我需要确保我可以使用广泛可用的Spark示例。谢谢。
浏览 0提问于2015-11-17得票数 0
我正在使用Spark3.0并设置参数spark.conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")spark.conf.set("spark.sql.files.maxPartitionBytes"
浏览 11提问于2022-06-17得票数 2
回答已采纳
1回答
我如何在Spark中做到这一点？我知道Spark有monotonically_increasing_id()，但这只适用于Spark应用编程接口--那么对于数据集呢？
浏览 0提问于2017-10-19得票数 2
我是Apache Spark的新手，正在尝试创建一个简单的应用程序来在本地模式下运行它，我意识到它有像spark-submit这样的脚本来提交应用程序。我正在寻找类似于Apache Storm的LocalCluster.submitTopology()以编程方式提交应用程序。请告诉我在Spark中对应的API。感谢在这方面的帮助。谢谢。
浏览 3提问于2016-09-20得票数 1
1回答
我正在尝试使用java中的本地独立spark作业读取存储在GCS存储桶上的文件。我已经为SparkContext配置了所有必要的spark配置。Option.scala:120) at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(Option.scala:120)
at org.apache.spark.rdd.RD
浏览 0提问于2017-10-10得票数 1
它目前与Spark 1.6捆绑在一起，但我想使用SparkSession，以及Spark中的其他新功能。如何才能在不将每个计算单元复制到新notebooK的情况下进行迁移？
浏览 2提问于2017-03-21得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
