if __name__ == "__main__": .builder \ .getOrCreate()
data = [(Vectors.sparse(4, [(0, 1.0), (3, -2.0)])什么是 spark = SparkSession \
浏览 425提问于2020-09-25得票数 0
{SparkConf,SparkContext}import org.apache.spark.sql.Dataset
浏览 2提问于2018-12-24得票数 0
回答已采纳
我们到底是什么意思，它的意义是什么？例如： .config("spark.some.config.option", "some-value").getOrCreate
浏览 1提问于2019-01-04得票数 0
回答已采纳
2回答
line = "Hello, world"我得到以下错误当我从一个只有一个列的字符串列表中创建一个dataframe时，我还有另外一个问题：from pyspark.sql import SQLContextschema = S
浏览 4提问于2018-03-19得票数 0
我有一个星火应用程序，它使用Spark2.0NewAPI和SparkSession。我在使用SparkContext的另一个应用程序的基础上构建这个应用程序。我希望将SparkContext传递给我的应用程序，并使用现有的SparkContext初始化SparkSession。
然而，我却找不到办法去做这件事。我发现带有SparkSession的SparkContext构造函数是私有的，所以我不能以这种方式初始化它，而且构建器不提供任何setSparkContext方法。你认为有什么解决办法吗？
浏览 9提问于2017-03-21得票数 39
回答已采纳
我有： .builder .config("spark.master", "local")然而$Builder.get
浏览 1提问于2018-08-30得票数 2
接下来，我想看到一个混淆矩阵，所以我将分数和标签转换为RDD，并将其传递给BinaryClassificationMetrics()：以下是错误：
AttributeError: 'SparkSession
浏览 1提问于2019-02-14得票数 3
回答已采纳
传递sparkSession会不会让我的程序变慢？它比SparkSession.getOrCreate慢吗？提前谢谢。
浏览 57提问于2020-02-08得票数 0
回答已采纳
但是假设我有一个函数，它接受一些数据列表或字典，预期的输出是包含数据的pyspark dataframe。我认为单个会话应该足够了，因此需要检查会话是否存在，如果不存在，则创建一个会话。但我只是不确定如何在函数中做到这一点？ 这是我的代码，为什么它不在一个jupyter笔记本里面，我不知道这是不是最好的方式，anyways...sometimes，我得到一个错误使用这个方法。pyspark.SparkConf().set('spark.driver.host','127.0.0.1')
sc = pyspark.S
浏览 2提问于2020-10-31得票数 0
面临的问题：Case1:当运行上面的示例时，它说：
spark_df = sqlContext.createDataFrame
浏览 0提问于2018-09-05得票数 2
回答已采纳
下面是我正在使用的java代码片段，它是spark上的一个作业： .appName("MySQL.master("spark://ip:7077") .getOrCreatec
浏览 23提问于2017-09-06得票数 4
回答已采纳
1回答
我正在尝试连接两个数据库Postgres和Server。from pyspark.sql import SparkSession
.builder \ .config("spark.jars", "mssql-jdbc-8.4.1.jre8.jar") \
spa
浏览 8提问于2022-08-05得票数 0
我正在部署一个包含1个Master节点和3个worker节点的Spark集群。在部署Master和Worker节点的时刻，master开始向日志发送以下消息；
19/07/17 12:56:51 INFO Master: I have been elected leader!
浏览 28提问于2019-07-17得票数 2
JavaSparkContext jsc = new JavaSparkContext(config);}
我有一台Windows8.1PC，运行Java1.8和Sparkv2.3.0
浏览 1提问于2018-03-07得票数 2
我使用的是火花器2.0.1 print(l.b_appid)
mrdd = sqlC.read.parquet("hdfs://localhost:54310/yogi/device/processed//data.parquet")
浏览 3提问于2017-02-21得票数 1
我在朱庇特笔记本和命令行工作。我可以创建一个没有问题的SparkSession。但是，当我试图创建一个dataframe时，我会得到以下错误：
d = [{
浏览 3提问于2017-07-31得票数 0
回答已采纳
我是SparkSQL的新手，我试图解析和显示JSON文件的数据。所以我的问题是，我无法理解下面给出的代码中的第2行，为什么构建器函数不像文档(.setAppName而不是.appName等)我已经说过了吗？在我的代码第2行中添加的"some-value").getOrCreate()是什么意思？如果有人能帮助我理解这一点，我会发自内心地感激你。2. val spark = SparkSession.builder().appName
浏览 9提问于2017-08-11得票数 0
回答已采纳
1回答
我有以下代码： spark = SparkSession.builder \ .master("spark://" + os.environMASTER_HOST"] + ":7077")\ .getOrC
浏览 16提问于2020-04-17得票数 2
回答已采纳
我在main()函数中创建了一个会话，如下所示：现在，如果我想配置应用程序或访问属性，可以在同一个函数中使用局部变量sparkSession。如果我想在同一个项目的其他地方访问这个sparkSession，比
浏览 3提问于2017-06-12得票数 18
回答已采纳
scala的版本为2.11.8；jdk为1.8；spark为2.0.2val dataset = spark.read.format("libsvm")错误信息是：
我不知道怎么解决。
浏览 3提问于2016-12-04得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
