我知道Spark有两个用于机器学习的库。一个是spark.ml，另一个是spark.mllib。我只想知道使用spark.ml构建的spark程序是否可以使用和测试(预测)使用spark.mllib pachages构建的模型，反之亦然？
浏览 4提问于2017-04-24得票数 0
您将需要执行相当多的计算，从源数据帧，一个Spark表，不是吗？或者，dataframe和table都是指向相同数据的指针(即，在创建表时，不是在创建重复数据)？我猜我想要弄清楚的是，你是否可以从一个Spark数据帧到一个表‘开关开关’，或者这样做的计算量是否(非常)昂贵(毕竟这是大数据...)
浏览 26提问于2021-04-26得票数 0
3回答
我使用的是Spark 1.3.1。
我正在尝试查看Python中Spark dataframe列的值。有了Spark dataframe，我可以使用df.collect()来查看数据帧的内容，但在我看来，Spark dataframe列还没有这样的方法。例如，数据帧df包含一个名为'zip_code&
浏览 1提问于2015-06-30得票数 43
回答已采纳
在Spark SQL中是否有“如果不存在则执行INSERT”的规定。
我有Spark SQL表"ABC“，其中有一些记录。然后，我有另一批记录要根据它们是否存在于该表中而插入/更新到该表中。
浏览 8提问于2017-08-16得票数 3
我使用pyspark流从kafka获取数据，结果是一个dataframe，当我将dataframe转换为rdd时，它出错了： Traceback (most recent call last):File "/home/softspyspark.
浏览 56提问于2020-01-06得票数 3
Pbm：
a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。
浏览 0提问于2015-04-15得票数 4
假设我有一个10 c1的数据帧，其中一个列的"c1“对于每条记录都有相同的值。每个单独的分区最大为128 MB(默认值)。如果是这样，它不会超过每个分区的最大大小吗？在这种情况下，重新分区是如何工作的？
浏览 34提问于2021-09-23得票数 2
回答已采纳
我已经创建了一个带有模式的空数据帧。我正在尝试将新数据帧中的列添加到for循环中的现有列中。._1))k.show()有人能帮我一下吗？
谢谢！！
浏览 5提问于2017-10-03得票数 0
我在pyspark里有两个数据帧。我正在尝试将一个数据帧与另一个数据帧进行比较，以查看值是否在范围内。
Dataframe dfcompare：我正在寻找的输出：我目前拥有的代码如下： com
浏览 0提问于2021-03-28得票数 1
1回答
我有两个不同的(非常大的)数据帧(详细信息如下)。我需要合并他们两个人的数据。由于这些数据帧非常庞大(第一个数据帧有数百万行，第二个数据帧有数千行)，我尝试使用AWS EMR服务。但我不太明白它是如何在那里完成的，我看到的教程大多只显示了一个数据帧的说明。所以，我一直想知道如何使用pyspar
浏览 11提问于2021-06-03得票数 0
回答已采纳
1回答
我有下面的字典- config = 'inferschema':'True',} 基于上面的JSON配置文件，我想通过使spark的.option方法可配置来创建一个数据帧例如，对于上面的配置和dataframe，option方法应如下所示 dataframe= spark.read.format('CSV'
浏览 15提问于2021-04-21得票数 0
回答已采纳
我有两个数据帧，df1和df2，如下所示：+---+--------+-----+----+--------++---+--------+-----+----+--------++---+--------+-
浏览 8提问于2019-07-12得票数 1
我有一个作业需要在分区的spark数据帧上运行，该进程如下所示： rdd = sp_df.repartition(n_partitions, partition_key).rdd.mapPartitions(lambda x: some_function(x)) 结果是pandas.dataframe的rdd， type(rdd) => pyspark.rdd.PipelinedRDD
type(rdd.collect()[0]) => pandas.core.frame.<
浏览 124提问于2019-12-10得票数 4
回答已采纳
如何将熊猫数据帧发送到hive表？我知道如果我有一个spark数据帧，我可以将它注册到一个临时表中，使用sqlContext.sql("create table table_name2as select * from table_name")AttributeError
浏览 0提问于2016-04-28得票数 9
回答已采纳
我在使用制表符分隔值(TSV)和逗号分隔值(CSV)文件时使用Spark 2.0。我希望将数据加载到Spark-SQL数据帧中，在读取文件时，我希望完全控制模式。我不希望Spark从文件中的数据中猜测模式。
如何将TSV或CSV文件加载到Spark SQL Dataframe中，并对其应用模式？
浏览 2提问于2017-04-20得票数 6
我正在使用pyspark的(Spark 2.3.2) saveAsTable，如下所示： .sortBy("id") \ .option("path", "test_table.parquet") \在表已经存在的情况下C
浏览 1提问于2019-10-10得票数 0
我正在尝试将每个worker节点(每个元素都是Pandas DataFrame的RDD )上的Pandas DataFrame转换为跨所有worker节点的Spark DataFrame。, and I am using some datetime """
return在完成熊猫处理后，
浏览 31提问于2019-06-05得票数 0
回答已采纳
1回答
因为我是新手，所以我有一个简单的疑问我不知道这是不是正确的方法 varnewdf:DataFrame= null;
if(!但是我发现了其他的</em
浏览 1提问于2020-01-20得票数 1
我想要更新spark-SQL中的表中的一行，那么我该怎么做呢？例如，我的原始查询是，从学生集标记更新= 56，其中id =1；
如何在spark-SQL中做到这一点？spark-SQL中不支持As update。请在这方面提供帮助。
浏览 26提问于2016-01-14得票数 2
有没有办法将Spark Df (非RDD)转换为pandas DFvar some_df = Seq( ("B", "yes"),
("B",
浏览 2提问于2018-06-21得票数 51
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
