嗨，我在Notebook中有这段代码，并尝试编写python spark代码： spark.sql("SELECTdf,spark):return result.rdd.sample(False, 0.1).map(lambda row : (row.temper
浏览 0提问于2017-06-04得票数 5
回答已采纳
如何将csv文件without any schema加载到spark rdd和dataframe中并分配模式AA,19970101,47.82,47.82,47.82,47.82,0
浏览 0提问于2019-07-17得票数 0
由于我是星火社区的新手，任何人都能解释如何从数据库表创建PySpark RDD吗？我可以使用PySpark方法的textFile()方法从CSV文件创建SparkContext RDD。但我不知道从数据库表中创建PySpark RDD。
浏览 0提问于2018-02-10得票数 1
回答已采纳
在pyspark中给出一个RDD，我想创建一个新的RDD，它只包含它的前n项(副本)，如下所示： n=100 rdd2 = rdd1.limit(n) 除了RDD没有像DataFrame那样的方法limit注意，我不想收集结果，结果必须仍然是RDD，因此我不能使用RDD.take()。 我使用的是pyspark 2.44。
浏览 19提问于2019-10-13得票数 0
回答已采纳
我在使用pyspark.mllib.stat.KernelDensity中手工创建的测试数据时遇到了一个问题。在使用(某些)pyspark时，numpy.float和Python的通用float之间存在某种问题/差异；特别是使用numpy.float的中断构造的RDDs。有没有办法让我创建的NumPy数组的元素是python的浮点数而不是numpy.float的？import pyspark
import pyspark.m
浏览 0提问于2018-05-15得票数 0
我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中创建传统的Python数据对象，比如数组、列表
浏览 34提问于2017-03-01得票数 1
回答已采纳
在Scala中，有一种名为setName的方法，它允许用户在Spark的Storage选项卡下指定用户友好地显示缓存的RDDs/Dataframes。(我在这个操作中使用Databricks )
注意:我已经尝试使用使用Python 的setName方法，但这似乎没有更新Spark中存储选项卡中RDD名称的描述(每个"RDD名称“以查询形式显示)-
浏览 10提问于2022-01-01得票数 0
我的问题似乎是在功能，但不确定它。在执行代码时，我收到了以下错误： rdd, schema = self._inferSchema(rdd, samplingRatio, names=schema)
File "
浏览 34提问于2022-10-28得票数 0
2回答
可以在pyspark中创建rdd的rdd吗？我试过了rdd2=sc.parallelize([4,5,6])并得到错误
浏览 22提问于2019-11-17得票数 0
回答已采纳
MlLib的旧API有评估指标类：，而新的dataframe API没有这样的类：
浏览 0提问于2016-09-06得票数 0
2回答
创建DataFrame后，我可以将其保存为avro、csv或拼板格式。
在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？
浏览 2提问于2017-12-21得票数 1
1回答
我试图用CDH在纱线上运行电火花，在这个生火的主程序中，有一条类似于rdd.pipe("XXX.sh")的语句，每次我运行它时，都会弹出一个被拒绝的错误，我该怎么办来解决这个错误呢？谢谢。_0079/container_1495632173402_0079_01_000001/pyspark.zip/pyspark/rdd.py"，第2346行，在"/data/yarn&
浏览 3提问于2017-05-25得票数 0
4回答
我有一个rdd (我们可以称之为myrdd)，其中rdd中的每个记录都具有如下形式：
[('column 1',value), ('column 2',value), ('column 3',value
浏览 0提问于2015-04-07得票数 15
回答已采纳
Spark中的一切都是以RDD (键和值对)的形式创建的。这有必要吗？可以通过RDD数据集创建/执行哪种类型的分析？请提供一个将其转换为RDD的示例和用法 谢谢，Aditya
浏览 15提问于2019-04-30得票数 0
我有这样的DenseVector RDD[DenseVector([1.0, 0.0, 1.0, 1.0, 0.0, 0.0,/sql/session.py", line 520, in createDataFrame File "/opt/BIG-DATA/spar
浏览 3提问于2016-12-26得票数 11
回答已采纳
我正在使用Jupyter notebook，刚刚开始学习Apache spark，但在创建简单的RDD时遇到错误：错误是：，每种情况下都会发生这种情况
浏览 3提问于2017-03-30得票数 5
2回答
在中，我通过调用从Java加载的类的静态函数来创建一个JavaRDD对象。是否可以使用Pyspark访问这个JavaRDD？
从SqlContext访问表。获取表的RDD，并将其内容映射回反序列化版本。
浏览 8提问于2015-08-20得票数 3
我正在尝试将Spark RDD转换为DataFrame。我已经看到了将方案传递给sqlContext.CreateDataFrame(rdd,schema)函数的文档和示例。是否有其他方法可以在不事先知道列的信息的情况下指定模式。
浏览 0提问于2016-09-26得票数 47
回答已采纳
在检查了所有找到的源之后，datastax-spark-cassandra连接器支持在cassandra中使用scala和java中的rdd自动创建表。特别是对于pyspark，有另一个包可以完成这项工作-- 。但是即使有了这个包也不能自动创建表格。对于dataframe，我根本找不到任何选项。我刚接触pyspark和cassandra，任何帮助都是非常感谢的。尝试仅使用anguenot包作为依赖项。Spark版本: 2.4.7 Cassandra :
浏览 8提问于2021-03-03得票数 2
1回答
在执行PySpark代码时，通过提供所需的模式从现有的DataFrame创建DF时，我无法展示在什么情况下会引发以下异常，此代码在Databricks社区平台中执行。代码： from pyspark import SparkConf, SparkContextsc = SparkContext.getOrCreate(conf=conf)
rdd=s
浏览 108提问于2021-10-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
