我有一个大型数据集作为一个RDD。我想创建这个RDD的大约100个按列排列的子集，这样我就能够在循环中单独对每个子集运行映射转换。我的RDD示例如下：(1,2,3,...,1000)我想要一个按列拆分，例如10个拆分，因此一个子集应该如下所
浏览 1提问于2017-01-21得票数 0
回答已采纳
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：O: pyspark.sql.dataframe.DataFrame
当我使用以下命令分割字符串时TopicModelVectorSplit = TopicModelVector.select('TopicModelVector').map(lambda line: line.te
浏览 0提问于2016-06-22得票数 0
我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中<
浏览 34提问于2017-03-01得票数 1
回答已采纳
1回答
我正在编写一个JavaRDD代码，其中我必须将csv上传到名为RestaurantDetailRDD的JavaRDD中。RestaurantDetailRDD有一个address列，必须将其过滤到另一个名为addressRDD的RDD中。我只需要一个过滤条件，在这个条件下，我可以按csv中提供的标题拆分address列。:restaurantDetailRDD.collect()){
System.out.p
浏览 14提问于2019-07-20得票数 0
在Spark sql中，我使用Python，并尝试处理以下SQL的输出RDD。这是一个推文列表。我需要拆分单词并提取@，但是当使用map并尝试按空格拆分时，我得到了下面提到的异常消息tweetrdd = tw.rdd.map(lambda line: line.sp
浏览 1提问于2016-11-17得票数 2
我想知道如何在完整的DataFrame上创建一个新列，但其值仅基于DataFrame的一个子集(即，基于条件应用的某些函数)。在本例中，我希望创建一个列，该列将每个ID与Value列中按ID的正值之和相关联。24 || 1 | 12 | 17
浏览 1提问于2019-02-02得票数 0
根据我的理解，读取文件应该创建一个DF，但在我的例子中，它已经创建了一个PythonRDD。我发现很难将PythonRDD转换为DataFrame。请找到我下面的代码来读取一个标签分开的文本文件：rdd2 = rdd1.我想要转换成DF来映射模式，这样我就可以在列</e
浏览 3提问于2016-07-12得票数 0
回答已采纳
在我的Spark Dataframe中，有一列是字符串"1 1 1 1 0 0 0 0 0""1 1 1 1 0 0 0 0 0""1 1 1 1 0 0 0 0 0"我希望从这一列的每一行中收集字符串，并通过连接创
浏览 3提问于2018-07-23得票数 0
我在PySpark中有两个PySpark：[(u'2013-01-31 00:00:00', u'a', u'Pab', u'abc', u'd'),(u'2013-01-31 00:00RDD2:两个RDDs都有相同的数字或
浏览 7提问于2015-12-07得票数 5
1回答
我从一个输入文件中创建了一个RDD，如下所示：[u'$, Homo\t\t\tNykytaiteenSluts (2003) (V) <12>']
很容易根据选项卡字符'\t'拆分RDD中的每个记录，但我想得到的是基于一个或多个选项卡拆分<
浏览 5提问于2015-10-14得票数 1
回答已采纳
2回答
我正在处理将SQL代码转换为PySpark代码，并遇到了一些SQL语句。我不知道如何在pyspark中使用case语句？我计划创建一个RDD，然后使用rdd.map，然后做一些逻辑检查。这是正确的方法吗？请帮帮我！ case
when (e."
浏览 2提问于2016-10-12得票数 24
1回答
我无法从pyspark数据帧列表创建RDD，如下所示：df = sqlContext.createDataFrame(l)df2Trace: py4j.Py4JException: Method __getnewargs__([]) does not exist
在parallelize调用中。它适用于像[1,2,3]这样的简单列表，但是当列表的元素变成一个数据帧时，它似乎
浏览 4提问于2017-04-10得票数 1
2回答
平分一列并取n个元素
、、、
我想取一个列，用一个字符拆分一个字符串。与往常一样，我知道方法拆分将返回一个列表，但在编写代码时，我发现返回的对象只有getItem或getField方法，其中包含来自API的以下描述：
@ item (1.3) def getItem(self@自(1.3) def getField(self，name)：“”在StructField中按名称获取字段的表达式。显然，这不符合我的要求，例如，对于列"A_B
浏览 0提问于2019-03-13得票数 2
回答已采纳
我正在Spark中创建Row对象。我不希望我的字段按字母顺序排序。但是，如果我这样做，它们是按字母顺序排序的。row = Row(foo=1, bar=2)Row(bar=2, foo=1)
然后，当我在这个对象上创建一个dataframe时，列的顺序将是bar优先，foo第二，而我更喜欢的是相反的顺序。我知道我可以使用&quo
浏览 1提问于2016-02-11得票数 14
回答已采纳
1回答
用火花放电流到HBase
、、、
在线上有相当数量的关于使用Scala进行星火流的批量加载的信息( 是特别有用的)，以及一些用于PySpark的信息，但是使用PySpark似乎缺乏这样的信息。所以我的问题是：
任何语言中的大多数示例都只显示每一行上的一个列。如何在每一行中插入多<em
浏览 2提问于2016-01-29得票数 3
我想在Scala中对我的数据帧进行分层采样。我的dataframe只有一列，我想为它形成一个分数映射。我可以在pyspark中实现，但在Scala中会出错。以下是我在Scala中尝试的内容：val sampled_df = pqdf.stat.sampleBy
浏览 87提问于2018-06-07得票数 0
1回答
我在PySpark中创建了一个大块矩阵，名为mtm，具有85Kx85K维度。我想检查矩阵，以确保它是以我想要的方式创建的。我尝试过不同的路径，它们都失败了，退出代码143或92的内存问题都失败了。我已经尝试过的选项: 1.将矩阵转换为rdd，并查看第一个条目：mtm_rdd = mtm_coor.entries
mtm_<em
浏览 2提问于2017-08-22得票数 1
我试图从原始的Dataframe "User_df“中获取每个列的列名和数据类型，到它们自己的列中，其中列的值分别是列名和数据类型。
我有88列和9500行。当我尝试用一个列("ColumnDataTypes")创建一个Dataframe时，下面的代码是有效的，但当我试图为这两个列创建一个Dataf
浏览 36提问于2022-08-16得票数 0
回答已采纳
我是通过从RDD中的文本文件加载数据来创建PySpark的。现在，我想将这个RDD转换成一个dataframe，但是我不知道RDD中有多少列和列。我试图了解如何创建schema，但大多数示例都显示了一个硬编码模式创建示例。现在，由于我不知道列是什么，所以如何将rdd转换为dataframe？到目前为止，我的代码如下：
from pyspa
浏览 9提问于2017-04-07得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
