在R中应用数据帧的分层混洗/排序
在R中，数据帧（data frame）是一种常用的数据结构，用于存储和处理二维数据。分层混洗/排序（hierarchical shuffling/sorting）是一种对数据帧进行重新排列的操作，可以根据指定的列或条件对数据进行分组和排序。
数据帧的分层混洗/排序可以通过多种方式实现，下面介绍两种常见的方法：
- 使用dplyr包进行分层混洗/排序：
- 概念：dplyr是R语言中一个流行的数据操作包，提供了一组简洁而一致的函数，用于对数据进行分组、筛选、排序等操作。
- 分类：dplyr属于数据操作和数据转换的工具包。
- 优势：dplyr提供了直观且易于理解的语法，可以快速进行数据操作，同时具有良好的性能。
- 应用场景：适用于对大规模数据进行分层混洗/排序的场景。
- 推荐的腾讯云相关产品：腾讯云服务器（https://cloud.tencent.com/product/cvm），腾讯云数据库（https://cloud.tencent.com/product/cdb）。
- 使用data.table包进行分层混洗/排序：
- 概念：data.table是R语言中一个高效的数据操作包，提供了类似于SQL的语法，用于对大型数据集进行快速的分组、筛选、排序等操作。
- 分类：data.table属于数据操作和数据转换的工具包。
- 优势：data.table具有出色的性能和内存管理能力，适用于处理大规模数据。
- 应用场景：适用于对大规模数据进行高效分层混洗/排序的场景。
- 推荐的腾讯云相关产品：腾讯云弹性MapReduce（https://cloud.tencent.com/product/emr），腾讯云数据仓库（https://cloud.tencent.com/product/dws）。
以上是在R中应用数据帧的分层混洗/排序的概念、分类、优势、应用场景以及推荐的腾讯云相关产品和产品介绍链接地址。通过使用dplyr或data.table等工具包，可以方便地对数据帧进行分层混洗/排序操作，提高数据处理的效率和准确性。
相关·内容
1回答
我有一个数据帧，我想对数据帧中的行进行随机化。我尝试通过给1的分数来采样数据，但这不起作用(有趣的是，这在Pandas中起作用)。
浏览 0提问于2016-04-23得票数 11
回答已采纳
2回答
目前，我在一个单节点Hadoop上工作，我编写了一个作业，将只有一个分区的排序数据帧输出到一个csv文件。我发现，当使用不同的重新分区时，会产生几种结果。
首先，我使用orderBy对数据进行排序，然后使用repartition输出CSV文件，但输出是分块排序的，而不是以整体的方式排序。
然后，我尝试丢弃repartition函数，但输出只是记录的一部分。我意识到在不使用repartition的情况下，spark将输出200个CSV文件而不是1个，即使我正在处理一个分区的数据帧。
因此，我接下来要做的是将repartition(1)、repartition(1, "column of
浏览 3提问于2021-09-28得票数 1
我们有多个数据帧。
其中一个数据帧是主数据帧，它使用左-外连接与其他数据帧连接。所有这些数据帧都连接在4列上(比如col1、col2、col3、col4)。
为了减少数据混洗，目前我们正在对4个连接列上的所有数据帧进行重新分区，然后连接这些数据帧(从左到外)。
有没有更好的方法来连接/重新划分这些数据帧，以便最大限度地减少数据混洗？
谢谢
浏览 2提问于2019-02-08得票数 2
1回答
我有两个包含GB级数据的大型pyspark数据帧df1和df2。第一个数据帧中的列是id1、col1。第二个数据帧中的列是id2、col2。数据帧具有相等的行数。此外，id1和id2的所有值都是唯一的。此外，id1的所有值都恰好对应于一个值id2。 为。前几个条目是用于df1和df2区域的 df1： id1 | col1
12 | john
23 | chris
35 | david df2： id2 | col2
23 | lewis
35 | boon
12 | cena 所以我需要连接key id1和id2上的两个数据帧。df = df1.
浏览 9提问于2020-06-10得票数 2
回答已采纳
例如，在字数统计作业中，我有2个映射器Mapper A和Mapper B。
映射器A的输出是：{hi,1},{hello,1},{hey,1}
映射器B的输出是：{hi,1},{bye,1},{hey,1}
假设没有合并器和一个减法器。
然后，首先，会发生洗牌
因此，在混洗映射器合并和结果的输出时：
{hi,[1,1]},{hello,1},{hey,[1,1]},{bye,1}
然后进行排序：
{bye,1},{hello,1},{hey,[1,1]},{hi,[1,1]}
然后调用reducer任务中的reduce函数，使o/p为：
bye,2
hello,1
hey,2
hi,2
上述过
浏览 0提问于2017-06-04得票数 1
1回答
我正在寻找一种方法来根据可用内核的大小对应用程序中的所有数据帧进行分区。如果我的可用核心数(执行器的数量*每个执行器的核心数)是20，那么我希望将所有数据帧重新分区为20。
我看到的重新划分数据帧的唯一方法是df.repartition(20)，但我希望将其应用于我的应用程序中存在的所有数据帧，而不必为每个数据帧编写df.repartition(20)。
更改spark.default.parallelism配置不起作用，因为它只在RDD(低级api)而不是dataframe时应用。
对此有什么建议吗？
浏览 13提问于2019-10-29得票数 1
回答已采纳
3回答
我有一个问题，那就是洗牌什么时候开始。
假设我有2个映射器和1个减速器。每个映射器将生成输出map1和map2。此map1和map2存储在各自数据节点的临时磁盘中。
现在reducer应该等待map1和map2的输出吗？换句话说，洗牌是什么时候开始的？只要map1完成，或者它也必须等待map2完成？
我正在听reducer上的混洗流量，我找不到任何流量，但控制台输出显示已经完成了70% (大约)的缩减。
14/12/18 17:45:55 INFO mapred.JobClient: map 97% reduce 22%
14/12/18 17:45:58 INFO mapred.JobCl
浏览 0提问于2014-12-19得票数 0
1回答
我目前正努力在R Studio中处理数据帧。假设我的数据帧如下所示： x y
0 a
0 a
1 a
1 a
0 b
0 b
1 b
1 b 是否有可能对行进行混洗，但可以定义变量y的四个不同序列(即aa，ab，bb，ba)相同频繁地出现？在我的原始数据框中总共有24行，我希望我能把我的问题弄清楚。非常感谢您的帮助！ Ema
浏览 11提问于2020-11-26得票数 0
回答已采纳
我想对按钮单击事件中的对象列表进行排序，在下一次单击同一按钮时，我想取消对对象列表的排序。
浏览 8提问于2011-09-17得票数 0
1回答
有人能详细解释一下bogosort的平均用例时间是多少吗？
算法的伪代码：
while not isInOrder(deck):
shuffle(deck)
浏览 0提问于2013-03-03得票数 2
1回答
k.imgur.com/r8NIv.png
我很难处理来自Spark UI的这些信息。具有最低火花混洗读取大小/记录的执行器读取混洗块所需的时间最长，如图所示。我不明白这是代码问题还是数据节点问题。
浏览 0提问于2017-03-25得票数 1
我们得到了两个数据集，它们被持久化如下： 数据集A： datasetA.repartition(5, datasetA.col("region"))
.write().mode(saveMode)
.format("parquet")
.partitionBy("region")
.bucketBy(5,"studentId")
.sortBy("stu
浏览 12提问于2019-03-29得票数 1
1回答
我在数据帧df上的规范中使用了多个窗口函数：
windowSpec = \
Window
.partitionBy(df['customID'])
稍后，我使用：
df.rdd.map((x[0],x[0], x[1], x[2]))
and df.mapPartitions(some func)
创建我的数据帧的kv对并处理RDDs上的参数。因为
x[0] = df.['customID']
在我的例子中，我想知道如何工作/保持窗口规范已经使用的分区。在使用数据帧之后，这是使用RDDs处理paritions的最有效方法吗？
浏览 0提问于2017-12-03得票数 0
在PySpark中，repartition模块有一个可选的columns参数，它当然会按该键对数据帧进行重新分区。
我的问题是- Spark如何在没有键的情况下重新分区？我无法更深入地挖掘源代码，找出Spark本身到底在哪里。
def repartition(self, numPartitions, *cols):
"""
Returns a new :class:`DataFrame` partitioned by the given partitioning expressions. The
resulting DataFrame is ha
浏览 6提问于2018-11-29得票数 10
我正在研究一个用例的选项，在这种用例中，我们将数据集存储为拼图文件，并希望稍后在读取数据时对特定键运行有效的groupBy查询。 我读过一些关于groupBy优化的文章，但是没有找到太多关于它的信息(除了RDD级别的reduceByKey)。我所考虑的是，如果数据集是由键写成桶的，那么它也将在groupBy中使用。从理论上讲，groupBy是可以优化的，因为包含该键的所有行都将位于同一位置(如果它也按相同的键排序存储，甚至可以是连续的)。 我脑海中的一个想法是通过mapPartitions然后groupBy来应用转换，然而，这将需要将我的函数一分为二，这并不是真正可取的。我相信对于某些类型的
浏览 61提问于2019-05-18得票数 3
2回答
包含sort的行是否会导致更随机的数组，或者这里的sort只是浪费？
use List::Util qw(shuffle);
@random1 = shuffle sort keys %vocables;
@random2 = shuffle keys %vocables;
浏览 0提问于2012-01-23得票数 5
回答已采纳
1回答
我有一个包含1000个例子的数据集，其中500个是正面的，500个是负面的。我正在用0.7的分割比率验证它们，然后把它们放在除了有两层25个节点之外的默认参数的rapidminers MP上。
然而，当我验证它时，我的预测都是否定的，我不知道为什么？即使是糟糕的优化MP (就像在这个例子中)，我也应该至少得到一个积极的预测。
好吧，这是我第一次在rapidminer上这样做，可能是一个非常基本的错误，但我找不到它。
XML代码：
<?xml version="1.0" encoding="UTF-8" standalone="n
浏览 0提问于2014-06-20得票数 0
1回答
我运行一个map only job(在Hadoop上)来对键值进行排序，因为据说"Hadoop会自动对映射器发出的数据进行排序，然后再将其发送到reducers“。
输入文件
2013-04-15 835352
2013-04-16 846299
2013-04-17 828286
2013-04-18 747767
2013-04-19 807924
我认为Map(second_cloumn，first_column)应该对这个文件进行排序，如output1中所示。当我在我的本地机器上运行它时，它实际上是这样的。但是当我在集群上运行它
浏览 0提问于2013-08-05得票数 0
1回答
train_image_paths = [str(path) for path in list(train_path.glob('*/*.jpeg'))]
random.shuffle(train_image_paths)
上面是你可以看到的示例代码。
在这种情况下，我也有同样的问题：
train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(64).shuffle(10000)
我不明白为什么我需要在这些情况下洗牌。
浏览 12提问于2020-02-05得票数 0
回答已采纳
Vowpal Wabbit会在每一次epoch/pass后自动洗牌吗？我希望创建的缓存文件将包含混洗元数据，这是像大众默认的在线SGD方法这样的在线算法所必需的。例如。
vw -d train.txt -c --passes 50 -f train.model
如果不是，我有一个备份脚本，可以在每次遍历时手动处理数据
# Create the initial regressor file
vw -d train.txt -f train.model
# For the next 49 passes, shuffle and then update the regressor file
for
浏览 4提问于2014-01-06得票数 6
2回答
在我的应用程序中，图像是从服务器加载的。我已经使用图像加载器来加载图像。但问题是，当图像加载时，如果我滚动列表视图，图像被打乱，图像的顺序是错误的。但在加载完成后，所有图像都处于正确的位置。如果我现在滚动的图像没有被混洗，那么它们的位置是正确的。我在listview getView()中使用了setTag()和getTag()。请帮助我解决在listview中加载图片时图片混洗的问题。下面是我的getView()代码
public View getView(int position, View convertView, ViewGroup parent) {
// TODO A
浏览 0提问于2012-12-03得票数 0
我发现，每当我运行Map Reduce任务时，hadoop作业都会向我显示Map和Reduce任务完成的百分比。
我知道映射器和减法器都是以分布式方式运行的，并且可以向控制器报告它们已经处理了多少。
但是控制器如何知道要处理的总数据呢？如果控制器试图计算出所有输入文件的大小，我会认为这将是低效的。这是一种粗略的近似吗？
浏览 2提问于2014-02-12得票数 4
我正在开发一个开源的Android音乐播放器应用程序，我正在使用我从教程中找到的一些代码，但它没有包含Shuffle，Repeat和Random按钮，所以我需要帮助才能将它添加到我的代码中。我不知道如何将它添加到我的应用程序中，所以我正在寻求帮助。当涉及到Android编程时，我是一个完全的新手，我正在努力学习。
下面是我的代码：
/**
* Created by Technologx
* Visit & signup on https://technologx.com
* Do not remove this removing this avoids the license
浏览 25提问于2017-01-17得票数 1
2回答
我有一个例子，在一个文件中间有一个字节块，需要对其进行混洗。目前，该实现读取文件，对内存中的字节进行混洗，然后输出整个文件。虽然这是可行的，但它不能扩展到更大的文件大小。我还没有找到一种C++应用程序接口，它允许我在特定的偏移量处向文件写入特定数量的字节，而不会影响后面的字节。
这可以做到吗？
浏览 1提问于2013-04-25得票数 1
回答已采纳
1回答
成对打乱列
、、
我有以下数据帧：
d = {'Name1':['jaap','piet','tim'],'Name2':['bas','max','piet'], 'Count1':[1,5,2],'Count2' :[2,6,8], 'Win','[1,2,2]}
data = pd.DataFrame(d)
Name1 Name2 Count1 Count2 Win
0 jaap bas 1
浏览 1提问于2021-05-10得票数 2
在Time Series tasks中，我遇到了一个关于将数据拆分成训练和测试集的问题。我知道数据不能被混洗，因为保持数据的时间性很重要，所以我们不能创建能够展望未来的场景。然而，当我打乱数据(用于实验)时，我得到了一个离谱的高R平方分数。是的，R平方是用测试集评估的。有人能简单地解释一下为什么会这样吗？为什么在时间序列中混洗训练和测试数据会产生高R平方分数？我的猜测是，这与时间序列的趋势有关，但我不确定。我只是好奇地问一下，谢谢！
浏览 0提问于2020-05-31得票数 0
1回答
我想通过JDBC从数据库中获取几百it的数据，然后使用Spark SQL处理它。目前，我正在对该数据进行一些分区，并按百万条记录进行处理。问题是，我还希望对我的数据帧应用一些重复数据消除，我打算放弃单独批处理的想法，尝试使用相应分区的一个数据帧来处理这数百to的数据。
主要关注的是:在这种情况下，.distinct()将如何工作？Spark SQL是否会首先尝试将所有数据加载到RAM中，然后再应用重复数据删除，这会涉及到许多混洗和重新分区？我是否必须确保集群有足够的RAM来容纳原始数据，或者它可以帮助自己处理HDD存储(从而降低性能)？
或者也许我应该在没有Spark的情况下这样做-将数据移动
浏览 0提问于2018-03-04得票数 0
在Spark core的" example“目录中(我使用的是Spark 1.2.0)，有一个名为"SparkPageRank.scala”的示例，
val sparkConf = new SparkConf().setAppName("PageRank")
val iters = if (args.length > 0) args(1).toInt else 10
val ctx = new SparkContext(sparkConf)
val lines = ctx.textFile(args(0), 1)
val links = lines.map
浏览 0提问于2015-09-05得票数 3
10回答
在pandas中按行或按列混洗数据帧的简单而有效的方法是什么？即如何编写一个函数shuffle(df, n, axis=0)，该函数接受一个数据帧、多个随机n和一个轴(axis=0是行，axis=1是列)，并返回已经被随机n次的数据帧的副本。
编辑：关键是在不破坏数据帧的行/列标签的情况下执行此操作。如果你只是混洗df.index，就会丢失所有的信息。我希望生成的df与原始的相同，只是行的顺序或列的顺序不同。
Edit2：我的问题不清楚。当我说对行进行混洗时，我指的是独立地对每一行进行混洗。因此，如果您有两列a和b，我希望每一行都按自己的顺序排列，这样您就不会像将每一行作为一个整体重新排序时那
浏览 114提问于2013-04-03得票数 82
回答已采纳
1回答
我对spark如何在spark dataframe中创建分区感到困惑。以下是步骤和分区大小的列表
i_df = sqlContext.read.json("json files") // num partitions returned is 4, total records 7000
p_df = sqlContext.read.format("csv").Other options // num partitions returned is 4 , total records: 120k
j_df = i_df.join(p_df, i_df.produ
浏览 3提问于2018-06-07得票数 0
1回答
我有一个形状的熊猫数据帧(18837349,2000)和一个形状的3D Numpy数组(18837349,6601)。我想把我的dataframe和Numpy Array的第一个维度的行协调起来。我知道如何处理数据帧： df_shuffle = df.sample(frac=1).reset_index(drop=True) 但我不知道如何与3D Numpy数组一起使用。真知灼见将不胜感激。
浏览 8提问于2021-04-07得票数 0
在下面的代码中，我在所有四个print语句中都得到了相同数量的分区(200)。在4列(account_id, schema_name, table_name, column_name)上对初始数据帧(df1)进行分区。但后续数据帧仅在3个字段(account_id, schema_name, table_name)上分区。有人可以向我解释一下，如果火花能够保留步骤1-步骤4的分区策略，并且在step1之后不再需要洗牌数据。
val query1: String = "SELECT account_id, schema_name, table_name,
column_name, CO
浏览 1提问于2017-09-13得票数 0
谁能给我解释一下在hadoop中作业是如何映射和缩减的，为什么group by操作被认为是昂贵的？
浏览 0提问于2015-07-19得票数 0
当使用Caffe进行训练而不使用lmdb文件时，必须提供训练和验证输入文件的列表文件。通常，这两个列表文件名为train.txt和val.txt。它们具有相同的结构，如下所示：
/path/to/a/file.jpg 0
/path/to/another/file.jpg 0
...
/path/to/another/file.jpg M
/path/to/another/file.jpg M
...
/path/to/another/file.jpg N
/path/to/another/file.jpg N
用于一组N+1类别。
然后在train_val.prototxt中分别引用训练阶段
浏览 16提问于2019-08-08得票数 0
回答已采纳
首先，为了清楚起见，我刚接触ActionScript 3 6个月。
在当前的一个小游戏项目中，玩家精灵的位图每一帧都会被更改为任何需要的图像。在这个相同的过程中，这个精灵的索引(作为stage的子级)被更新，以确保它保持在所有其他图像的顶部。
(为了避免混淆，这段代码被细化到这个过程的最基本的必要部分)
function playerFrame (newBitmap):void {
player.removeChild(prevBitmap);
player.addChild(newBitmap);
prevBitmap = newBitmap;
stage.setChildI
浏览 3提问于2018-08-02得票数 0
回答已采纳
在两个数据帧的查询计划中，谁能帮我理解哪一个性能更好。
1个数据帧：
val df = data.filter((col("regionId") < 0))
val dfn = data.filter(not(col("regionId") < 0))
val dff = df.union(dfn)
Optimized Plan:
Union
:- Project [regionId#3044L]
: +- Filter (isnotnull(region
浏览 0提问于2019-02-07得票数 0
我想了解两对rdd上的连接是如何工作的？这是否会导致将具有相同密钥的两个RDD的数据混洗到同一分区中？如果是这样的话，在创建时使用partitionBy函数对RDD进行分区(通过连接属性)是否会更好，以便减少混洗？
感谢Ankur
浏览 0提问于2015-01-22得票数 2
谁能告诉我，ImageDataGenerator是在训练时随机抽取一批原始数据，还是在每个时期按顺序抽取，就像第一次迭代中的前100个样本，第二次迭代中的第二个100个样本，等等？我需要理解这一点，因为我正在训练卷积自动编码器，并且输入也作为输出在model.fit()中传递。所以两者应该是正确对应的。 该数据集具有3200张大小为360x640的图像。到目前为止，我有这样的想法： gen = ImageDataGenerator()
train_im = ImageDataGenerator(
rescale=1./255,
sh
浏览 34提问于2021-04-15得票数 1
2回答
我是Spark和Cassandra的新手
我们在Cassandra之上使用Spark来读取数据，因为我们需要使用非主键列读取数据。
一种观察是，spark作业的任务数量增加了w.r.t数据增长。正因为如此，我们在获取数据时面临着大量的延迟。
spark作业任务数增加的原因是什么？
应该考虑什么来提高Cassandra在Spark中的性能？
请推荐我。
谢谢,
马利卡金
浏览 1提问于2015-09-08得票数 2
在spark中，人们也可以使用spark api函数来编写sql查询。应该始终使用ReduceByKey而不是groupbykey，因为它可以防止更多的混洗。 我想知道，当您通过注册数据帧来使用sql查询时，我们如何使用reduceby？在sql查询中，只有group by，没有reduce。在内部，使用reduceBykey比使用group by更优化吗？
浏览 21提问于2020-09-07得票数 0
我正在Windows窗体中练习冒泡排序算法。我已经让我的程序达到了算法工作的程度，我可以在列表框中以非数字顺序生成从1到100的数字，然后运行冒泡排序算法对这些数字进行排序。我遇到的问题是，我不希望在列表框中生成任何重复的数字。基本上，我有一个单选按钮，单击时会在列表框中生成100个整数。然后我有一个“排序”按钮，它将在列表框中对这些数字进行排序。我目前使用数组来做这件事，因为在编写冒泡排序算法和在列表框中创建随机数时，数组是最容易使用的(这就是为什么我不会创建一个新的列表并试图以这种方式对其进行混洗)。如果任何人有任何关于我可以做些什么来防止重复的建议，我将非常感谢。下面是我的代码摘录。
i
浏览 0提问于2016-05-28得票数 1
在python或R中，可以使用索引对DataFrame进行切片。
例如，在熊猫中：
df.iloc[5:10,:]
在pyspark中有没有类似的方式来根据行的位置对数据进行切片？
浏览 3提问于2018-10-13得票数 4
回答已采纳
2回答
我是一个全新的编码新手，所以如果我的问题很愚蠢，请容忍我(&请将任何答案写出来作为代码，否则我不会得到它…)。我正在做一个Qualtrics调查页面，其中我有两个可选答案-每个答案都是一个项目列表。我正在尝试打乱列表，以便每个参与者以不同的顺序查看它们。我从网上得到了下面的代码。
我的HTML列表如下所示：
<div id="enriched">
<div class="list_item">lots of sunshine</div>
<div class="list_item"
浏览 0提问于2015-12-16得票数 4
1回答
我有一个游戏，我正在尝试开始，它显示一个随机的卡，但它绘制重复。我不想重复使用。我使用了大约100张图片--我只是放了几张图片，这样你们就会明白了。
我怎样才能让它不显示任何重复的东西呢？
提前谢谢你，我已经在其他地方检查过了，有了数字似乎就更容易了。我在使用图片时有点迷茫……
<script>
var cards = new Array();
cards.push("images/apple.jpg");
cards.push("images/pear.jpg");
cards.push("images/banana.jpg");
浏览 12提问于2018-08-22得票数 0
1回答
我是Spark的新手，有一个关于RDDs和Dataframe的高级问题，如果我没有弄错的话，它们是建立在RDDs之上的： 我知道有两种类型的操作可以在RDD上完成，转换和操作。我还了解到，只有在转换的产品RDD上执行操作时，才会执行转换。考虑到RDD在内存中，我想知道是否有可能优化这些RDD消耗的内存量，以下面的例子为例： KafkaDF = KafkaDFRaw.select(
KafkaDFRaw.key,
KafkaDFRaw.value,
KafkaDFRaw.topic,
unix_timestamp('tim
浏览 16提问于2020-08-09得票数 0
回答已采纳
1回答
我正在尝试按行而不是按列对pandas数据帧进行混洗。
我有以下数据帧：
row1 row2 row3
1 3 1 6
2 5 2 7
3 7 3 8
4 9 4 9
并且想要对df进行混洗以实现随机排列，例如：
row1 row2 row3
1 6 3 1
2 3 9 2
3 7 5 8
4 4 9 7
我试过了：
df1 = df
浏览 0提问于2017-12-21得票数 3
回答已采纳
我理解在Spark中，map()是一种狭义的转换，因此没有必要进行混洗。但如果map()可以更改密钥，那么在映射完成后可能需要重新洗牌数据，即它不再是一对一的分区。那么，为什么它被认为是狭义的转换呢？谢谢。
浏览 2提问于2020-04-29得票数 1
我有一个巨大的RDD，我想在其中对单独的分区进行本地排序。我研究了sortByKey操作，但不清楚它是否调用了随机操作。(我想避免混乱)
在中提到了sortByKey会涉及无序排列，但从sortByKey的来看，在调用collect()之前似乎没有无序排列。
问: sortByKey()是否涉及数据的混洗？如果是，那么对每个RDD分区中的数据进行排序的最佳方式是什么？如果不是，那么collect()是如何全局排序的呢？
浏览 2提问于2016-09-28得票数 0
我正在写一个程序，它要求我使用预定义的函数对元素列表进行混洗，以生成提供给混洗器的随机性。random函数返回一个介于[0,1)之间的浮点数给shuffling函数，然后shuffler使用这种随机性来决定哪些元素应该放在列表中的哪个位置。
下面是我用来进行实验的元素的示例列表：
{“对象化”，“简化”，“减少”，“重用”，“建立”，“修辞”，“堡垒”，“微笑”，“破折号”，“重新定位”，“修饰”，"dapple"，“点”，“重新布线”，“纵横”}
我的问题是，考虑到我可能有更大的元素池需要重新排列，什么是对这些元素进行排序的好方法？
浏览 1提问于2016-10-09得票数 0
在我的项目的一部分中，我需要创建一个随机的月份名称，并将它们存储到数据框列中。目前我正在使用以下代码片段:首先，创建一个预定义大小的数据帧：
df = pd.DataFrame(index=range(size))
然后创建120个随机时间戳，并将其存储在'Timestamp‘列中：
df["Timestamp"] = [ pd.Timestamp(2017, np.random.randint(1,13), 1) for _ in range(120) ]
最后提取月份并将它们存储到'STD_Months‘列中：
df["STD_Months"
浏览 4提问于2017-08-26得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
