如何对PySpark DataFrame的每一列中的数据进行混洗？
在PySpark中，可以使用shuffle()函数对DataFrame的每一列数据进行混洗。shuffle()函数是DataFrame的一个方法，用于随机打乱数据的顺序。
以下是对PySpark DataFrame每一列数据进行混洗的步骤：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import shuffle- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建DataFrame对象：
data = [("Alice", 25, "Female"), ("Bob", 30, "Male"), ("Charlie", 35, "Male")]
df = spark.createDataFrame(data, ["Name", "Age", "Gender"])- 使用
shuffle()函数对DataFrame的每一列数据进行混洗：
shuffled_df = df.select(*[shuffle(col).alias(col) for col in df.columns])在上述代码中，shuffle(col)函数会对每一列数据进行混洗，alias(col)函数用于保留列名。
- 查看混洗后的DataFrame：
shuffled_df.show()这样，就可以对PySpark DataFrame的每一列中的数据进行混洗了。
关于PySpark DataFrame的更多操作和函数，可以参考腾讯云的PySpark文档：PySpark文档
相关·内容
在PySpark中，repartition模块有一个可选的columns参数，它当然会按该键对数据帧进行重新分区。
我的问题是- Spark如何在没有键的情况下重新分区？我无法更深入地挖掘源代码，找出Spark本身到底在哪里。
def repartition(self, numPartitions, *cols):
"""
Returns a new :class:`DataFrame` partitioned by the given partitioning expressions. The
resulting DataFrame is ha
浏览 6提问于2018-11-29得票数 10
在python或R中，可以使用索引对DataFrame进行切片。
例如，在熊猫中：
df.iloc[5:10,:]
在pyspark中有没有类似的方式来根据行的位置对数据进行切片？
浏览 3提问于2018-10-13得票数 4
回答已采纳
1回答
我有两个包含GB级数据的大型pyspark数据帧df1和df2。第一个数据帧中的列是id1、col1。第二个数据帧中的列是id2、col2。数据帧具有相等的行数。此外，id1和id2的所有值都是唯一的。此外，id1的所有值都恰好对应于一个值id2。 为。前几个条目是用于df1和df2区域的 df1： id1 | col1
12 | john
23 | chris
35 | david df2： id2 | col2
23 | lewis
35 | boon
12 | cena 所以我需要连接key id1和id2上的两个数据帧。df = df1.
浏览 9提问于2020-06-10得票数 2
回答已采纳
晚上好，我想用不同的数字填充一个5 x 5的表格，我不希望每一列都有相同的数字，我应该有限制，属于一定的限制，我可以做到但不知道如何避免被表格中的数字超过一次
int num;
int [][] array = new int [5][5];
Random r = new Random();
for (int row = 0; row < array.length; row++) {
for (int col = 0; col < array[row].length; col++) {
浏览 0提问于2013-04-22得票数 0
回答已采纳
我有两个DataFrame数据帧(A和B)，它们都有一个公共的列/字段(在Spark A中是主键，但在B中不是)。
对于dataframe A中的每一条记录/行，dataframe B中有多条记录。基于该公共列值，我希望针对dataframe A中的每条记录从dataframe B中获取所有记录。
我应该执行什么类型的转换，以便在不做太多混洗的情况下将记录收集在一起？
浏览 0提问于2018-07-25得票数 0
我有一个很大的csv文件(5 5GB)，其中包含大约50M行。我想让更小的块csv(~1M行)从原始的csv文件。我尝试了下面的方法来分块，但花了很多时间来执行分块：
1. I used Pandas to read data from csv and make chunk and write into chunk csv file.
import pandas
rows = pd.read_csv('test.csv', chunksize=1000000)
for i, chunck in enumerate(rows):
chunck.to_csv('
浏览 1提问于2020-09-02得票数 0
有没有什么办法可以让RDD或dataframe中的一列随机排列，使该列中的条目以随机顺序出现？我不确定我可以使用哪些API来完成这样的任务。
浏览 3提问于2016-05-18得票数 9
新的一天，新的问题。我认为让这个东西工作起来很容易，但我就是不知道现在该怎么做。
问题是：
在工作中，我们从客户那里得到了excel表格。在这张表中，他们放入详细的信息，按每列组织，例如第一列包含客户编号，第二列包含名称，第三列地址等。第一行包含列的描述，例如："Customernumbers“、"Names”、"Addresses“等。
问题是，并不是每个客户都以正确的顺序或相同的描述向我们发送此信息，例如，有些人将列称为Customernumbers、numbers或pupilnumber。此外，列的顺序也不总是相同的。有时他们把地址放在第一栏，有时他们把名字放在第
浏览 3提问于2013-06-12得票数 2
在数据框中混洗一组行的最佳方法是什么？对于模型的混洗训练集，需要这个。
例如，每10行作为一个单独的组进行混洗，或者有一些逻辑条件来创建单独的组并将它们作为一个组进行混洗。
浏览 1提问于2018-08-10得票数 1
我有一个正在运行的Google Dataproc集群，并且正在向它提交一个PySpark作业，该作业从Google Cloud Storage (945MB CSV文件，400万行-->总共需要48秒才能读入)读取一个文件到PySpark dataframe，并对该数据帧应用一个函数(parsed_dataframe = raw_dataframe.rdd.map(parse_user_agents).toDF() -->大约需要4到5秒)。
然后，我必须将这些修改后的结果作为GZIP的CSV或Parquet文件保存回Google Cloud Storage。我还可以将这些修改后的
浏览 8提问于2017-08-01得票数 4
Vowpal Wabbit会在每一次epoch/pass后自动洗牌吗？我希望创建的缓存文件将包含混洗元数据，这是像大众默认的在线SGD方法这样的在线算法所必需的。例如。
vw -d train.txt -c --passes 50 -f train.model
如果不是，我有一个备份脚本，可以在每次遍历时手动处理数据
# Create the initial regressor file
vw -d train.txt -f train.model
# For the next 49 passes, shuffle and then update the regressor file
for
浏览 4提问于2014-01-06得票数 6
我对Keras有这个问题，我的test_set定义如下： 我的测试集 test_datagen = ImageDataGenerator(rescale = 1./255)
test_set = test_datagen.flow_from_dataframe(dataframe=X_test,
x_col='image_path',
y_col='category_id',
浏览 27提问于2020-07-29得票数 0
回答已采纳
在Spark中对DataFrame进行排序时，幕后会发生什么？
例如,
df = spark.read.format('csv').option('foo')
df.sort(i)
我知道当您将数据读取到DataFrame时会发生什么，但是我很好奇当您排序时会发生什么？与MapReduce相比有什么不同？
浏览 2提问于2018-08-14得票数 0
我想知道是否可以在pyspark中使用QuantileDiscretizer转换器获得percentile_rank的结果。 这样做的目的是为了避免计算整个列的percent_rank，因为它会生成以下错误： WARN WindowExec: No Partition Defined for Window operation!
Moving all data to a single partition, this can cause serious performance degradation. 我遵循的方法是首先使用QuantileDiscretizer，然后规范化为0,1 from
浏览 67提问于2020-07-27得票数 1
1回答
我使用的是Java，我使用的是向量'set‘来存储数据
这是在我读取每一行并将其存储在数组values[]中时从一个文本文件创建的。然后我有一个向量' set‘，对于每一行，我将values[]添加到向量'set’中，这样在读取文本文件中的所有数据后，set看起来就像上面所示的那样。
public void pro(int percentage)
{
int noOfEx = percentage*set.size()/100;
root.keptEx = new Vector(set.subList(0, noOfEx));
}
然而，我希望这些行
浏览 0提问于2015-01-03得票数 1
下面是一个简单的测试程序。这显然是一个很小的测试数据程序。
from pyspark.sql.types import Row
from pyspark.sql.types import *
import pyspark.sql.functions as spark_functions
schema = StructType([
StructField("cola", StringType()),
StructField("colb", IntegerType()),
])
rows = [
Row("alpha",
浏览 4提问于2016-09-03得票数 3
回答已采纳
1回答
我通常有更多面向代码的问题，但我需要CSV数据库的帮助。基本上我需要把它的格式改为Fname;Lname;email。问题是我有13000行，所有的数据都在一列中，分隔符是";“。我使用了不同的CSV文件编辑器，它们都将数据放在一列中，所以我不能改变这些列的顺序……我不能从原始数据库中重新提取数据。那么，有没有办法解决这个问题，或者我完蛋了？
因此，我从一个CSV文件开始，它在每行的每个数据单元格之间有";“。因此，我打开Excel 2016并执行以下操作: data > from text >I find the CSV file >I click on d
浏览 0提问于2016-06-29得票数 0
10回答
在pandas中按行或按列混洗数据帧的简单而有效的方法是什么？即如何编写一个函数shuffle(df, n, axis=0)，该函数接受一个数据帧、多个随机n和一个轴(axis=0是行，axis=1是列)，并返回已经被随机n次的数据帧的副本。
编辑：关键是在不破坏数据帧的行/列标签的情况下执行此操作。如果你只是混洗df.index，就会丢失所有的信息。我希望生成的df与原始的相同，只是行的顺序或列的顺序不同。
Edit2：我的问题不清楚。当我说对行进行混洗时，我指的是独立地对每一行进行混洗。因此，如果您有两列a和b，我希望每一行都按自己的顺序排列，这样您就不会像将每一行作为一个整体重新排序时那
浏览 114提问于2013-04-03得票数 82
回答已采纳
6回答
我有一个numpy数组，如下所示：
Xtrain = np.array([[1, 2, 3],
[4, 5, 6],
[1, 7, 3]])
我想对每一行的项目分别进行混洗，但不希望每一行的混洗都是相同的(就像在几个示例中一样，只是混洗列的顺序)。
例如，我需要如下所示的输出：
output = np.array([[3, 2, 1],
[4, 6, 5],
[7, 3, 1]])
如何以有效的方式随机地对每一行进行随机洗牌？我实际的np数组有
浏览 4提问于2018-05-28得票数 13
1回答
我有一个675 GB的拼图文件的巨大数据集与快速压缩，我必须连接它与4，5表大小类似10 GB。我有一个500+节点集群，每个节点有128 GB的内存，但是我只能运行一个最多28 GB的执行器，否则yarn不会分配内存。请建议我应该如何处理这种情况。目前我正在运行pyspark 1.6，并且我只在每个节点上运行一个执行器，内存为26 Gb。但是，如果我在hive中运行整个join，这需要时间，但get会完成。我应该如何有效地使用我集群，并在spark中处理这个连接
谢谢sPradeep
浏览 8提问于2017-07-14得票数 0
我在本地模式下运行，并使用2个分区初始化。当我使用DataFrame.show()时，它是这样的：INFO scheduler.TaskSetManager: Finished task 1.0 in stage 3.0 (TID 5) in 390 ms on localhost (2/2)。但是当我使用DataFrame.groupBy()时，它得到的任务很多，就像这样：INFO scheduler.TaskSetManager: Finished task 83.0 in stage 15.0 (TID 691) in 644 ms on localhost (84/200)。我的源代码
浏览 17提问于2017-08-23得票数 0
回答已采纳
在我的项目的一部分中，我需要创建一个随机的月份名称，并将它们存储到数据框列中。目前我正在使用以下代码片段:首先，创建一个预定义大小的数据帧：
df = pd.DataFrame(index=range(size))
然后创建120个随机时间戳，并将其存储在'Timestamp‘列中：
df["Timestamp"] = [ pd.Timestamp(2017, np.random.randint(1,13), 1) for _ in range(120) ]
最后提取月份并将它们存储到'STD_Months‘列中：
df["STD_Months"
浏览 4提问于2017-08-26得票数 0
回答已采纳
我有一个非常大的每日gzipped文件序列。我正在尝试使用PySpark重新保存所有S3格式的文件，以供以后使用。
如果对于单个文件(例如，2012-06-01)，我这样做：
dataframe = spark.read.csv('s3://mybucket/input/20120601.gz', schema=my_schema, header=True)
dataframe.write.parquet('s3://mybucket/output/20120601')
它可以工作，但是因为gzip是不可拆分的，所以它运行在单个主机上，并且我没有从使用集群中获得
浏览 2提问于2017-12-16得票数 0
我试图在一个巨大的数据集上使用groupby和apply，这是一个自定义函数，它会给我带来内存错误，并且工作人员会因为混洗而被杀死。我怎样才能避免洗牌，并有效地做到这一点。 我正在读取大约50个700MB (每个)的拼图文件，这些文件中的数据是隔离的，即没有组存在于多个文件中。如果我尝试在一个文件上运行我的代码，它工作得很好，但当我尝试在整个数据集上运行时，它会失败。 Dask文档讨论了在组上应用自定义函数时groupby的问题，但它们没有提供针对此类数据的解决方案：http://docs.dask.org/en/latest/dataframe-groupby.html#difficult
浏览 17提问于2019-01-13得票数 1
我有一个从一些熊猫数据创建的TensorFlow2.0 tf.data.Dataset。现在我想更改数据集上的设置，但它似乎不允许我这样做。例如，我想将数据集上的.repeat()参数从无限重复更改为仅重复1次。但当我尝试进行此更改时，数据集不接受此更改。 下面是一个包含一些代码的示例。该函数取自TF网站上的Tensorflow教程之一。 URL = 'https://storage.googleapis.com/applied-dl/heart.csv'
df = pd.read_csv(URL)
def df_to_dataset(dataframe, shuffle=
浏览 18提问于2019-12-05得票数 1
回答已采纳
2回答
我在一列中的单个类有多个值，我想合并/合并它们。我试过下面的代码，但它只是根据每个等级合并数值。 df.groupby('Grades')['Students'].apply(' '.join).reset_index() 我不想要它。让我们假设我们有以下DataFrame： +----------------------------------+--------+
| Students | Grades |
+----------------------------------+--------
浏览 41提问于2020-07-28得票数 0
回答已采纳
1回答
我是Pyspark的新手，我使用的是Spark 2.0.2。
我有一个名为Test_RDD的RDD，它的结构如下：
U-Key || V1 || V2 || V3 ||
-----------------------------------
1001_01 || 12 || 41 || 21 ||
1001_01 || 36 || 43 || 63 ||
1001_01 || 60 || 45 || 10 ||
1002_03 || 84 || 57 || 14 ||
1002_03 || 18 ||
浏览 0提问于2017-03-06得票数 1
我正在使用一个简单的训练循环来执行回归任务。为了确保回归的地面真实值与我在训练循环中的预期相同，我决定绘制每一批数据。但是，我发现当我将数据加载器的张量转换为numpy数组并绘制它时，它会受到干扰。我使用myTensor.data.cpu().numpy()进行转换。
我的代码如下：
train_ds = TensorDataset(x_train, y_train)
train_dl = DataLoader(train_ds, batch_size = 32, shuffle = True, num_workers = 0, drop_last = True)
for epoch
浏览 0提问于2020-03-01得票数 0
1回答
我有一个有两列的数组，每一行都是一个唯一的对。当我混洗时，我希望数组在对之间混洗，而不是作为两个单独的列。
这就是数组
A=[2 1;
2 1;
2 2;
2 2;
2 3;
2 3;
2 4;
2 4;
1 5;
1 6;
1 7;
1 8;
1 9;
1 9;
1 9;
1 9]
因此，在混洗之后，我希望保留对，只有它们的顺序可以改变。
浏览 1提问于2012-04-20得票数 0
2回答
我正在处理文本序列，序列长度在1-3之间。标签是一个“分数”。我有500多万个样本。我的网络看起来像这样(Keras)：
model.add(Embedding(word_count, 128, input_length=3))
model.add(BatchNormalization())
model.add(Dense(128, activation='relu'))
model.add(BatchNormalization())
model.add(Dense(256, activation='relu'))
model.add(BatchNormali
浏览 13提问于2018-08-05得票数 2
我正在查看位于的Keras CNN示例，我看到输入数据具有随机混洗的正面和负面情绪训练样本。我想知道CNN是否对训练数据的排序敏感。
为了清晰起见:如果我的y_train是100x1的形状，其中0-50表示所有积极情绪，50-100表示负面情绪，那么与每个偶数指数都有正面情绪而奇数指数都有负面情绪时相比，结果会有所不同吗？
浏览 2提问于2019-12-19得票数 0
我有几个Spark作业，每天处理数千个文件。文件大小可能从MB到GB不等。完成工作后，我通常使用以下代码进行保存
finalJavaRDD.saveAsParquetFile("/path/in/hdfs"); OR
dataFrame.write.format("orc").save("/path/in/hdfs") //storing as ORC file as of Spark 1.4
Spark job在最终输出目录中创建了大量的小零件文件。据我所知，Spark为每个分区/任务创建零件文件，如果我错了，请纠正我。我们如何控制Spark创
浏览 4提问于2015-07-06得票数 2
回答已采纳
9回答
我有两个数组列表filelist和imgList，它们彼此相关，例如"e1.jpg“相关的"H1.txt”。如何根据fileList的随机化自动随机化imgList列表？就像在excel中一样，如果我们对某一列进行排序，另一列会自动跟随？
String [] file = {"H1.txt","H2.txt","H3.txt","M4.txt","M5.txt","M6.txt"};
ArrayList<String> fileList = new ArrayList&l
浏览 3提问于2010-11-20得票数 262
回答已采纳
我想对按钮单击事件中的对象列表进行排序，在下一次单击同一按钮时，我想取消对对象列表的排序。
浏览 8提问于2011-09-17得票数 0
我正在与tensorflow合作，希望训练一个深度CNN来为围棋做移动预测。我创建的数据集由100,000个二进制数据文件组成，其中每个数据文件对应于一个录制的游戏，并包含大约200个训练样本(游戏中的每一步都有一个)。我相信在使用SGD时获得良好的混合将是非常重要的。我希望我的批次包含来自不同游戏的样本和来自游戏不同阶段的样本。例如，简单地从100个文件的开头读取一个样本，而混洗是不好的b/c，这100个样本都将是每个游戏的第一步。
我已经阅读了关于从文件提供数据的教程，但我不确定他们提供的库是否能满足我的需要。如果我自己硬编码，我基本上会初始化一堆指向每个文件中随机位置的文件指针，然后从随
浏览 2提问于2015-12-14得票数 8
我正在研究一个神经网络，当我试图对两个numpy.ndarray进行混洗时，我得到了这个错误。我尝试重新检查shuffle函数格式，但找不到任何错误。请帮帮忙
train_images,train_labels = shuffle(train_images,train_labels)
TypeError
Traceback (most recent call last)
<ipython-input-8-b3f4173331ac> in <module>
18 print("Traini
浏览 0提问于2018-12-08得票数 0
我想了解两对rdd上的连接是如何工作的？这是否会导致将具有相同密钥的两个RDD的数据混洗到同一分区中？如果是这样的话，在创建时使用partitionBy函数对RDD进行分区(通过连接属性)是否会更好，以便减少混洗？
感谢Ankur
浏览 0提问于2015-01-22得票数 2
我正在使用Xcode5.0为iPad编写一个应用程序，我试图实现一个允许NSMutableArray混洗的类别。我正在使用测试驱动开发，并且我使用Objective-C++编写了如下测试：
size_t randomInteger(size_t);
@implementation ShuffleArrayTests
- (void)testsShufflesAnArray
{
NSMutableArray* array = [@[@"one", @"two", @"three", @"four", @"five
浏览 2提问于2014-02-16得票数 0
1回答
我想在多个csv文件上训练一个机器学习模型，这些文件都是唯一的。每个文件都是篮球比赛的时间序列数据的集合。我想训练一个模型来观察每一场比赛，并能够预测结果。我应该简单地告诉sci kit learn或另一个包来迭代感兴趣的文件夹中的文件并对每个文件运行回归吗？提前谢谢你。
浏览 25提问于2019-10-20得票数 1
我正在研究一个用例的选项，在这种用例中，我们将数据集存储为拼图文件，并希望稍后在读取数据时对特定键运行有效的groupBy查询。 我读过一些关于groupBy优化的文章，但是没有找到太多关于它的信息(除了RDD级别的reduceByKey)。我所考虑的是，如果数据集是由键写成桶的，那么它也将在groupBy中使用。从理论上讲，groupBy是可以优化的，因为包含该键的所有行都将位于同一位置(如果它也按相同的键排序存储，甚至可以是连续的)。 我脑海中的一个想法是通过mapPartitions然后groupBy来应用转换，然而，这将需要将我的函数一分为二，这并不是真正可取的。我相信对于某些类型的
浏览 61提问于2019-05-18得票数 3
我有两个DataFrames，每个都有一列(每列300行)： df_realite.take(1)
[Row(realite=1.0)]
df_proba_classe_1.take(1)
[Row(probabilite=0.6196931600570679)] 我想做一个包含两列的DataFrame。我试过了： _ = spark.createDataFrame([df_realite.rdd, df_proba_classe_1.rdd] ,
schema=StructType([ StructFiel
浏览 24提问于2019-04-19得票数 0
回答已采纳
1回答
我有一个数据帧，我想对数据帧中的行进行随机化。我尝试通过给1的分数来采样数据，但这不起作用(有趣的是，这在Pandas中起作用)。
浏览 0提问于2016-04-23得票数 11
回答已采纳
我有一个从Hbase中提取的数据集，这是宽表的一个很长的形式，即有rowKey，columnQualifier和value列。要获得某种形式的pivot，我需要按rowKey分组，这是一个字符串UUID，放入一个集合并在该集合中创建一个对象。问题是，我唯一要执行的group-by是统计group中的元素数量；其他group-by失败的原因是容器由于内存溢出超出了纱线容器限制而被杀死。我确实对内存大小做了很多实验，包括开销、分区和不排序等。我甚至使用了大量的分区，即大约10000个，但作业同样会死亡。我尝试了DataFrame groupBy和collect_list，以及Dataset gro
浏览 13提问于2017-02-16得票数 1
回答已采纳
对于我的任务，我必须创建游戏“memory”。我一直被我随机给每张牌一种颜色的部分卡住了。
我首先创建了这个数组
int rectColorArray[] ={BROWN, BROWN,WHITE, WHITE,RED, RED, GREEN, GREEN};
并在我希望它只能选择每种颜色的地方做了一个循环。
void drawCards(int rectColor){
int length = 50;
int xPos =0;
int yPos =0;
for(int i = 7; i >= 0; i--){
rectColor = rectColorArra
浏览 1提问于2020-01-03得票数 0
1回答
成对打乱列
、、
我有以下数据帧：
d = {'Name1':['jaap','piet','tim'],'Name2':['bas','max','piet'], 'Count1':[1,5,2],'Count2' :[2,6,8], 'Win','[1,2,2]}
data = pd.DataFrame(d)
Name1 Name2 Count1 Count2 Win
0 jaap bas 1
浏览 1提问于2021-05-10得票数 2
我在我的代码中使用了train_test_split，然后想将其更改为交叉验证，但奇怪的是有一件事发生了。 train, test = train_test_split(data, test_size=0)
x_train = train.drop('CRO', axis=1)
y_train = train['CRO']
scaler = MinMaxScaler(feature_range=(0, 1))
x_train_scaled = scaler.fit_transform(x_train)
x_train = pd.DataFrame(x_tr
浏览 90提问于2019-05-01得票数 2
回答已采纳
8回答
我有一个这样的数据帧(df1)。
f1 f2 f3 f4 f5
d1 1 0 1 1 1
d2 1 0 0 1 0
d3 0 0 0 1 1
d4 0 1 0 0 1
d1...d4列是行名，f1...f5行是列名。
为了进行示例( df1 )，我得到了一个计数为1的新数据帧，与df1相同。因此，计数1对于整个数据帧是保守的，而不是针对每行或每列。
是否可以按行或按列进行随机化？
我想按列随机化每一列的df1，即每列中的1的数量保持不变。并且每一列都需要
浏览 1提问于2011-06-21得票数 108
我正在开发一个开源的Android音乐播放器应用程序，我正在使用我从教程中找到的一些代码，但它没有包含Shuffle，Repeat和Random按钮，所以我需要帮助才能将它添加到我的代码中。我不知道如何将它添加到我的应用程序中，所以我正在寻求帮助。当涉及到Android编程时，我是一个完全的新手，我正在努力学习。
下面是我的代码：
/**
* Created by Technologx
* Visit & signup on https://technologx.com
* Do not remove this removing this avoids the license
浏览 25提问于2017-01-17得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
