如何在Spark中动态切片数组列？
在Spark中动态切片数组列可以通过使用split函数实现。split函数可以将一个字符串列按照指定的分隔符切分成一个数组列。
以下是在Spark中动态切片数组列的步骤：
- 导入必要的Spark库：
import org.apache.spark.sql.functions._- 定义一个DataFrame，包含要切片的数组列：
val df = spark.createDataFrame(Seq(
(1, "1,2,3,4,5"),
(2, "6,7,8,9,10")
)).toDF("id", "numbers")- 使用
withColumn函数和split函数来切片数组列：
val slicedDF = df.withColumn("sliced_numbers", split(col("numbers"), ","))在上述代码中，split(col("numbers"), ",")将numbers列按照逗号分隔符切分成一个数组列，并将结果存储在新的列sliced_numbers中。
最后，你可以查看切片后的结果：
slicedDF.show()完整的代码示例：
import org.apache.spark.sql.functions._
val df = spark.createDataFrame(Seq(
(1, "1,2,3,4,5"),
(2, "6,7,8,9,10")
)).toDF("id", "numbers")
val slicedDF = df.withColumn("sliced_numbers", split(col("numbers"), ","))
slicedDF.show()这是一个简单的示例，你可以根据实际需求进行调整和扩展。对于更复杂的操作，你可以使用Spark的其他函数和操作符来处理数组列。
相关·内容
2回答
Spark 2.4引入了新的SQL函数slice，该函数可用于从数组列中提取特定范围的元素。我希望根据Integer列动态定义每行的范围，该列具有我想要从该列中选取的元素的数量。通过一个例子来可视化这个问题:我有一个数据帧，它有一个数组列arr，在每一行中都有一个看起来像['a', 'b', 'c']的数组。还有一个包含元素3、1和2的end_idx
浏览 43提问于2019-09-02得票数 4
回答已采纳
1回答
我使用for循环来迭代列。我使用切片来选择列。这是完美的工作。但是，当我提供要迭代的列(Cols)列表时，会出现错误。
代码：
cols = ['a',
浏览 0提问于2019-04-17得票数 2
3回答
有没有办法根据数据任务的大小动态调整Pod的内存大小(我的用例)？另一种看待它的方式：
我们如何在AWS上的Kubernetes中实施云数据流
浏览 4提问于2018-06-28得票数 6
PHP数组已被转换/编码为JSON数组，以便我可以使用JavaScript操作数据。我试过：
我基本上需要能够移动切片的开始和结束索
浏览 1提问于2017-04-07得票数 3
回答已采纳
1回答
有人熟悉spark来查询嵌套的数据吗？爆炸()作用是正确的吗？代码应该是什么样子的？我想查询myData-> productData (数组)->data(字符串)
我的错误代码在这里，我不确定的选择部分。有人能帮忙吗？非常感谢!data = spark.read.parquet("s3:path").filter("Btype == 'a' and marketplaceId = 1").select(explode("myData.productData
浏览 6提问于2022-12-01得票数 0
回答已采纳
1回答
将垂直切片插入阵列
、、、
在最近的一个Application.Index()中，我演示了如何在Application.Index()函数中使用数组参数(而不是单个索引)来重新排列当前列的顺序(开关列、省略/删除列)。，I可以消除列，重新排序列，但我不能►__在这样的数组中插入一个(S)列.事实上，我可以使用迭代完成它，但是您找到了类似的方法插入这样的垂直切片吗？“
至少众所周知，给定的列(例如第4<em
浏览 3提问于2020-07-03得票数 1
如何在Apache Zeppelin表单上动态加载项目？%spark ("2","tue("6","sat"),
("7",&quo
浏览 8提问于2017-06-25得票数 1
我准备使用spark dataframe (不是pandas)的内置CSV打印工具。我已经构建了一个IndexedRowMatrix。因此，它中有稀疏数组列。到密集数组的转换是由x.vector.toArray()映射调用执行的(如下所示)。我似乎想不出，如何将密集的numpy数组元素放入Spark DataFrame的单独列中。(我不是在介绍熊猫。)如何将此RDD转换为7列数据帧，由一个字符串列和6个整数列组成？问题是RDD tup
浏览 0提问于2018-06-12得票数 0
2回答
我在PowerBI中遇到了一个功能问题。我将描述她的情况-我有以下数据： ? 在这里，我必须让切片器根据列B选择前10列或所有其他列(对于每一列A)。(即，如果我们在切片器中选择前10列，那么metrix应该为每列A显示前10列B，因此应该适用于所有其他选项。在我看来，一种方法是为列A中的每一列B创建一个动态排名(我采用动态</e
浏览 27提问于2021-07-10得票数 0
2回答
我要使用的dll函数接受指向字节数组的指针。因此，我需要给它一个字节数组。
我不知道如何在go中创建一个字节数组，并获得一个指向它的指针。这显然是一个不安全的操作，库可能会有所帮助，但我首先需要创建一个动态长度字节<e
浏览 2提问于2013-11-01得票数 5
回答已采纳
2回答
在Java中，二维数组是多维数组.这意味着那些一维数组在内存中不是连续的。
相反，在C中，二维数组实际上是尺寸为total_row * total_column的一维数组。所以我的问题是:二维数组在Go中的内存表示看起来像C还是Java？
浏览 5提问于2016-09-18得票数 15
回答已采纳
我们如何在一个切片器中显示多个列？假设我有三列- product category、product和type。我想在一个切片器中显示三列。 如何在Power BI Desktop中执行此操作？
浏览 115提问于2019-03-12得票数 0
当我阅读Spark/Hive文档时，将插入到带有列列表的表中，在Spark2.4和更早版本中不支持。insert into output_table(fieldx, fieldy, fieldz) sele
浏览 1提问于2019-01-09得票数 4
回答已采纳
我在cassandra DB中有一个表，其中一列包含ip地址列表，如{['10.100.164.33'，'10.100.164.36'，'10.100.164.37'}。现在我想通过spark sql进行查询，比如选择其中一个ip是10.100.164.36的行。如何在spark sql中查询。
浏览 4提问于2017-05-22得票数 0
1回答
面对这样一种场景，其中dataframe区分大小写，并且在将该dataframe插入到hive表中时，它会抛出错误，因为列不明确我们可以在运行时动态处理来自列的两个值而不抛出错误吗通过设置spark.set.conf("spark.sql.caseSensitive", "true")尝试了一个解决方案
但是，在添加此属性后将此数据帧插入hive表时，会抛出错误/异常
浏览 4提问于2019-08-02得票数 0
4回答
我已经阅读了，但仍然没有完全意识到slice相对于array.So的优势，我期待着有人参与进来，所以解释得比它更好，我相信你可以:)
浏览 0提问于2010-01-20得票数 25
回答已采纳
1回答
我有328张大小为128*128的灰度图像，并将它们转换成一个具有形状的3D数组(128,128,328)。现在，我想将它转换成5个分离的3d数组，形状为(128,128,64)，而不按顺序更改。如您所见，328不能被64整除，而且使用d拆分函数也不能工作。有什么方法可以在深度轴上对三维阵列进行动态切片吗？
浏览 6提问于2022-04-01得票数 0
回答已采纳
9回答
我有以下动态创建的Spark：val sf2 = StructField("sector(spark.sparkContext.parallelize(data), schema)
val sqlDF = spark.sql("SELECT * FROM people&q
浏览 1提问于2018-03-13得票数 35
回答已采纳
1回答
我熟悉在SWITCH语句中使用带有SELECTEDVALUE的切片器来更改值，但我也需要基于另一列中的数据来执行此操作。Letter EW 2 A East 4 P West 在上表中，我希望根据切片器选择将'EW‘列的值动态更改为East或West。每个字母都有自己的切片机。一个用于A，一个用于P。每个<e
浏览 14提问于2019-10-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
