如果某列的值在指定的列表内，我如何才能只返回Spark DataFrame的行？下面是我的Python pandas执行此操作的方法：我看到了scala的实现，并尝试了几种排列方式，
浏览 17提问于2017-03-14得票数 5
回答已采纳
有一个列的列表对每个数据文件都是通用的，每个dataframe也有一些额外的列。我想要做的是使用连接条件中的那些公共列将所有这些数据文件连接在一起(记住，数据格式的数量是未知的)
我怎样才能把所有这些数据文件连接起来？我想我可以对它们进行foreach，但这似乎不太优雅。谁能想出一种更实用的方
浏览 0提问于2018-05-15得票数 4
回答已采纳
我有多个DataFrames，我想对它们做同样的事情。我只想保留所有值为“passed”的DataFrames中的行，所以我在我的列表中使用了一个for循环：
for df in
浏览 3提问于2016-07-11得票数 6
回答已采纳
在where子句中使用非索引列查询Cassandra时，的说，
若要筛选行，可以使用Spark提供的筛选器转换。但是，这种方法导致从Cassandra获取所有行，然后由Spark过滤。如果我在where子句中使用City = 'Chicago‘，那么Spark会首先下载所有的10亿行，然后过
浏览 1提问于2018-04-01得票数 3
回答已采纳
1回答
我正在处理不同的星火DataFrames，它们在许多列中都有大量的空值。我希望从每个列中获取任何一个非空值，以查看该值是否可以转换为datetime。我尝试执行df.na.drop().first()，希望它将删除所有带有空值的行，而在剩余的DataFrame中，我将只获得第一行</e
浏览 5提问于2017-05-09得票数 6
回答已采纳
我有以下两个DataFramesdate | store2017-01-01 | 1但是，在我不得不删除所有具有date值的date行之前，这也包含在dfPromotion中。date 2017-01-01 in the "date" column)===================
2017-
浏览 1提问于2017-03-15得票数 1
回答已采纳
2回答
我刚开始使用Dataframes，我想要做的是获取所有列的子集，其值为Null (S)。
我在网上看到的大多数示例都向我展示了特定列上的筛选函数。是否可以过滤整个数据帧并显示至少包含1个null值的所有行？
浏览 6提问于2022-07-30得票数 4
回答已采纳
2回答
这些表是使用在原始文本中使用压缩从Teradata数据库导入的(不幸的是，无法与Teradata连接器一起工作)。完成Spark进程所需的时间约为1小时15分钟。为了提高性能，我想在执行进程之前，以一种更有效的格式(如SparkSQL )来转换表。根据文档和在线讨论，这将大大促进使用原始文本(即使使用snappy压缩，这在原始文本上是不可分离的)。因此，我用Snappy压缩以Parquet格式转换了
浏览 1提问于2018-07-28得票数 1
我有许多DataFrames，它们中的每一个都可以有单独的过滤器过滤掉数据。过滤器也是预先定义的。我计划创建一个组合的dataframe，它将包含过滤表达式作为列之一。在这个组合的dataframe中，我需要应用过滤器，它是数据行本身的一部分。|speciality == "bat&
浏览 1提问于2021-01-05得票数 1
回答已采纳
我是R公司的新手，有一个包含30个元素的大列表，每个元素都是包含几百行和大约20列的dataframe (这取决于数据格式)。我如何检查整个列表，只过滤那些不包含在文件名中的特定文本的数据文件，并向那些过滤的数据文件添加一个唯一的id列( id值将是该文件名的前三个字符)？例如，列表<
浏览 3提问于2022-03-10得票数 0
回答已采纳
我正在尝试将Pyspark列转换为一个值列表(而不是对象)。X = df.select("columnname").collect()
但是当我用它来过滤时，我无法。
浏览 2提问于2020-04-22得票数 0
2回答
在寻找大数据上的查询优化时，尤其是在ORC文件上，我遇到了两种可能的谓词下推和Bloom过滤器。谓词下推帮助我们避免读取不必要的条带，这有助于减少IO，但对我来说，Bloom Filter似乎也有相同的目的，除了以下几点。对于谓词下推，我们不需要在编写ORC文件时显式创建任何工件，而对于Bloom filters，我们需要在写入ORC文件时配置列。谢谢Santosh
浏览 0提问于2019-02-11得票数 2
我使用过滤器公式来返回结果列表。列表的行长是可变的。对于每个返回值，我需要应用一个新的公式。我想知道我是否可以根据列表的长度自动扩展这个公式的所有行。一个简单的例子:在单元格A1:B100上，我有一个值列表。在单元格D1上
浏览 11提问于2021-01-11得票数 0
1回答
目标是使用product_name作为键查找所有相关信息。问题是，有时它被称为prod_name或其他类似的名称。另外，如果product_name链接到ser_no，那么该数据帧中的信息也属于该产品。下面的例子，让我知道如果我能更好地解释这一点。
有人能帮我弄清楚这件事吗？我试图在不显式地将它们连接在一起的情况下自动化这个过程，因为有许多这样的表，而且我不知道所有确切的表/col名称。基本上，我试图从这些蜂巢表中提取与product_nam
浏览 1提问于2021-08-28得票数 0
回答已采纳
是否可以使用Spark的StringIndexer为给定的输入始终如一地返回相同的输出(例如，标有“Apple”的列总是输出，比如'56.0')
用例是当索引多个DataFrames并且并不是所有的输入都包含在这两个方面时，但是，您希望确保这些输入被转换为相同的索引值。我试图避免自己的字符串=>数字映射
浏览 6提问于2017-08-26得票数 0
我有一个Spark，我希望根据一个特定列的匹配值从它们中选择几个行/记录。我想我可以使用过滤器操作或在映射转换中选择操作来实现这一点。但是，我想针对那些在应用过滤器时没有选择的行/记录更新一个status列。那么，如何知道和更新未
浏览 0提问于2018-07-25得票数 1
2回答
我目前在python2.7中使用Pandas。我的dataframe看起来类似于以下内容： 02 [2, 3]是否可以按列1中的值过滤行？例如，如果我的过滤器值为2，则筛选器应该返回包含前两行的数据。
浏览 5提问于2016-07-07得票数 0
回答已采纳
我有一个关于spark中的过滤的问题，当你不在过滤器中包括分区列时。假设我有以下按日期分区的数据： part-0001.parquet数据有一个名为"action“的列，其中大约30%的数据值为0，其余的数
浏览 2提问于2020-08-02得票数 0
当我使用Spark DataSet加载csv文件时。我更喜欢清晰地指定模式。但是我发现有一些行与我的模式不兼容。列应该是双精度的，但有些行是非数字值。是否可以很容易地从DataSet中过滤出所有不符合我的模式的行？val schema = StructType(StructField("col&quo
浏览 4提问于2018-04-09得票数 9
回答已采纳
我正在尝试在Scala中比较和检查两个Spark DataFrames单元测试的相等性，并意识到没有简单的方法来检查两个Spark DataFrames的相等性。相当于C++的代码为(假设DataFrames在C++中表示为双精度数组)： int result[10][2];
for (int row= result[row][col]) return
浏览 3提问于2016-11-09得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
